samples/filter_innd.py

   1 ##  $Id: filter_innd.py 7903 2008-06-22 20:41:59Z iulius $
   2 ##
   3 ##  This is a sample filter for the Python innd hook.
   4 ##
   5 ##  See the INN Python Filtering and Authentication Hooks documentation
   6 ##  for more information.
   7 ##
   8 ##  You have access to the following methods from the module INN:
   9 ##   - addhist(message-id)
  10 ##   - article(message-id)
  11 ##   - cancel(message-id)
  12 ##   - havehist(message-id)
  13 ##   - hashstring(string)
  14 ##   - head(message-id)
  15 ##   - newsgroup(groupname)
  16 ##   - set_filter_hook(instance)
  17 ##   - syslog(level, message)
  18
  19 import re
  20 from string import *
  21
  22 ##  This looks weird, but creating and interning these strings should
  23 ##  let us get faster access to header keys (which innd also interns) by
  24 ##  losing some strcmps under the covers.
  25 Also_Control = intern("Also-Control")
  26 Approved = intern("Approved")
  27 Bytes = intern("Bytes")
  28 Cancel_Key = intern("Cancel-Key")
  29 Cancel_Lock = intern("Cancel-Lock")
  30 Content_Base = intern("Content-Base")
  31 Content_Disposition = intern("Content-Disposition")
  32 Content_Transfer_Encoding = intern("Content-Transfer-Encoding")
  33 Content_Type = intern("Content-Type")
  34 Control = intern("Control")
  35 Date = intern("Date")
  36 Date_Received = intern("Date-Received")
  37 Distribution = intern("Distribution")
  38 Expires = intern("Expires")
  39 Face = intern("Face")
  40 Followup_To = intern("Followup-To")
  41 From = intern("From")
  42 In_Reply_To = intern("In-Reply-To")
  43 Injection_Date = intern("Injection-Date")
  44 Injection_Info = intern("Injection-Info")
  45 Keywords = intern("Keywords")
  46 Lines = intern("Lines")
  47 List_ID = intern("List-ID")
  48 Message_ID = intern("Message-ID")
  49 MIME_Version = intern("MIME-Version")
  50 Newsgroups = intern("Newsgroups")
  51 NNTP_Posting_Date = intern("NNTP-Posting-Date")
  52 NNTP_Posting_Host = intern("NNTP-Posting-Host")
  53 Organization = intern("Organization")
  54 Originator = intern("Originator")
  55 Path = intern("Path")
  56 Posted = intern("Posted")
  57 Posting_Version = intern("Posting-Version")
  58 Received = intern("Received")
  59 References = intern("References")
  60 Relay_Version = intern("Relay-Version")
  61 Reply_To = intern("Reply-To")
  62 Sender = intern("Sender")
  63 Subject = intern("Subject")
  64 Supersedes = intern("Supersedes")
  65 User_Agent = intern("User-Agent")
  66 X_Auth = intern("X-Auth")
  67 X_Canceled_By = intern("X-Canceled-By")
  68 X_Cancelled_By = intern("X-Cancelled-By")
  69 X_Complaints_To = intern("X-Complaints-To")
  70 X_Face = intern("X-Face")
  71 X_HTTP_UserAgent = intern("X-HTTP-UserAgent")
  72 X_HTTP_Via = intern("X-HTTP-Via")
  73 X_Mailer = intern("X-Mailer")
  74 X_Modbot = intern("X-Modbot")
  75 X_Modtrace = intern("X-Modtrace")
  76 X_Newsposter = intern("X-Newsposter")
  77 X_Newsreader = intern("X-Newsreader")
  78 X_No_Archive = intern("X-No-Archive")
  79 X_Original_Message_ID = intern("X-Original-Message-ID")
  80 X_Original_Trace = intern("X-Original-Trace")
  81 X_Originating_IP = intern("X-Originating-IP")
  82 X_PGP_Key = intern("X-PGP-Key")
  83 X_PGP_Sig = intern("X-PGP-Sig")
  84 X_Poster_Trace = intern("X-Poster-Trace")
  85 X_Postfilter = intern("X-Postfilter")
  86 X_Proxy_User = intern("X-Proxy-User")
  87 X_Submissions_To = intern("X-Submissions-To")
  88 X_Trace = intern("X-Trace")
  89 X_Usenet_Provider = intern("X-Usenet-Provider")
  90 Xref = intern("Xref")
  91 __BODY__ = intern("__BODY__")
  92 _LINES__ = intern("__LINES__")
  93
  94
  95 class InndFilter:
  96     """Provide filtering callbacks to innd."""
  97
  98     def __init__(self):
  99         """This runs every time the filter is loaded or reloaded.
 100         This is a good place to initialize variables and precompile
 101         regular expressions, or maybe reload stats from disk.
 102         """
 103         self.re_newrmgroup = re.compile('(?:new|rm)group\s')
 104         self.re_obsctl = re.compile('(?:sendsys|version|uuname)')
 105         # Message-ID pattern from a once-common spambot.
 106         self.re_none44 = re.compile('none\d+\.yet>')
 107         # There is a mad newgrouper who likes to meow.
 108         self.re_meow = re.compile("^Meow\!", re.M)
 109         # One of my silly addresses.
 110         self.re_fluffymorph = re.compile("andruQ@myremarQ.coM", re.I)
 111
 112     def filter_before_reload(self):
 113         """Runs just before the filter gets reloaded.
 114
 115         You can use this method to save state information to be
 116         restored by the __init__() method or down in the main module.
 117         """
 118         syslog('notice', "filter_before_reload executing...")
 119
 120     def filter_close(self):
 121         """Runs when innd exits.
 122
 123         You can use this method to save state information to be
 124         restored by the __init__() method or down in the main module.
 125         """
 126         syslog('notice', "filter_close running, bye!")
 127
 128     def filter_messageid(self, msgid):
 129         """Filter articles just by their Message-IDs.
 130
 131         This method interacts with the IHAVE and CHECK NNTP commands.
 132         If you return a non-empty string here, the offered article
 133         will be refused before you ever have to waste any bandwidth
 134         looking at it.  This is not foolproof, so you should do your
 135         ID checks both here and in filter_art.  (TAKETHIS does not
 136         offer the ID for examination, and a TAKETHIS isn't always
 137         preceded by a CHECK.)
 138         """
 139         return ""               # Deactivate the samples.
 140
 141         if self.re_none44.search(msgid):
 142             return "But I don't like spam!"
 143         if msgid[0:8] == '<cancel.':
 144             return "I don't do cybercancels."
 145
 146     def filter_art(self, art):
 147         """Decide whether to keep offered articles.
 148
 149         art is a dictionary with a bunch of headers, the article's
 150         body, and innd's reckoning of the line count.  Items not
 151         in the article will have a value of None.
 152
 153         The available headers are the ones listed near the top of
 154         innd/art.c.  At this writing, they are:
 155
 156             Also-Control, Approved, Bytes, Cancel-Key, Cancel-Lock,
 157             Content-Base, Content-Disposition, Content-Transfer-Encoding,
 158             Content-Type, Control, Date, Date-Received, Distribution, Expires,
 159             Face, Followup-To, From, In-Reply-To, Injection-Date, Injection-Info,
 160             Keywords, Lines, List-ID, Message-ID, MIME-Version, Newsgroups,
 161             NNTP-Posting-Date, NNTP-Posting-Host, Organization, Originator,
 162             Path, Posted, Posting-Version, Received, References, Relay-Version,
 163             Reply-To, Sender, Subject, Supersedes, User-Agent,
 164             X-Auth, X-Canceled-By, X-Cancelled-By, X-Complaints-To, X-Face,
 165             X-HTTP-UserAgent, X-HTTP-Via, X-Mailer, X-Modbot, X-Modtrace,
 166             X-Newsposter, X-Newsreader, X-No-Archive, X-Original-Message-ID,
 167             X-Original-Trace, X-Originating-IP, X-PGP-Key, X-PGP-Sig,
 168             X-Poster-Trace, X-Postfilter, X-Proxy-User, X-Submissions-To,
 169             X-Trace, X-Usenet-Provider, Xref.
 170
 171         The body is the buffer in art['__BODY__'] and the INN-reckoned
 172         line count is held as an integer in art['__LINES__'].  (The
 173         Lines: header is often generated by the poster, and large
 174         differences can be a good indication of a corrupt article.)
 175
 176         If you want to keep an article, return None or "".  If you
 177         want to reject, return a non-empty string.  The rejection
 178         string will appear in transfer and posting response banners,
 179         and local posters will see them if their messages are
 180         rejected.
 181         """
 182         return ""               # Deactivate the samples.
 183
 184         # Catch bad Message-IDs from articles fed with TAKETHIS but no CHECK.
 185         idcheck = self.filter_messageid(art[Message_ID])
 186         if idcheck:
 187             return idcheck
 188
 189         # There are some control messages we don't want to process or
 190         # forward to other sites.
 191         try:
 192             if art[Control] is not None:
 193                 if self.re_newrmgroup.match(art[Control]):
 194                     if self.re_meow.search(art[__BODY__]):
 195                         return "The fake tale meows again."
 196                     if art[Distribution] == buffer('mxyzptlk'):
 197                         return "Evil control message from the 10th dimension"
 198                 if self.re_obsctl.match(art[Control]):
 199                     return "Obsolete control message"
 200
 201             # If you don't know, you don't want to know.
 202             if self.re_fluffymorph.search(art[From]):
 203                 return "No, you may NOT meow."
 204         except:
 205             syslog('n', str(sys.exc_info[1]))
 206
 207     def filter_mode(self, oldmode, newmode, reason):
 208         """Capture server events and do something useful.
 209
 210         When the admin throttles or pauses innd (and lets it go
 211         again), this method will be called.  oldmode is the state we
 212         just left, and newmode is where we are going.  reason is
 213         usually just a comment string.
 214
 215         The possible values of newmode and oldmode are the five
 216         strings 'running', 'paused', 'throttled', 'shutdown' and
 217         'unknown'.  Actually 'unknown' shouldn't happen; it's there
 218         in case feeping creatures invade innd.
 219         """
 220         syslog('notice', 'state change from %s to %s - %s'
 221                % (oldmode, newmode, reason))
 222
 223
 224 """
 225 Okay, that's the end of our class definition.  What follows is the
 226 stuff you need to do to get it all working inside innd.
 227 """
 228
 229 ##  This import must succeed, or your filter won't work.  I'll repeat
 230 ##  that: You MUST import INN.
 231 from INN import *
 232
 233 ##  Some of the stuff below is gratuitous, just demonstrating how the
 234 ##  INN.syslog call works.  That first thingy tells the Unix syslogger
 235 ##  what severity to use; you can abbreviate down to one letter and
 236 ##  it's case insensitive.  Available levels are (in increasing levels
 237 ##  of seriousness) Debug, Info, Notice, Warning, Err, Crit, and
 238 ##  Alert.  If you provide any other string, it will be defaulted to
 239 ##  Notice.  You'll find the entries in the same log files innd itself
 240 ##  uses, with an 'innd: python:' prefix.
 241 ##
 242 ##  The native Python syslog module seems to clash with INN, so use
 243 ##  INN's.  Oh yeah -- you may notice that stdout and stderr have been
 244 ##  redirected to /dev/null -- if you want to print stuff, open your
 245 ##  own files.
 246
 247 try:
 248     import sys
 249 except Exception, errmsg:
 250     syslog('Error', "import boo-boo: " + errmsg[0])
 251
 252
 253 ##  If you want to do something special when the server first starts
 254 ##  up, this is how to find out when it's time.
 255
 256 if 'spamfilter' not in dir():
 257     syslog('n', "First load, so I can do initialization stuff.")
 258     # You could unpickle a saved hash here, so that your hard-earned
 259     # spam scores aren't lost whenever you shut down innd.
 260 else:
 261     syslog('NoTicE', "I'm just reloading, so skip the formalities.")
 262
 263
 264 ##  Finally, here is how we get our class on speaking terms with innd.
 265 ##  The hook is refreshed on every reload, so that you can change the
 266 ##  methods on a running server.  Don't forget to test your changes
 267 ##  before reloading!
 268 spamfilter = InndFilter()
 269 try:
 270     set_filter_hook(spamfilter)
 271     syslog('n', "spamfilter successfully hooked into INN")
 272 except Exception, errmsg:
 273     syslog('e', "Cannot obtain INN hook for spamfilter: %s" % errmsg[0])
 274