chiark / gitweb /
compile fixes for inotify
[inn-innduct.git] / scripts / innreport_inn.pm
1 ##########################################################
2 # INN module for innreport (3.*).
3 #
4 # Sample file tested with INN 2.4, 2.3, 2.2, 1.7.2 and 1.5.1
5 #
6 # (c) 1997-1999 by Fabien Tassin <fta@sofaraway.org>
7 # version 3.0.2
8 ##########################################################
9
10 # TODO: add the map file.
11
12 package innreport_inn;
13
14 my $MIN = 1E10;
15 my $MAX = -1;
16
17 my %ctlinnd = ('a', 'addhist',     'D', 'allow',
18                'b', 'begin',       'c', 'cancel',
19                'u', 'changegroup', 'd', 'checkfile',
20                'e', 'drop',        'f', 'flush',
21                'g', 'flushlogs',   'h', 'go',
22                'i', 'hangup',      's', 'mode',
23                'j', 'name',        'k', 'newgroup',
24                'l', 'param',       'm', 'pause',
25                'v', 'readers',     't', 'refile',
26                'C', 'reject',      'o', 'reload',
27                'n', 'renumber',    'z', 'reserve',
28                'p', 'rmgroup',     'A', 'send',
29                'q', 'shutdown',    'B', 'signal',
30                'r', 'throttle',    'w', 'trace',
31                'x', 'xabort',      'y', 'xexec',
32                'E', 'logmode',     'F', 'feedinfo',
33                'T', 'filter',      'P', 'perl',);
34
35 my %timer_names = (idle     => 'idle',
36                    hishave  => 'history lookup',
37                    hisgrep  => 'history grep',
38                    hiswrite => 'history write',
39                    hissync  => 'history sync',
40                    nntpread => 'nntp read',
41                    artparse => 'article parse',
42                    artclean => 'article cleanup',
43                    artwrite => 'article write',
44                    artcncl  => 'article cancel',
45                    artlog   => 'article logging',
46                    sitesend => 'site send',
47                    overv    => 'overview write',
48                    perl     => 'perl filter',
49                    python   => 'python filter',
50                    datamove => 'data move'
51 );
52
53 my %innfeed_timer_names = (
54                    'idle'    => 'idle',
55                    'blstats' => 'backlog stats',
56                    'stsfile' => 'status file',
57                    'newart'  => 'article new',
58                    'prepart' => 'article prepare',
59                    'readart' => 'article read',
60                    'read'    => 'data read',
61                    'write'   => 'data write',
62                    'cb'      => 'callbacks',
63 );
64
65 my %nnrpd_timer_names = (
66                    'idle'    => 'idle',
67                    'newnews' => 'newnews',
68 );
69
70 # init innd timer
71 foreach (values %timer_names) {
72   $innd_time_min{$_} = $MIN;
73   $innd_time_max{$_} = $MAX;
74   $innd_time_time{$_} = 0;   # to avoid a warning... Perl < 5.004
75   $innd_time_num{$_} = 0;    # ...
76 }
77 $innd_time_times = 0;        # ...
78
79 # init innfeed timer
80 foreach (values %innfeed_timer_names) {
81   $innfeed_time_min{$_} = $MIN;
82   $innfeed_time_max{$_} = $MAX;
83   $innfeed_time_time{$_} = 0;   # to avoid a warning... Perl < 5.004
84   $innfeed_time_num{$_} = 0;    # ...
85 }
86 $innfeed_time_times = 0;        # ...
87
88 # init nnrpd timer
89 foreach (values %nnrpd_timer_names) {
90   $nnrpd_time_min{$_} = $MIN;
91   $nnrpd_time_max{$_} = $MAX;
92   $nnrpd_time_time{$_} = 0;   # to avoid a warning... Perl < 5.004
93   $nnrpd_time_num{$_} = 0;    # ...
94 }
95 $nnrpd_time_times = 0;        # ...
96
97 # collect: Used to collect the data.
98 sub collect {
99   my ($day, $hour, $prog, $res, $left, $CASE_SENSITIVE) = @_;
100
101   return 1 if $left =~ /Reading config from (\S+)$/o;
102
103   ########
104   ## inn (from the "news" log file - not from "news.notice")
105   ##
106   if ($prog eq "inn") {
107     # accepted article
108     if ($res =~ m/[\+j]/o) {
109       $hour =~ s/:.*$//o;
110       $inn_flow{"$day $hour"}++;
111       $inn_flow_total++;
112
113       # Memorize the size. This can only be done with INN >= 1.5xx and
114       # DO_LOG_SIZE = DO.
115
116       # server <msg-id> size [feeds]
117       # or
118       # server <msg-id> (filename) size [feeds]
119
120       my ($s) = $left =~ /^\S+ \S+ (?:\(\S+\) )?(\d+)(?: |$)/o;
121       if ($s) {
122         $inn_flow_size{"$day $hour"} += $s;
123         $inn_flow_size_total += $s;
124       }
125       return 1;
126     }
127
128     # 437 Duplicate article
129     if ($left =~ /(\S+) <[^>]+> 437 Duplicate(?: article)?$/o) {
130       my $server = $1;
131       $server = lc $server unless $CASE_SENSITIVE;
132       $inn_badart{$server}++;
133       $inn_duplicate{$server}++;
134       return 1;
135     }
136     # 437 Unapproved for
137     if ($left =~ /(\S+) <[^>]+> 437 Unapproved for \"([^\"]+)\"$/o) {
138       my ($server, $group) = ($1, $2);
139       $server = lc $server unless $CASE_SENSITIVE;
140       $inn_badart{$server}++;
141       $inn_unapproved{$server}++;
142       $inn_unapproved_g{$group}++;
143       return 1;
144     }
145     # 437 Too old -- ...
146     if ($left =~ /(\S+) <[^>]+> 437 Too old -- /o) {
147       my $server = $1;
148       $server = lc $server unless $CASE_SENSITIVE;
149       $inn_badart{$server}++;
150       $inn_tooold{$server}++;
151       return 1;
152     }
153     # 437 Unwanted site ... in path
154     if ($left =~ /(\S+) <[^>]+> 437 Unwanted site (\S+) in path$/o) {
155       my ($server, $site) = ($1, $2);
156       $server = lc $server unless $CASE_SENSITIVE;
157       $inn_badart{$server}++;
158       $inn_uw_site{$server}++;
159       $inn_site_path{$site}++;
160       return 1;
161     }
162     # 437 Unwanted newsgroup "..."
163     if ($left =~ /(\S+) <[^>]+> 437 Unwanted newsgroup \"(\S+)\"$/o) {
164       my ($server, $group) = ($1, $2);
165       ($group) = split(/,/, $group);
166       $server = lc $server unless $CASE_SENSITIVE;
167       $inn_badart{$server}++;
168       $inn_uw_ng_s{$server}++;
169       $inn_uw_ng{$group}++;
170       return 1;
171     }
172     # 437 Unwanted distribution "..."
173     if ($left =~ /(\S+) <[^>]+> 437 Unwanted distribution \"(\S+)\"$/o) {
174       my ($server, $dist) = ($1, $2);
175       $server = lc $server unless $CASE_SENSITIVE;
176       $inn_badart{$server}++;
177       $inn_uw_dist_s{$server}++;
178       $inn_uw_dist{$dist}++;
179       return 1;
180     }
181     # 437 Linecount x != y +- z
182     if ($left =~ /(\S+) <[^>]+> 437 Linecount/o) {
183       my $server = $1;
184       $server = lc $server unless $CASE_SENSITIVE;
185       $inn_badart{$server}++;
186       $inn_linecount{$server}++;
187       return 1;
188     }
189     # 437 No colon-space in "xxxx" header
190     if ($left =~ /(\S+) <[^>]+> 437 No colon-space in \"[^\"]+\" header/o) {
191       my $server = $1;
192       $server = lc $server unless $CASE_SENSITIVE;
193       $inn_badart{$server}++;
194       $innd_others{$server}++;
195       $innd_no_colon_space{$server}++;
196       return 1;
197     }
198     # 437 Article posted in the future -- "xxxxx"
199     if ($left =~ /(\S+) <[^>]+> 437 Article posted in the future -- \"[^\"]+\"/o) {
200       my $server = $1;
201       $server = lc $server unless $CASE_SENSITIVE;
202       $innd_posted_future{$server}++;
203       $innd_others{$server}++;
204       $inn_badart{$server}++;
205       return 1;
206     }
207     # 437 article includes "....."
208     if ($left =~ /(\S+) <[^>]+> 437 article includes/o) {
209       my $server = $1;
210       $server = lc $server unless $CASE_SENSITIVE;
211       $innd_strange_strings{$server}++;
212       $innd_others{$server}++;
213       $inn_badart{$server}++;
214       return 1;
215     }
216     # Cancelling <...>
217     if ($left =~ /(\S+) <[^>]+> Cancelling/o) {
218       return 1;
219     }
220     # all others are just counted as "Other"
221     if ($left =~ /(\S+) /o) {
222       my $server = $1;
223       $server = lc $server unless $CASE_SENSITIVE;
224       $inn_badart{$server}++;
225       $innd_others{$server}++;
226       return 1;
227     }
228   }
229
230   ########
231   ## innd
232   if ($prog eq "innd") {
233     ## Note for innd logs:
234     ## there's a lot of entries detected but still not used
235     ## (because of a lack of interest).
236
237     # think it's a dotquad
238     return 1 if $left =~ /^think it\'s a dotquad$/o;
239     if ($left =~ /^SERVER /o) {
240       # SERVER perl filtering enabled
241       return 1 if $left =~ /^SERVER perl filtering enabled$/o;
242       # SERVER perl filtering disabled
243       return 1 if $left =~ /^SERVER perl filtering disabled$/o;
244       # SERVER Python filtering enabled
245       return 1 if $left =~ /^SERVER Python filtering enabled$/o;
246       # SERVER Python filtering disabled
247       return 1 if $left =~ /^SERVER Python filtering disabled$/o;
248       # SERVER cancelled +id
249       return 1 if $left =~ /^SERVER cancelled /o;
250     }
251     # Python filter
252     return 1 if $left =~ /^defined python methods$/o;
253     return 1 if $left =~ /^reloading pyfilter$/o;
254     return 1 if $left =~ /^reloaded pyfilter OK$/o;
255     return 1 if $left =~ /^python interpreter initialized OK$/o;
256     return 1 if $left =~ /^python method \w+ not found$/o; 
257     return 1 if $left =~ /^python: First load, so I can do initialization stuff\.$/o;
258     return 1 if $left =~ /^python: filter_before_reload executing\.\.\.$/o;
259     return 1 if $left =~ /^python: I\'m just reloading, so skip the formalities\.$/o;
260     return 1 if $left =~ /^python: spamfilter successfully hooked into INN$/o;
261     return 1 if $left =~ /^python: state change from \w+ to \w+ - /o;
262     return 1 if $left =~ /^python: filter_close running, bye!$/o;
263     # rejecting[perl]
264     if ($left =~ /^rejecting\[perl\] <[^>]+> \d+ (.*)/o) {
265       $innd_filter_perl{$1}++;
266       return 1;
267     }
268     # rejecting[python]
269     if ($left =~ /^rejecting\[python\] <[^>]+> \d+ (.*)/o) {
270       $innd_filter_python{$1}++;
271       return 1;
272     }
273     # closed lost
274     return 1 if $left =~ /^\S+ closed lost \d+/o;
275     # new control command
276     if ($left =~ /^ctlinnd command (\w)(:.*)?/o) {
277       my $command = $1;
278       my $cmd = $ctlinnd{$command};
279       $cmd = $command unless $cmd;
280       return 1 if $cmd eq 'flush'; # to avoid a double count
281       $innd_control{"$cmd"}++;
282       return 1;
283     }
284     # old control command (by letter)
285     if ($left =~ /^(\w)$/o) {
286       my $command = $1;
287       my $cmd = $ctlinnd{$command};
288       $cmd = $command unless $cmd;
289       return 1 if $cmd eq 'flush'; # to avoid a double count
290       $innd_control{"$cmd"}++;
291       return 1;
292     }
293     # old control command (letter + reason)
294     if ($left =~ /^(\w):.*$/o) {
295       my $command = $1;
296       my $cmd = $ctlinnd{$command};
297       $cmd = $command unless $cmd;
298       return 1 if $cmd eq 'flush'; # to avoid a double count
299       $innd_control{"$cmd"}++;
300       return 1;
301     }
302     # opened
303     return 1 if $left =~ /\S+ opened \S+:\d+:file$/o;
304     # buffered
305     return 1 if $left =~ /\S+ buffered$/o;
306     # spawned
307     return 1 if $left =~ /\S+ spawned \S+:\d+:proc:\d+$/o;
308     return 1 if $left =~ /\S+ spawned \S+:\d+:file$/o;
309     # running
310     return 1 if $left =~ /\S+ running$/o;
311     # sleeping
312     if ($left =~ /(\S+):\d+:proc:\d+ sleeping$/o) {
313       my $server = $1;
314       $server = lc $server unless $CASE_SENSITIVE;
315       $innd_blocked{$server}++;
316       return 1;
317     }
318     # blocked sleeping
319     if ($left =~ /(\S+):\d+:proc:\d+ blocked sleeping/o) {
320       my $server = $1;
321       $server = lc $server unless $CASE_SENSITIVE;
322       $innd_blocked{$server}++;
323       return 1;
324     }
325     if ($left =~ /(\S+):\d+ blocked sleeping/o) {
326       my $server = $1;
327       $server = lc $server unless $CASE_SENSITIVE;
328       $innd_blocked{$server}++;
329       return 1;
330     }
331     # restarted
332     return 1 if $left =~ m/^\S+ restarted$/o;
333     # starting
334     return 1 if $left =~ m/^\S+ starting$/o;
335     # readclose
336     return 1 if $left =~ m/^\S+:\d+ readclose+$/o;
337     # rejected 502
338     if ($left =~ m/^(\S+) rejected 502$/) {
339       my $server = $1;
340       $server = lc $server unless $CASE_SENSITIVE;
341       $innd_no_permission{$server}++;
342       return 1;
343     }
344     # rejected 505
345     if ($left =~ m/^(\S+) rejected 505$/) {
346       my $server = $1;
347       $server = lc $server unless $CASE_SENSITIVE;
348       $innd_too_many_connects_per_minute{$server}++;
349       return 1;
350     }
351     # connected
352     if ($left =~ /^(\S+) connected \d+/o) {
353       my $server = $1;
354       $server = lc $server unless $CASE_SENSITIVE;
355       $innd_connect{$server}++;
356       return 1;
357     }
358     # closed (with times)
359     if ($left =~ /(\S+):\d+ closed seconds (\d+) accepted (\d+) refused (\d+) rejected (\d+) duplicate (\d+) accepted size (\d+) duplicate size (\d+)(?: rejected size (\d+))?$/o) {
360       my ($server, $seconds, $accepted, $refused, $rejected, $duplicate, $accptsize, $dupsize) =
361         ($1, $2, $3, $4, $5, $6, $7, $8);
362       $server = lc $server unless $CASE_SENSITIVE;
363       $innd_seconds{$server} += $seconds;
364       $innd_accepted{$server} += $accepted;
365       $innd_refused{$server} += $refused;
366       $innd_rejected{$server} += $rejected;
367       $innd_stored_size{$server} += $accptsize;
368       $innd_duplicated_size{$server} += $dupsize;
369       return 1;
370     } elsif ($left =~ /(\S+):\d+ closed seconds (\d+) accepted (\d+) refused (\d+) rejected (\d+)$/o) {
371       # closed (with times)
372       my ($server, $seconds, $accepted, $refused, $rejected) =
373         ($1, $2, $3, $4, $5);
374       $server = lc $server unless $CASE_SENSITIVE;
375       $innd_seconds{$server} += $seconds;
376       $innd_accepted{$server} += $accepted;
377       $innd_refused{$server} += $refused;
378       $innd_rejected{$server} += $rejected;
379       return 1;
380     }
381     # closed (without times (?))
382     return 1 if $left =~ m/\S+ closed$/o;
383     # closed (for a cancel feed - MODE CANCEL)
384     return 1 if $left =~ m/localhost:\d+ closed seconds \d+ cancels \d+$/o;
385     # checkpoint
386     return 1 if $left =~ m/^\S+:\d+ checkpoint /o;
387     # if ($left =~ /(\S+):\d+ checkpoint seconds (\d+) accepted (\d+)
388     #     refused (\d+) rejected (\d+)$/) {
389     #   # Skipped...
390     #   my ($server, $seconds, $accepted, $refused, $rejected) =
391     #      ($1, $2, $3, $4, $5);
392     #   $innd_seconds{$server} += $seconds;
393     #   $innd_accepted{$server} += $accepted;
394     #   $innd_refused{$server} += $refused;
395     #   $innd_rejected{$server} += $rejected;
396     #   return 1;
397     # }
398
399     # flush
400     if ($left =~ /(\S+) flush$/o) {
401       $innd_control{"flush"}++;
402       return 1;
403     }
404     # flush-file
405     if ($left =~ /flush_file/) {
406        $innd_control{"flush_file"}++;
407        return 1;
408      }
409     # too many connections from site
410     if ($left =~ /too many connections from (\S+)/o) {
411       $innd_max_conn{$1}++;
412       return 1;
413     }
414     # overview exit 0 elapsed 23 pid 28461
415     return 1 if $left =~ m/\S+ exit \d+ .*$/o;
416     # internal rejecting huge article
417     if ($left =~ /(\S+) internal rejecting huge article/o) {
418       my $server = $1;
419       $server =~ s/:\d+$//o;
420       $server = lc $server unless $CASE_SENSITIVE;
421       $innd_huge{$server}++;
422       return 1;
423     }
424     # internal closing free channel
425     if ($left =~ /(\S+) internal closing free channel/o) {
426       $innd_misc{"Free channel"}++;
427       return 1;
428     }
429     # internal (other)
430     return 1 if $left =~ /\S+ internal/o;
431     # wakeup
432     return 1 if $left =~ /\S+ wakeup$/o;
433     # throttle
434     if ($left =~ /(\S+) throttled? /) {
435       $innd_control{"throttle"}++;
436       return 1;
437     }
438     # profile timer
439     # ME time X nnnn X(X) [...]
440     # The exact timers change from various versions of INN, so try to deal
441     # with this in a general fashion.
442     if ($left =~ m/^\S+\s+                         # ME
443                    time\s(\d+)\s+                  # time
444                    ((?:\S+\s\d+\(\d+\)\s*)+)       # timer values
445                    $/ox) {
446       $innd_time_times += $1;
447       my $timers = $2;
448
449       while ($timers =~ /(\S+) (\d+)\((\d+)\)\s*/g) {
450         my $name = $timer_names{$1} || $1;
451         my $average = $2 / ($3 || 1);
452         $innd_time_time{$name} += $2;
453         $innd_time_num{$name} += $3;
454         $innd_time_min{$name} = $average
455           if ($3 && $innd_time_min{$name} > $average);
456         $innd_time_max{$name} = $average
457           if ($3 && $innd_time_max{$name} < $average);
458       }
459       return 1;
460     }
461     # ME time xx idle xx(xx)     [ bug ? a part of timer ?]
462     return 1 if $left =~ m/^ME time \d+ idle \d+\(\d+\)\s*$/o;
463     # ME HISstats x hitpos x hitneg x missed x dne
464     #
465     # from innd/his.c:
466     # HIShitpos: the entry existed in the cache and in history.
467     # HIShitneg: the entry existed in the cache but not in history.
468     # HISmisses: the entry was not in the cache, but was in the history file.
469     # HISdne:    the entry was not in cache or history.
470     if ($left =~ m/^ME\ HISstats                  # ME HISstats
471                    \ (\d+)\s+hitpos               # hitpos
472                    \ (\d+)\s+hitneg               # hitneg
473                    \ (\d+)\s+missed               # missed
474                    \ (\d+)\s+dne                  # dne
475                    $/ox) {
476       $innd_his{'Positive hits'} += $1;
477       $innd_his{'Negative hits'} += $2;
478       $innd_his{'Cache misses'}  += $3;
479       $innd_his{'Do not exist'}  += $4;
480       return 1;
481     }
482     # SERVER history cache final: 388656 lookups, 1360 hits
483     if ($left =~ m/^SERVER history cache final: (\d+) lookups, (\d+) hits$/) {
484       $innd_cache{'Lookups'} += $1;
485       $innd_cache{'Hits'}    += $2;
486       return 1;
487     }
488     # bad_hosts (appears after a "cant gesthostbyname" from a feed)
489     return 1 if $left =~ m/\S+ bad_hosts /o;
490     # cant read
491     return 1 if $left =~ m/\S+ cant read/o;
492     # cant write
493     return 1 if $left =~ m/\S+ cant write/o;
494     # cant flush
495     return 1 if $left =~ m/\S+ cant flush/o;
496     # spoolwake
497     return 1 if $left =~ m/\S+ spoolwake$/o;
498     # spooling
499     return 1 if $left =~ m/\S+ spooling/o;
500     # DEBUG
501     return 1 if $left =~ m/^DEBUG /o;
502     # NCmode
503     return 1 if $left =~ m/\S+ NCmode /o;
504     # outgoing
505     return 1 if $left =~ m/\S+ outgoing/o;
506     # inactive
507     return 1 if $left =~ m/\S+ inactive/o;
508     # timeout
509     return 1 if $left =~ m/\S+ timeout/o;
510     # lcsetup
511     return 1 if $left =~ m/\S+ lcsetup/o;
512     # rcsetup
513     return 1 if $left =~ m/\S+ rcsetup/o;
514     # flush_all
515     return 1 if $left =~ m/\S+ flush_all/o;
516     # buffered
517     return 1 if $left =~ m/\S+ buffered$/o;
518     # descriptors
519     return 1 if $left =~ m/\S+ descriptors/o;
520     # ccsetup
521     return 1 if $left =~ m/\S+ ccsetup/o;
522     # renumbering
523     return 1 if $left =~ m/\S+ renumbering/o;
524     # renumber
525     return 1 if $left =~ m/\S+ renumber /o;
526     # ihave from me
527     if ($left =~ m/\S+ ihave_from_me /o) {
528       $controlchan_ihave_site{'ME'}++;
529       return 1;
530     }
531     # sendme from me
532     if ($left =~ m/\S+ sendme_from_me /o) {
533       $controlchan_sendme_site{'ME'}++;
534       return 1;
535     }
536     # newgroup
537     if ($left =~ m/\S+ newgroup (\S+) as (\S)/o) {
538       $innd_newgroup{$1} = $2;
539       return 1;
540     }
541     # rmgroup
542     if ($left =~ m/\S+ rmgroup (\S+)$/o) {
543       $innd_rmgroup{$1}++;
544       return 1;
545     }
546     # changegroup
547     if ($left =~ m/\S+ change_group (\S+) to (\S)/o) {
548       $innd_changegroup{$1} = $2;
549       return 1;
550     }
551     # paused
552     if ($left =~ m/(\S+) paused /o) {
553       $innd_control{"paused"}++;
554       return 1;
555     }
556     # throttled
557     return 1 if $left =~ m/\S+ throttled/o;
558     # reload
559     if ($left =~ m/(\S+) reload/o) {
560       $innd_control{"reload"}++;
561       return 1;
562     }
563     # shutdown
564     if ($left =~ m/(\S+) shutdown/o) {
565       $innd_control{"shutdown"}++;
566       return 1;
567     }
568     # SERVER servermode paused
569     return 1 if ($left =~ /(\S+) servermode paused$/o);
570     # SERVER servermode running
571     return 1 if ($left =~ /(\S+) servermode running$/o);
572     # SERVER flushlogs paused
573     if ($left =~ /(\S+) flushlogs /) {
574       $innd_control{"flushlogs"}++;
575       return 1;
576     }
577     # think it's a dotquad
578     return 1 if $left =~ /think it\'s a dotquad: /o;
579     # bad_ihave
580     if ($left =~ /(\S+) bad_ihave /) {
581       my $server = $1;
582       $server =~ s/:\d+$//o;
583       $server = lc $server unless $CASE_SENSITIVE;
584       $innd_bad_ihave{$server}++;
585       return 1;
586     }
587     # bad_messageid
588     if ($left =~ /(\S+) bad_messageid/o) {
589       my $server = $1;
590       $server =~ s/:\d+$//o;
591       $server = lc $server unless $CASE_SENSITIVE;
592       $innd_bad_msgid{$server}++;
593       return 1;
594     }
595     # bad_sendme
596     if ($left =~ /(\S+) bad_sendme /o) {
597       my $server = $1;
598       $server =~ s/:\d+$//o;
599       $server = lc $server unless $CASE_SENSITIVE;
600       $innd_bad_sendme{$server}++;
601       return 1;
602     }
603     # bad_command
604     if ($left =~ /(\S+) bad_command /o) {
605       my $server = $1;
606       $server =~ s/:\d+$//o;
607       $server = lc $server unless $CASE_SENSITIVE;
608       $innd_bad_command{$server}++;
609       return 1;
610     }
611     # bad_newsgroup
612     if ($left =~ /(\S+) bad_newsgroup /o) {
613       my $server = $1;
614       $server =~ s/:\d+$//o;
615       $innd_bad_newsgroup{$server}++;
616       $server = lc $server unless $CASE_SENSITIVE;
617       return 1;
618     }
619     if ($left =~ m/ cant /o) {
620       # cant select Bad file number
621       if ($left =~ / cant select Bad file number/o) {
622         $innd_misc{"Bad file number"}++;
623         return 1;
624       }
625       # cant gethostbyname
626       if ($left =~ / cant gethostbyname/o) {
627         $innd_misc{"gethostbyname error"}++;
628         return 1;
629       }
630       # cant accept RCreader
631       if ($left =~ / cant accept RCreader /o) {
632         $innd_misc{"RCreader"}++;
633         return 1;
634       }
635       # cant sendto CCreader
636       if ($left =~ / cant sendto CCreader /o) {
637         $innd_misc{"CCreader"}++;
638         return 1;
639       }
640       # cant (other) skipped - not particularly interesting
641       return 1;
642     }
643     # bad_newsfeeds no feeding sites
644     return 1 if $left =~ /\S+ bad_newsfeeds no feeding sites/o;
645     # CNFS: cycbuff rollover - possibly interesting
646     return 1 if $left =~ /CNFS(?:-sm)?: cycbuff \S+ rollover to cycle/o;
647     # CNFS: CNFSflushallheads: flushing - possibly interesting
648     return 1 if $left =~ /CNFS(?:-sm)?: CNFSflushallheads: flushing /o;
649     # CNFS: metacycbuff rollover with SEQUENTIAL
650     return 1 if $left =~ /CNFS(?:-sm)?: metacycbuff \S+ cycbuff is moved to /o;
651     # Cleanfeed status reports
652     return 1 if $left =~ /^filter: status/o;
653     return 1 if $left =~ /^filter: Reloading bad files/o;
654   }
655   ########
656   ## innfeed
657   if ($prog eq "innfeed") {
658     # connected
659     if ($left =~ /(\S+):\d+ connected$/) {
660       my $server = $1;
661       $server = lc $server unless $CASE_SENSITIVE;
662       $innfeed_connect{$server}++;
663       return 1;
664     }
665     # closed periodic
666     return 1 if $left =~ m/\S+:\d+ closed periodic$/o;
667     # periodic close
668     return 1 if $left =~ m/\S+:\d+ periodic close$/o;
669     # final (child)
670     return 1 if $left =~ m/\S+:\d+ final seconds \d+ offered \d+ accepted \d+ refused \d+ rejected \d+/o;
671     # global (real)
672     return 1 if $left =~ m/\S+ global seconds \d+ offered \d+ accepted \d+ refused \d+ rejected \d+ missing \d+/o;
673     # final (real) (new format)
674     if ($left =~ /(\S+) final seconds (\d+) offered (\d+) accepted (\d+) refused (\d+) rejected (\d+) missing (\d+) accsize (\d+) rejsize (\d+) spooled (\d+)/o) {
675       my ($server, $seconds, $offered, $accepted, $refused, $rejected,
676           $missing, $accepted_size, $rejected_size, $spooled) = ($1, $2, $3, $4, $5, $6, $7, $8, $9, $10);
677       $server = lc $server unless $CASE_SENSITIVE;
678       $innfeed_seconds{$server} += $seconds;
679       $innfeed_offered{$server} += $offered;
680       $innfeed_accepted{$server} += $accepted;
681       $innfeed_refused{$server} += $refused;
682       $innfeed_rejected{$server} += $rejected;
683       $innfeed_missing{$server} += $missing;
684       $innfeed_spooled{$server} += $spooled;
685       $innfeed_accepted_size{$server} += $accepted_size;
686       $innfeed_rejected_size{$server} += $rejected_size;
687       return 1;
688     } elsif ($left =~ /(\S+) final seconds (\d+) offered (\d+) accepted (\d+) refused (\d+) rejected (\d+) missing (\d+) spooled (\d+)/o) {
689       my ($server, $seconds, $offered, $accepted, $refused, $rejected,
690           $missing, $spooled) = ($1, $2, $3, $4, $5, $6, $7, $8, $9, $10);
691       $server = lc $server unless $CASE_SENSITIVE;
692       $innfeed_seconds{$server} += $seconds;
693       $innfeed_offered{$server} += $offered;
694       $innfeed_accepted{$server} += $accepted;
695       $innfeed_refused{$server} += $refused;
696       $innfeed_rejected{$server} += $rejected;
697       $innfeed_missing{$server} += $missing;
698       $innfeed_spooled{$server} += $spooled;
699       return 1;
700     }
701     # final (only seconds & spooled)
702     if ($left =~ /(\S+) final seconds (\d+) spooled (\d+)/o) {
703       my ($server, $seconds, $spooled) = ($1, $2, $3);
704       $server = lc $server unless $CASE_SENSITIVE;
705       $innfeed_seconds{$server} += $seconds;
706       $innfeed_spooled{$server} += $spooled;
707       return 1;
708     }
709     # checkpoint
710     return 1 if $left =~ m/\S+ checkpoint seconds/o;
711     # ME file xxxx shrunk from yyyy to zzz
712     if ($left =~ /^ME file (.*)\.output shrunk from (\d+) to (\d+)$/) {
713       my ($file, $s1, $s2) = ($1, $2, $3);
714       $file =~ s|^.*/([^/]+)$|$1|; # keep only the server name
715       $innfeed_shrunk{$file} += $s1 - $s2;
716       return 1;
717     }
718     # profile timer
719     # ME time X nnnn X(X) [...]
720     return 1 if $left =~ m/backlogstats/;
721     if ($left =~ m/^\S+\s+                         # ME
722                    time\s(\d+)\s+                  # time
723                    ((?:\S+\s\d+\(\d+\)\s*)+)       # timer values
724                    $/ox) {
725       $innfeed_time_times += $1;
726       my $timers = $2;
727
728       while ($timers =~ /(\S+) (\d+)\((\d+)\)\s*/g) {
729         my $name = $innfeed_timer_names{$1} || $1;
730         my $average = $2 / ($3 || 1);
731         $innfeed_time_time{$name} += $2;
732         $innfeed_time_num{$name} += $3;
733         $innfeed_time_min{$name} = $average
734           if ($3 && $innfeed_time_min{$name} > $average);
735         $innfeed_time_max{$name} = $average
736           if ($3 && $innfeed_time_max{$name} < $average);
737       }
738       return 1;
739     }
740     # xxx grabbing external tape file
741     return 1 if $left =~ m/ grabbing external tape file/o;
742     # hostChkCxns - maxConnections was
743     return 1 if $left =~ m/hostChkCxns - maxConnections was /o;
744     # cxnsleep
745     return 1 if $left =~ m/\S+ cxnsleep .*$/o;
746     # idle
747     return 1 if $left =~ m/\S+ idle tearing down connection$/o;
748     # remote
749     return 1 if $left =~ m/\S+ remote .*$/o;
750     # spooling
751     return 1 if $left =~ m/\S+ spooling no active connections$/o;
752     # ME articles total
753     return 1 if $left =~ m/(?:SERVER|ME) articles total \d+ bytes \d+/o;
754     # ME articles active
755     return 1 if $left =~ m/(?:SERVER|ME) articles active \d+ bytes \d+/o;
756     # connect : Connection refused
757     return 1 if $left =~ m/connect : Connection refused/o;
758     # connect : Network is unreachable
759     return 1 if $left =~ m/connect : Network is unreachable/o;
760     # connect : Address family not supported by protocol
761     return 1 if $left =~ m/connect : Address family not supported by protocol/o;
762     # connect : No route to host
763     return 1 if $left =~ m/connect : No route to host/o;
764     # connection vanishing
765     return 1 if $left =~ m/connection vanishing/o;
766     # can't resolve hostname
767     return 1 if $left =~ m/can\'t resolve hostname/o;
768     # new hand-prepared backlog file
769     return 1 if $left =~ m/new hand-prepared backlog file/o;
770     # flush re-connect failed
771     return 1 if $left =~ m/flush re-connect failed/o;
772     # internal QUIT while write pending
773     return 1 if $left =~ m/internal QUIT while write pending/o;
774     # ME source lost . Exiting
775     return 1 if $left =~ m/(?:SERVER|ME) source lost . Exiting/o;
776     # ME starting innfeed (+version & date)
777     return 1 if $left =~ m/(?:SERVER|ME) starting (?:innfeed|at)/o;
778     # ME finishing at (date)
779     return 1 if $left =~ m/(?:SERVER|ME) finishing at /o;
780     # mode no-CHECK entered
781     return 1 if $left =~ m/mode no-CHECK entered/o;
782     # mode no-CHECK exited
783     return 1 if $left =~ m/mode no-CHECK exited/o;
784     # closed
785     return 1 if $left =~ m/^(\S+) closed$/o;
786     # global (+ seconds offered accepted refused rejected missing)
787     return 1 if $left =~ m/^(\S+) global/o;
788     # idle connection still has articles
789     return 1 if $left =~ m/^(\S+) idle connection still has articles$/o;
790     # missing article for IHAVE-body
791     return 1 if $left =~ m/^(\S+) missing article for IHAVE-body$/o;
792     # cannot continue
793     return 1 if $left =~ m/^cannot continue/o;
794     if ($left =~ /^(?:SERVER|ME)/o) {
795       # ME dropping articles into ...
796       return 1 if $left =~ / dropping articles into /o;
797       # ME dropped ...
798       return 1 if $left =~ / dropped /o;
799       # ME internal bad data in checkpoint file
800       return 1 if $left =~ m/ internal bad data in checkpoint/o;
801       # ME two filenames for same article
802       return 1 if $left =~ m/ two filenames for same article/o;
803       # ME unconfigured peer
804       return 1 if $left =~ m/ unconfigured peer/o;
805       # exceeding maximum article size
806       return 1 if $left =~ m/ exceeding maximum article byte/o;
807       # no space left on device errors
808       return 1 if $left =~ m/ ioerr fclose/o;
809       return 1 if $left =~ m/ lock failed for host/o;
810       return 1 if $left =~ m/ lock file pid-write/o;
811       return 1 if $left =~ m/ locked cannot setup peer/o;
812       return 1 if $left =~ m/ received shutdown signal/o;
813       # unconfigured peer
814       return 1 if $left =~ m/ unconfigured peer/o;
815       # ME lock
816       return 1 if $left =~ m/ lock/o;
817       # ME exception: getsockopt (0): Socket operation on non-socket
818       return 1 if $left =~ m/ exception: getsockopt /o;
819       # ME config aborting fopen (...) Permission denied
820       return 1 if $left =~ m/ config aborting fopen /o;
821       # ME cant chmod innfeed.pid....
822       return 1 if $left =~ m/ cant chmod \S+\/innfeed.pid/o;
823       return 1 if $left =~ m/ tape open failed /o;
824       return 1 if $left =~ m/ oserr open checkpoint file:/o;
825       # ME finishing (quickly)
826       return 1 if $left =~ m/\(quickly\) /o;
827       # ME config: value of streaming is not a boolean
828       return 1 if $left =~ m/config: value of \S+ is not/o;
829     }
830     # hostChkCxn - now: x.xx, prev: x.xx, abs: xx, curr: x
831     return 1 if $left =~ m/ hostChkCxn - now/o;
832     # loading path_to_config_file/innfeed.conf
833     return 1 if $left =~ m/loading /o;
834     # Finnaly, to avoid problems with strange error lines, ignore them.
835     #return 1 if ($left =~ /ME /);
836   }
837   ########
838   ## innxmit
839   if ($prog eq "innxmit") {
840     # 437 Duplicate article
841     if ($left =~ /(\S+) rejected [^\s]+ \(.*?\) 437 Duplicate article$/o) {
842       my $server = $1;
843       $server = lc $server unless $CASE_SENSITIVE;
844       $innxmit_badart{$server}++;
845       $innxmit_duplicate{$server}++;
846       return 1;
847     }
848     # 437 Unapproved for
849     if ($left =~ /(\S+) rejected [^\s]+ \(.*\) 437 Unapproved for \"(.*?)\"$/o) {
850       my ($server, $group) = ($1, $2);
851       $server = lc $server unless $CASE_SENSITIVE;
852       $innxmit_badart{$server}++;
853       $innxmit_unapproved{$server}++;
854       $innxmit_unapproved_g{$group}++;
855       return 1;
856     }
857     # 437 Too old -- ...
858     if ($left =~ /(\S+) rejected [^\s]+ \(.*\) 437 Too old -- \".*?\"$/o) {
859       my $server = $1;
860       $server = lc $server unless $CASE_SENSITIVE;
861       $innxmit_badart{$server}++;
862       $innxmit_tooold{$server}++;
863       return 1;
864     }
865     # 437 Unwanted site ... in path
866     if ($left =~
867       /(\S+) rejected [^\s]+ \(.*?\) 437 Unwanted site (\S+) in path$/o) {
868       my ($server, $site) = ($1, $2);
869       $server = lc $server unless $CASE_SENSITIVE;
870       $innxmit_badart{$server}++;
871       $innxmit_uw_site{$server}++;
872       # $innxmit_site_path{$site}++;
873       return 1;
874     }
875     # 437 Unwanted newsgroup "..."
876     if ($left =~
877       /(\S+) rejected [^\s]+ \(.*?\) 437 Unwanted newsgroup \"(\S+)\"$/o) {
878       my ($server, $group) = ($1, $2);
879       $server = lc $server unless $CASE_SENSITIVE;
880       $innxmit_badart{$server}++;
881       $innxmit_uw_ng_s{$server}++;
882       $innxmit_uw_ng{$group}++;
883       return 1;
884     }
885     # 437 Unwanted distribution "..."
886     if ($left =~
887       /(\S+) rejected [^\s]+ \(.*?\) 437 Unwanted distribution \"(\S+)\"$/o) {
888       my ($server, $dist) = ($1, $2);
889       $server = lc $server unless $CASE_SENSITIVE;
890       $innxmit_badart{$server}++;
891       $innxmit_uw_dist_s{$server}++;
892       $innxmit_uw_dist{$dist}++;
893       return 1;
894     }
895     # xx rejected foo.bar/12345 (foo/bar/12345) 437 Unwanted distribution "..."
896     if ($left =~ /^(\S+) rejected .* 437 Unwanted distribution \"(\S+)\"$/o) {
897       my ($server, $dist) = ($1, $2);
898       $server = lc $server unless $CASE_SENSITIVE;
899       $innxmit_badart{$server}++;
900       $innxmit_uw_dist_s{$server}++;
901       $innxmit_uw_dist{$dist}++;
902       return 1;
903     }
904     # 437 Linecount x != y +- z
905     if ($left =~ /(\S+) rejected [^\s]+ \(.*?\) 437 Linecount/o) {
906       my $server = $1;
907       $server = lc $server unless $CASE_SENSITIVE;
908       $innxmit_badart{$server}++;
909       $innxmit_linecount{$server}++;
910       return 1;
911     }
912     # 437 Newsgroup name illegal -- "xxx"
913     if ($left =~ /(\S+) rejected .* 437 Newsgroup name illegal -- "[^\"]*"$/) {
914       my $server = $1;
915       $server = lc $server unless $CASE_SENSITIVE;
916       $innxmit_others{$server}++;
917       $innxmit_badart{$server}++;
918       return 1;
919     }
920     # Streaming retries
921     return 1 if ($left =~ /\d+ Streaming retries$/o);
922     # ihave failed
923     if ($left =~ /(\S+) ihave failed/o) {
924       my $server = $1;
925       $server = lc $server unless $CASE_SENSITIVE;
926       $innxmit_ihfail{$server} = 1;
927       if ($left = /436 \S+ NNTP \S+ out of space/o) {
928         $innxmit_nospace{$server}++;
929         return 1;
930       }
931       if ($left = /400 \S+ space/o) {
932         $innxmit_nospace{$server}++;
933         return 1;
934       }
935       if ($left = /400 Bad file/o) {
936         $innxmit_crefused{$server}++;
937         return 1;
938       }
939       if ($left = /480 Transfer permission denied/o) {
940         $innxmit_crefused{$server}++;
941         return 1;
942       }
943     }
944     # stats (new format)
945     if ($left =~
946       /(\S+) stats offered (\d+) accepted (\d+) refused (\d+) rejected (\d+) missing (\d+) accsize (\d+) rejsize (\d+)$/o) {
947       my ($server, $offered, $accepted, $refused, $rejected, $missing, $accbytes, $rejbytes) =
948         ($1, $2, $3, $4, $5, $6, $7, $8);
949       $server = lc $server unless $CASE_SENSITIVE;
950       $innxmit_offered{$server} += $offered;
951       $innxmit_offered{$server} -= $innxmit_ihfail{$server}
952         if ($innxmit_ihfail{$server});
953       $innxmit_accepted{$server} += $accepted;
954       $innxmit_refused{$server} += $refused;
955       $innxmit_rejected{$server} += $rejected;
956       $innxmit_missing{$server} += $missing;
957       $innxmit_accepted_size{$server} += $accbytes;
958       $innxmit_rejected_size{$server} += $rejbytes;
959       $innxmit_site{$server}++;
960       $innxmit_ihfail{$server} = 0;
961       return 1;
962     }
963     # stats
964     if ($left =~
965       /(\S+) stats offered (\d+) accepted (\d+) refused (\d+) rejected (\d+)$/o) {
966       my ($server, $offered, $accepted, $refused, $rejected) =
967         ($1, $2, $3, $4, $5);
968       $server = lc $server unless $CASE_SENSITIVE;
969       $innxmit_offered{$server} += $offered;
970       $innxmit_offered{$server} -= $innxmit_ihfail{$server}
971         if ($innxmit_ihfail{$server});
972       $innxmit_accepted{$server} += $accepted;
973       $innxmit_refused{$server} += $refused;
974       $innxmit_rejected{$server} += $rejected;
975       $innxmit_site{$server}++;
976       $innxmit_ihfail{$server} = 0;
977       return 1;
978     }
979     # times
980     if ($left =~ /(\S+) times user (\S+) system (\S+) elapsed (\S+)$/o) {
981       my ($server, $user, $system, $elapsed) = ($1, $2, $3, $4);
982       $server = lc $server unless $CASE_SENSITIVE;
983       $innxmit_times{$server} += $elapsed;
984       return 1;
985     }
986     # connect & no space
987     if ($left =~ /(\S+) connect \S+ 400 No space/o) {
988       my $server = $1;
989       $server = lc $server unless $CASE_SENSITIVE;
990       $innxmit_nospace{$server}++;
991       $innxmit_site{$server}++;
992       return 1;
993     }
994     # connect & NNTP no space
995     if ($left =~ /(\S+) connect \S+ 400 \S+ out of space/o) {
996       my $server = $1;
997       $server = lc $server unless $CASE_SENSITIVE;
998       $innxmit_nospace{$server}++;
999       $innxmit_site{$server}++;
1000       return 1;
1001     }
1002     # connect & loadav
1003     if ($left =~ /(\S+) connect \S+ 400 loadav/o) {
1004       my $server = $1;
1005       if ($left =~ /expir/i) {
1006         $server = lc $server unless $CASE_SENSITIVE;
1007         $innxmit_expire{$server}++;
1008         $innxmit_site{$server}++;
1009         return 1;
1010       }
1011     }
1012     # connect 400 (other)
1013     if ($left =~ /(\S+) connect \S+ 400/o) {
1014       my $server = $1;
1015       $server = lc $server unless $CASE_SENSITIVE;
1016       $innxmit_crefused{$server}++;
1017       $innxmit_site{$server}++;
1018       return 1;
1019     }
1020     # connect failed
1021     if ($left =~ /(\S+) connect failed/o) {
1022       my $server = $1;
1023       $server = lc $server unless $CASE_SENSITIVE;
1024       $innxmit_cfail_host{$server}++;
1025       $innxmit_site{$server}++;
1026       return 1;
1027     }
1028     # authenticate failed
1029     if ($left =~ /(\S+) authenticate failed/o) {
1030       my $server = $1;
1031       $server = lc $server unless $CASE_SENSITIVE;
1032       $innxmit_afail_host{$server}++;
1033       $innxmit_site{$server}++;
1034       return 1;
1035     }
1036     # xxx ihave failed 400 loadav [innwatch:hiload] yyy gt zzz
1037     if ($left =~ /^(\S+) ihave failed 400 loadav/o) {
1038       my $server = $1;
1039       $server = lc $server unless $CASE_SENSITIVE;
1040       $innxmit_hiload{$server}++;
1041       return 1;
1042     }
1043     # ihave failed
1044     return 1 if ($left =~ /\S+ ihave failed/o);
1045     # requeued (....) 436 No space
1046     return 1 if ($left =~ /\S+ requeued \S+ 436 No space/o);
1047     # requeued (....) 400 No space
1048     return 1 if ($left =~ /\S+ requeued \S+ 400 No space/o);
1049     # requeued (....) 436 Can't write history
1050     return 1 if ($left =~ /\S+ requeued \S+ 436 Can\'t write history/o);
1051     # unexpected response code
1052     return 1 if ($left =~ /unexpected response code /o);
1053   }
1054
1055   ########
1056   ## nntplink
1057   if ($prog eq "nntplink") {
1058     $left =~ s/^(\S+):/$1/;
1059     # EOF
1060     if ($left =~ /(\S+) EOF /o) {
1061       my $server = $1;
1062       $server = lc $server unless $CASE_SENSITIVE;
1063       $nntplink_site{$server}++;
1064       $nntplink_eof{$server}++;
1065       return 1;
1066     }
1067     # Broken pipe
1068     if ($left =~ /(\S+) Broken pipe$/o) {
1069       my $server = $1;
1070       $server = lc $server unless $CASE_SENSITIVE;
1071       $nntplink_site{$server}++;
1072       $nntplink_bpipe{$server}++;
1073       return 1;
1074     }
1075     # already running - won't die
1076     return 1 if $left =~ /\S+ nntplink.* already running /o;
1077     # connection timed out
1078     if ($left =~ /(\S+) connection timed out/o) {
1079       my $server = $1;
1080       $server = lc $server unless $CASE_SENSITIVE;
1081       $nntplink_site{$server}++;
1082       $nntplink_bpipe{$server}++;
1083       return 1;
1084     }
1085     # greeted us with 400 No space
1086     if ($left =~ /(\S+) greeted us with 400 No space/o) {
1087       my $server = $1;
1088       $server = lc $server unless $CASE_SENSITIVE;
1089       $nntplink_site{$server}++;
1090       $nntplink_nospace{$server}++;
1091       return 1;
1092     }
1093     # greeted us with 400 loadav
1094     if ($left =~ /(\S+) greeted us with 400 loadav/o) {
1095       my $server = $1;
1096       $server = lc $server unless $CASE_SENSITIVE;
1097       $nntplink_site{$server}++;
1098       $nntplink_hiload{$server}++;
1099       return 1;
1100     }
1101     # greeted us with 400 (other)
1102     if ($left =~ /(\S+) greeted us with 400/o) {
1103       my $server = $1;
1104       $server = lc $server unless $CASE_SENSITIVE;
1105       $nntplink_site{$server}++;
1106       if ($left =~ /expir/i) {
1107         $nntplink_expire{$server}++;
1108       } else {
1109         $nntplink_fail{$server}++;
1110       }
1111       return 1;
1112     }
1113     # greeted us with 502
1114     if ($left =~ /(\S+) greeted us with 502/o) {
1115       my $server = $1;
1116       $server = lc $server unless $CASE_SENSITIVE;
1117       $nntplink_site{$server}++;
1118       $nntplink_auth{$server}++;
1119       return 1;
1120     }
1121     # sent authinfo
1122     if ($left =~ /(\S+) sent authinfo/o) {
1123       my $server = $1;
1124       $server = lc $server unless $CASE_SENSITIVE;
1125       $nntplink_site{$server}++;
1126       $nntplink_auth{$server}++;
1127       return 1;
1128     }
1129     # socket()
1130     if ($left =~ /(\S+) socket\(\): /o) {
1131       my $server = $1;
1132       $server = lc $server unless $CASE_SENSITIVE;
1133       $nntplink_site{$server}++;
1134       $nntplink_sockerr{$server}++;
1135       return 1;
1136     }
1137     # select()
1138     if ($left =~ /(\S+) select\(\) /o) {
1139       my $server = $1;
1140       $server = lc $server unless $CASE_SENSITIVE;
1141       $nntplink_site{$server}++;
1142       $nntplink_selecterr{$server}++;
1143       return 1;
1144     }
1145     # sent IHAVE
1146     if ($left =~ /(\S+) sent IHAVE/o) {
1147       my $server = $1;
1148       $server = lc $server unless $CASE_SENSITIVE;
1149       $nntplink_ihfail{$server}++;
1150       if (($left =~ / 436 /) && ($left =~ / out of space /)) {
1151         $nntplink_fake_connects{$server}++;
1152         $nntplink_nospace{$server}++;
1153       }
1154       return 1;
1155     }
1156     # article .... failed(saved): 436 No space
1157     if ($left =~ /(\S+) .* failed\(saved\): 436 No space$/o) {
1158       my $server = $1;
1159       $server = lc $server unless $CASE_SENSITIVE;
1160       $nntplink_nospace{$server}++;
1161       return 1;
1162     }
1163     # article .. 400 No space left on device writing article file -- throttling
1164     if ($left =~ /(\S+) .* 400 No space left on device writing article file -- throttling$/o) {
1165       my $server = $1;
1166       $server = lc $server unless $CASE_SENSITIVE;
1167       $nntplink_nospace{$server}++;
1168       return 1;
1169     }
1170     # stats
1171     if ($left =~ /(\S+) stats (\d+) offered (\d+) accepted (\d+) rejected (\d+) failed (\d+) connects$/o) {
1172       my ($server, $offered, $accepted, $rejected, $failed, $connects) =
1173         ($1, $2, $3, $4, $5, $6);
1174       $server = lc $server unless $CASE_SENSITIVE;
1175       $nntplink_offered{$server} += $offered - $nntplink_ihfail{$server}++;
1176       $nntplink_accepted{$server} += $accepted;
1177       $nntplink_rejected{$server} += $rejected;
1178       $nntplink_failed{$server} += $failed;
1179       $nntplink_connects{$server} += $connects;
1180       $nntplink_ihfail{$server} = 0;
1181       if ($nntplink_fake_connects{$server}) {
1182         $nntplink_site{$server} += $nntplink_fake_connects{$server};
1183         $nntplink_fake_connects{$server} = 0;
1184       } else {
1185         $nntplink_site{$server}++;
1186       }
1187       return 1;
1188     }
1189     # xmit
1190     if ($left =~ /(\S+) xmit user (\S+) system (\S+) elapsed (\S+)$/o) {
1191       my ($server, $user, $system, $elapsed) = ($1, $2, $3, $4);
1192       $server = lc $server unless $CASE_SENSITIVE;
1193       $nntplink_times{$server} += $elapsed;
1194       return 1;
1195     }
1196     # xfer
1197     return 1 if $left =~ /\S+ xfer/o;
1198     # Links down .. x hours
1199     if ($left =~ /(\S+) Links* down \S+ \d+/o) {
1200       # Collected but not used
1201       # my $server = $1;
1202       # $server = lc $server unless $CASE_SENSITIVE;
1203       # $nntplink_down{$server} += $hours;
1204       return 1;
1205     }
1206     # 503 Timeout
1207     if ($left =~ /^(\S+) \S+ \S+ \S+ 503 Timeout/o) {
1208       # Collected but not used
1209       # my $server = $1;
1210       # $server = lc $server unless $CASE_SENSITIVE;
1211       # $nntplink_timeout{$server}++;
1212       return 1;
1213     }
1214     # read() error while reading reply
1215     if ($left =~ /^(\S+): read\(\) error while reading reply/o) {
1216       my $server = $1;
1217       $server = lc $server unless $CASE_SENSITIVE;
1218       $nntplink_failed{$server}++;
1219       return 1;
1220     }
1221     # Password file xxxx not found
1222     return 1 if $left =~ /^\S+ Password file \S+ not found/;
1223     # No such
1224     return 1 if $left =~ /^\S+ \S+ \S+ No such/;
1225     # already running
1226     return 1 if $left =~ /^\S+ \S+ already running/;
1227     # error reading version from datafile
1228     return 1 if $left =~ /error reading version from datafile/;
1229   }
1230   ########
1231   ## nnrpd
1232   if ($prog =~ /^nnrpd(?:-ssl)?$/)
1233   {
1234     # Fix a small bug of nnrpd (inn 1.4*)
1235     $left =~ s/^ /\? /o;
1236     # Another bug (in INN 1.5b1)
1237     return 1 if $left =~ /^\020\002m$/o; # ^P^Bm
1238     # bad_history at num for <ref>
1239     return 1 if $left =~ /bad_history at \d+ for /o;
1240     # timeout short
1241     return 1 if $left =~ /\S+ timeout short$/o;
1242     # < or > + (blablabla)
1243     return 1 if $left =~ /^\S+ [\<\>] /o;
1244     # cant opendir ... I/O error
1245     return 1 if $left =~ /\S+ cant opendir \S+ I\/O error$/o;
1246     # perl filtering enabled
1247     return 1 if $left =~ /perl filtering enabled$/o;
1248     # Python filtering enabled
1249     return 1 if $left =~ /Python filtering enabled$/o;
1250     return 1 if $left =~ /^python interpreter initialized OK$/o;
1251     return 1 if $left =~ /^python method \S+ not found$/o;
1252     return 1 if $left =~ /^python authenticate method succeeded, return code \d+, error string /o;
1253     return 1 if $left =~ /^python access method succeeded$/o;
1254     return 1 if $left =~ /^python dynamic method \(\w+ access\) succeeded, refusion string: /o;
1255     return 1 if $left =~ /^python: .+ module successfully hooked into nnrpd$/o;
1256     return 1 if $left =~ /^python: nnrpd .+ class instance created$/o;
1257     return 1 if $left =~ /^python: n_a authenticate\(\) invoked: hostname \S+, ipaddress \S+, interface \S+, user /o;
1258     return 1 if $left =~ /^python: n_a access\(\) invoked: hostname \S+, ipaddress \S+, interface \S+, user /o;
1259     return 1 if $left =~ /^python: n_a dynamic\(\) invoked against type \S+, hostname \S+, ipaddress \S+, interface \S+, user /o;
1260     return 1 if $left =~ /^python: authentication by username succeeded$/o;
1261     return 1 if $left =~ /^python: authentication by username failed$/o;
1262     return 1 if $left =~ /^python: authentication access by IP address succeeded$/o;
1263     return 1 if $left =~ /^python: authentication access by IP address failed$/o;
1264     return 1 if $left =~ /^python: dynamic access module successfully hooked into nnrpd$/o;
1265     return 1 if $left =~ /^python: dynamic authorization access for read access granted$/o;
1266     return 1 if $left =~ /^python: dynamic authorization access type is not known: /o;
1267     # connect
1268     if ($left =~ /(\S+) (\([0-9a-fA-F:.]*\) )?connect$/o) {
1269       my $cust = $1;
1270       $cust = lc $cust unless $CASE_SENSITIVE;
1271       my $dom = &host2dom($cust);
1272       $nnrpd_dom_connect{$dom}++;
1273       $nnrpd_connect{$cust}++;
1274       return 1;
1275     }
1276     # group
1277     if ($left =~ /(\S+) group (\S+) (\d+)$/o) {
1278       my ($cust, $group, $num) = ($1, $2, $3);
1279       if ($num) {
1280         $nnrpd_group{$group} += $num;
1281         my ($hierarchy) = $group =~ /^([^\.]+).*$/o;
1282         $nnrpd_hierarchy{$hierarchy} += $num;
1283       }
1284       return 1;
1285     }
1286     # post failed
1287     if ($left =~ /(\S+) post failed (.*)$/o) {
1288       my ($cust, $error) = ($1, $2);
1289       $nnrpd_post_error{$error}++;
1290       return 1;
1291     }
1292     # post ok
1293     return 1 if $left =~ /\S+ post ok/o;
1294     # posts
1295     if ($left =~ /(\S+) posts received (\d+) rejected (\d+)$/o) {
1296       my ($cust, $received, $rejected) = ($1, $2, $3);
1297       $cust = lc $cust unless $CASE_SENSITIVE;
1298       my $dom = &host2dom($cust);
1299       $nnrpd_dom_post_ok{$dom} += $received;
1300       $nnrpd_dom_post_rej{$dom} += $rejected;
1301       $nnrpd_post_ok{$cust} += $received;
1302       $nnrpd_post_rej{$cust} += $rejected;
1303       return 1;
1304     }
1305     # noperm post without permission
1306     if ($left =~ /(\S+) noperm post without permission/o) {
1307       my $cust = $1;
1308       $cust = lc $cust unless $CASE_SENSITIVE;
1309       my $dom = &host2dom($cust);
1310       $nnrpd_dom_post_rej{$dom} ++;
1311       $nnrpd_post_rej{$cust} ++;
1312       return 1;
1313     }
1314     # no_permission
1315     if ($left =~ /(\S+) no_(permission|access)$/o) {
1316       my $cust = $1;
1317       $cust = lc $cust unless $CASE_SENSITIVE;
1318       my $dom = &host2dom($cust);
1319       $nnrpd_no_permission{$cust}++;
1320       $nnrpd_dom_no_permission{$dom}++;
1321       return 1;
1322     }
1323     # bad_auth
1324     if ($left =~ /(\S+) bad_auth$/o) {
1325       my $cust = $1;
1326       $cust = lc $cust unless $CASE_SENSITIVE;
1327       my $dom = &host2dom($cust);
1328       $nnrpd_dom_no_permission{$dom}++;
1329       $nnrpd_no_permission{$cust}++;
1330       return 1;
1331     }
1332     # Authentication failure
1333     # User not known to the underlying authentication module
1334     return 1 if $left =~ / ckpasswd: pam_authenticate failed: /o;
1335     return 1 if $left =~ / ckpasswd: user .+ unknown$/o;
1336     # authinfo
1337     if ($left =~ /\S+ user (\S+)$/o) {
1338       my $user = $1;
1339       $nnrpd_auth{$user}++;
1340       return 1;
1341     }
1342     # unrecognized + command
1343     if ($left =~ /(\S+) unrecognized (.*)$/o) {
1344       my ($cust, $error) = ($1, $2);
1345       $cust = lc $cust unless $CASE_SENSITIVE;
1346       my $dom = &host2dom($cust);
1347       $error = "_null command_" if ($error !~ /\S/);
1348       $error =~ s/^(xmotd) .*$/$1/i if ($error =~ /^xmotd .*$/i);
1349       $nnrpd_dom_unrecognized{$dom}++;
1350       $nnrpd_unrecognized{$cust}++;
1351       $nnrpd_unrecogn_cmd{$error}++;
1352       return 1;
1353     }
1354     # exit
1355     if ($left =~ /(\S+) exit articles (\d+) groups (\d+)$/o) {
1356       my ($cust, $articles, $groups) = ($1, $2, $3);
1357       $cust = lc $cust unless $CASE_SENSITIVE;
1358       my $dom = &host2dom($cust) || '?';
1359       $nnrpd_connect{$cust}++, $nnrpd_dom_connect{$dom}++ if $cust eq '?';
1360       $nnrpd_groups{$cust} += $groups;
1361       $nnrpd_dom_groups{$dom} += $groups;
1362       $nnrpd_articles{$cust} += $articles;
1363       $nnrpd_dom_articles{$dom} += $articles;
1364       return 1;
1365     }
1366     # times
1367     if ($left =~ /(\S+) times user (\S+) system (\S+) idle (\S+) elapsed (\S+)$/o) {
1368       my ($cust, $user, $system, $idle, $elapsed) = ($1, $2, $3, $4, $5);
1369       $cust = lc $cust unless $CASE_SENSITIVE;
1370       my $dom = &host2dom($cust);
1371       $nnrpd_times{$cust} += $elapsed;
1372       $nnrpd_resource_user{$cust} += $user;
1373       $nnrpd_resource_system{$cust} += $system;
1374       $nnrpd_resource_idle{$cust} += $idle;
1375       $nnrpd_resource_elapsed{$cust} += $elapsed;
1376       $nnrpd_dom_times{$dom} += $elapsed;
1377       return 1;
1378     }
1379     # artstats
1380     if ($left =~ /(\S+) artstats get (\d+) time (\d+) size (\d+)$/o) {
1381       my ($cust, $articles, $time, $bytes) = ($1, $2, $3, $4);
1382       $cust = lc $cust unless $CASE_SENSITIVE;
1383       my $dom = &host2dom($cust);
1384       $nnrpd_bytes{$cust} += $bytes;
1385       $nnrpd_dom_bytes{$dom} += $bytes;
1386       return 1;
1387     }
1388     # timeout
1389     if ($left =~ /(\S+) timeout$/o) {
1390       my $cust = $1;
1391       $cust = lc $cust unless $CASE_SENSITIVE;
1392       my $dom = &host2dom($cust);
1393       $nnrpd_dom_timeout{$dom}++;
1394       $nnrpd_timeout{$cust}++;
1395       return 1;
1396     }
1397     # timeout in post
1398     if ($left =~ /(\S+) timeout in post$/o) {
1399       my $cust = $1;
1400       $cust = lc $cust unless $CASE_SENSITIVE;
1401       my $dom = &host2dom($cust);
1402       $nnrpd_dom_timeout{$dom}++;
1403       $nnrpd_timeout{$cust}++;
1404       return 1;
1405     }
1406     # can't read: Connection timed out
1407     if ($left =~ /(\S+) can\'t read: Connection timed out$/o) {
1408       my $cust = $1;
1409       $cust = lc $cust unless $CASE_SENSITIVE;
1410       my $dom = &host2dom($cust);
1411       $nnrpd_dom_timeout{$dom}++;
1412       $nnrpd_timeout{$cust}++;
1413       return 1;
1414     }
1415     # can't read: Operation timed out
1416     if ($left =~ /(\S+) can\'t read: Operation timed out$/o) {
1417       my $cust = $1;
1418       $cust = lc $cust unless $CASE_SENSITIVE;
1419       my $dom = &host2dom($cust);
1420       $nnrpd_dom_timeout{$dom}++;
1421       $nnrpd_timeout{$cust}++;
1422       return 1;
1423     }
1424     # can't read: Connection reset by peer
1425     if ($left =~ /(\S+) can\'t read: Connection reset by peer$/o) {
1426       my $cust = $1;
1427       $cust = lc $cust unless $CASE_SENSITIVE;
1428       my $dom = &host2dom($cust);
1429       $nnrpd_dom_reset_peer{$dom}++;
1430       $nnrpd_reset_peer{$cust}++;
1431       return 1;
1432     }
1433     # can't read: Network is unreachable
1434     return 1 if $left =~ /(\S+) can\'t read: Network is unreachable$/o;
1435     # gethostbyaddr: xxx.yyy.zzz != a.b.c.d
1436     if ($left =~ /^gethostbyaddr: (.*)$/o) {
1437       my $msg = $1;
1438       $nnrpd_gethostbyaddr{$msg}++;
1439       return 1;
1440     }
1441     # cant gethostbyaddr
1442     if ($left =~ /\? cant gethostbyaddr (\S+) .*$/o) {
1443       my $ip = $1;
1444       $nnrpd_gethostbyaddr{$ip}++;
1445       return 1;
1446     }
1447     # cant getpeername
1448     if ($left =~ /\? cant getpeername/o) {
1449       # $nnrpd_getpeername++;
1450       $nnrpd_gethostbyaddr{"? (can't getpeername)"}++;
1451       return 1;
1452     }
1453     # can't getsockname
1454     return 1 if $left =~ /^\S+ can\'t getsockname$/o;
1455     # reverse lookup failed
1456     return 1 if $left =~ /^\? reverse lookup for \S+ failed: .* -- using IP address for access$/o;
1457     # profile timer
1458     # ME time X nnnn X(X) [...]
1459     # The exact timers change from various versions of INN, so try to deal
1460     # with this in a general fashion.
1461     if ($left =~ m/^\S+\s+                         # ME
1462                    time\s(\d+)\s+                  # time
1463                    ((?:\S+\s\d+\(\d+\)\s*)+)       # timer values
1464                    $/ox) {
1465       $nnrpd_time_times += $1;
1466       my $timers = $2;
1467
1468       while ($timers =~ /(\S+) (\d+)\((\d+)\)\s*/g) {
1469         my $name = $nnrpd_timer_names{$1} || $1;
1470         my $average = $2 / ($3 || 1);
1471         $nnrpd_time_time{$name} += $2;
1472         $nnrpd_time_num{$name} += $3;
1473         if ($3) {
1474           my $min = $nnrpd_time_min{$name};
1475           $nnrpd_time_min{$name} = $average
1476             if (defined($min) && $min > $average);
1477           my $max = $nnrpd_time_max{$name};
1478           $nnrpd_time_max{$name} = $average
1479             if (defined($max) && $max < $average);
1480         }
1481       }
1482       return 1;
1483     }
1484     # ME dropping articles into ...
1485     return 1 if $left =~ /ME dropping articles into /o;
1486     # newnews (interesting but ignored till now)
1487     return 1 if $left =~ /^\S+ newnews /o;
1488     # cant fopen (ignored too)
1489     return 1 if $left =~ /^\S+ cant fopen /o;
1490     # can't read: No route to host
1491     return 1 if $left =~ /can\'t read: No route to host/o;
1492     # can't read: Broken pipe
1493     return 1 if $left =~ /can\'t read: Broken pipe/o;
1494     # eof in post
1495     return 1 if $left =~ /^\S+ eof in post$/o;
1496     # ioctl: ...
1497     return 1 if $left =~ /^ioctl: /o;
1498     # other stats
1499     return 1 if $left =~ /^\S+ overstats count \d+ hit \d+ miss \d+ time \d+ size \d+ dbz \d+ seek \d+ get \d+ artcheck \d+$/o;
1500     # starttls
1501     return 1 if $left =~ /^starttls: \S+ with cipher \S+ \(\d+\/\d+ bits\) no authentication$/o;
1502   }
1503   ########
1504   ## inndstart
1505   if ($prog eq "inndstart") {
1506     # cant bind Address already in use
1507     # cant bind Permission denied
1508     return 1 if $left =~ /cant bind /o;
1509     # cant setgroups Operation not permitted
1510     return 1 if $left =~ /cant setgroups /o;
1511   }
1512   ########
1513   ## overchan
1514   if ($prog eq "overchan") {
1515     # times
1516     if ($left =~ /timings (\d+) arts (\d+) of (\d+) ms$/o) {
1517       my ($articles, $work_time, $run_time) = ($1, $2, $3);
1518       # ??? What to do with numbers
1519       return 1;
1520     }
1521   }
1522   ########
1523   ## batcher
1524   if ($prog eq "batcher") {
1525     # times
1526     if ($left =~ /(\S+) times user (\S+) system (\S+) elapsed (\S+)$/o) {
1527       my ($server, $user, $system, $elapsed) = ($1, $2, $3, $4);
1528       $server = lc $server unless $CASE_SENSITIVE;
1529       # $batcher_user{$server} += $user;
1530       # $batcher_system{$server} += $system;
1531       $batcher_elapsed{$server} += $elapsed;
1532       return 1;
1533     }
1534     # stats
1535     if ($left =~ /(\S+) stats batches (\d+) articles (\d+) bytes (\d+)$/o) {
1536       my ($server, $batches, $articles, $bytes) = ($1, $2, $3, $4);
1537       $server = lc $server unless $CASE_SENSITIVE;
1538       $batcher_offered{$server} += $batches;
1539       $batcher_articles{$server} += $articles;
1540       $batcher_bytes{$server} += $bytes;
1541       return 1;
1542     }
1543   }
1544   ########
1545   ## rnews
1546   if ($prog eq "rnews") {
1547     # rejected connection
1548     if ($left =~ /rejected connection (.*)$/o) {
1549       $rnews_rejected{$1}++;
1550       return 1;
1551     }
1552     # cant open_remote
1553     if ($left =~ /(cant open_remote .*)$/o) {
1554       $rnews_rejected{$1}++;
1555       return 1;
1556     }
1557     # rejected 437 Unwanted newsgroup
1558     if ($left =~ /rejected 437 Unwanted newsgroup \"(.*)\"$/o) {
1559       $rnews_bogus_ng{$1}++;
1560       return 1;
1561     }
1562     # rejected 437 Unapproved for "xx"
1563     if ($left =~ /rejected 437 Unapproved for \"(.*)\"$/o) {
1564       $rnews_unapproved{$1}++;
1565       return 1;
1566     }
1567     # rejected 437 Unwanted distribution
1568     if ($left =~ /rejected 437 Unwanted distribution (.*)$/o) {
1569       $rnews_bogus_dist{$1}++;
1570       return 1;
1571     }
1572     # rejected 437 Bad "Date"
1573     if ($left =~ /rejected 437 Bad \"Date\" (.*)$/o) {
1574       $rnews_bogus_date{$1}++;
1575       return 1;
1576     }
1577     # rejected 437 Article posted in the future
1578     if ($left =~ /rejected 437 Article posted in the future -- \"(.*)\"$/o) {
1579       $rnews_bogus_date{"(future) $1"}++;
1580       return 1;
1581     }
1582     # rejected 437 Too old -- "..."
1583     if ($left =~ /rejected 437 Too old -- (.*)$/o) {
1584       $rnews_too_old++;
1585       return 1;
1586     }
1587     # rejected 437 Linecount...
1588     if ($left =~ /rejected 437 (Linecount) \d+ \!= \d+/o) {
1589       $rnews_linecount++;
1590       return 1;
1591     }
1592     # rejected 437 Duplicate
1593     if ($left =~ /rejected 437 Duplicate$/o) {
1594       $rnews_duplicate++;
1595       return 1;
1596     }
1597     # rejected 437 Duplicate article
1598     if ($left =~ /rejected 437 (Duplicate article)/o) {
1599       $rnews_duplicate++;
1600       return 1;
1601     }
1602     # rejected 437 No colon-space ...
1603     if ($left =~ /rejected 437 No colon-space in \"(.*)\" header$/o) {
1604       $rnews_no_colon_space++;
1605       return 1;
1606     }
1607     # duplicate <msg-id> path..
1608     if ($left =~ /^duplicate /o) {
1609       $rnews_duplicate++;
1610       return 1;
1611     }
1612     # offered <msg-id> feed
1613     if ($left =~ /^offered \S+ (\S+)/o) {
1614       my $host = $1;
1615       $host = lc $host unless $CASE_SENSITIVE;
1616       # Small hack used to join article spooled when innd is throttle.
1617       # In this situation, the hostname is a 8 hex digits string
1618       # To avoid confusions with real feeds, the first character is forced
1619       # to be a '3' or a '4' (will work between 9/7/1995 and 13/7/2012).
1620       $host = "Local postings" if $host =~ /^[34][0-9a-f]{7}$/;
1621       $rnews_host{$host}++;
1622       return 1;
1623     }
1624     # rejected 437 ECP rejected
1625     return 1 if $left =~ m/rejected 437 ECP rejected/o;
1626     # rejected 437 "Subject" header too long
1627     return 1 if $left =~ m/header too long/o;
1628     # rejected 437 Too long line in header 1163 bytes
1629     return 1 if $left =~ m/rejected 437 Too long line in header/o;
1630     # rejected 437 Too many newsgroups (meow)
1631     return 1 if $left =~ m/rejected 437 Too many newsgroups/o;
1632     # rejected 437 Space before colon in "<a" header
1633     return 1 if $left =~ m/rejected 437 Space before colon in/o;
1634     # rejected 437 EMP (phl)
1635     return 1 if $left =~ m/rejected 437 EMP/o;
1636     # rejected 437 Scoring filter (8)
1637     return 1 if $left =~ m/rejected 437 Scoring filter/o;
1638     # bad_article missing Message-ID
1639     return 1 if $left =~ m/bad_article missing Message-ID/o;
1640     # cant unspool saving to xxx
1641     return 1 if $left =~ m/cant unspool saving to/o;
1642   }
1643
1644   ###########
1645   ## ncmspool
1646   if ($prog eq "ncmspool") {
1647     # <article> good signature from foo@bar.com
1648     if ($left =~ /good signature from (.*)/o) {
1649       $nocem_goodsigs{$1}++;
1650       $nocem_totalgood++;
1651       $nocem_lastid = $1;
1652       return 1;
1653     }
1654     # <article> bad signature from foo@bar.com
1655     if ($left =~ /bad signature from (.*)/o) {
1656       $nocem_badsigs{$1}++;
1657       $nocem_goodsigs{$1} = 0 unless ($nocem_goodsigs{$1});
1658       $nocem_totalbad++;
1659       $nocem_lastid = $1;
1660       return 1;
1661     }
1662     # <article> contained 123 new 456 total ids
1663     if ($left =~ /contained (\d+) new (\d+) total ids/o) {
1664       $nocem_newids += $1;
1665       $nocem_newids{$nocem_lastid} += $1;
1666       $nocem_totalids += $2;
1667       $nocem_totalids{$nocem_lastid} += $2;
1668       return 1;
1669     }
1670     return 1;
1671   }
1672
1673   ########
1674   ## nocem
1675   if ($prog eq "nocem") {
1676     if ($left =~ /processed notice .* by (.*) \((\d+) ids,/o) {
1677       $nocem_goodsigs{$1}++;
1678       $nocem_totalgood++;
1679       $nocem_lastid = $1;
1680       $nocem_newids += $2;
1681       $nocem_newids{$nocem_lastid} += $2;
1682       $nocem_totalids += $2;
1683       $nocem_totalids{$nocem_lastid} += $2;
1684       return 1;
1685     }
1686     if ($left =~ /Article <[^>]*>: (.*) \(ID [[:xdigit:]]*\) not in keyring/o) {
1687        $nocem_badsigs{$1}++;
1688        $nocem_goodsigs{$1} = 0 unless ($nocem_goodsigs{$1});
1689        $nocem_totalbad++;
1690        $nocem_lastid = $1;
1691        return 1;
1692      }
1693     if ($left =~ /Article <[^>]*>: bad signature from (.*)/o) {
1694       $nocem_badsigs{$1}++;
1695       $nocem_goodsigs{$1} = 0 unless ($nocem_goodsigs{$1});
1696       $nocem_totalbad++;
1697       $nocem_lastid = $1;
1698       return 1;
1699     }
1700     if ($left =~ /Article <[^>]*>: malformed signature/o) {
1701       $nocem_badsigs{'N/A'}++;
1702       $nocem_goodsigs{'N/A'} = 0 unless ($nocem_goodsigs{'N/A'});
1703       $nocem_totalbad++;
1704       $nocem_lastid = 'N/A';
1705       return 1;
1706     }
1707
1708     return 1;
1709   }
1710
1711   ###########
1712   ## controlchan
1713   if ($prog eq "controlchan") {
1714     # loaded /x/y/z/foo.pl
1715     return 1 if $left =~ m/^loaded /;
1716     # starting
1717     return 1 if $left =~ m/^starting/;
1718     # skipping rmgroup x@y (pgpverify failed) in <foo@bar>
1719     if ($left =~ m/^skipping \S+ (\S+) \(pgpverify failed\) in /) {
1720       $controlchan_skippgp{$1}++;
1721       $controlchan_who{$1}++;
1722       return 1;
1723     }
1724     if ($left =~ m/^control_(sendme|ihave), [^,]+, (\S+), doit,/o) {
1725       if ($1 eq "sendme") {
1726         $controlchan_sendme_site{$2}++;
1727       } else {
1728         $controlchan_ihave_site{$2}++;
1729       }
1730       return 1;
1731     }
1732     # control_XXgroup, foo.bar [moderated] who who /x/y/12, peer, action, 1
1733     #
1734     # Various other random junk can end up in the moderated field, like y,
1735     # unmoderated, m, etc. depending on what the control message says.  It
1736     # can even have multiple words, which we still don't handle.
1737     if ($left =~ m/^control_(\S+),    # type of msg
1738                   \s(?:\S+)?          # newsgroup name
1739                   (\s\S+)?            # optional
1740                   \s(\S+)             # e-mail
1741                   \s\S+               # e-mail
1742                   \s\S+,              # filename
1743                   \s\S+,              # server
1744                   \s([^=,]+(?:=\S+)?),            # action
1745                   \s*(.*)             # code
1746                   /x) {
1747       if ($1 eq 'newgroup') {
1748         $controlchan_new{$3}++;
1749       } elsif ($1 eq 'rmgroup') {
1750         $controlchan_rm{$3}++;
1751       } else {
1752         $controlchan_other{$3}++;
1753       }
1754       $controlchan_who{$3}++;
1755       $controlchan_ok{$3} += $5;
1756       my $action = $4;
1757       my $email = $3;
1758       $action =~ s/=.*//;
1759       $controlchan_doit{$email}++ if $action eq 'doit';
1760       return 1;
1761     }
1762     # checkgroups processed (no change or not)
1763     return 1 if $left =~ /^checkgroups by \S+ processed/o;
1764   }
1765
1766   ###########
1767   ## crosspost
1768   if ($prog eq "crosspost") {
1769     # seconds 1001 links 3182 0 symlinks 0 0 mkdirs 0 0
1770     # missing 13 toolong 0 other 0
1771     if ($left =~ /^seconds\ (\d+)
1772                    \ links\ (\d+)\ (\d+)
1773                    \ symlinks\ (\d+)\ (\d+)
1774                    \ mkdirs\ (\d+)\ (\d+)
1775                    \ missing\ (\d+)
1776                    \ toolong\ (\d+)
1777                    \ other\ (\d+)
1778                  $/ox) {
1779       $crosspost_time += $1;
1780       $crosspost{'Links made'} += $2;
1781       $crosspost{'Links failed'} += $3;
1782       $crosspost{'Symlinks made'} += $4;
1783       $crosspost{'Symlinks failed'} += $5;
1784       $crosspost{'Mkdirs made'} += $6;
1785       $crosspost{'Mkdirs failed'} += $7;
1786       $crosspost{'Files missing'} += $8;
1787       $crosspost{'Paths too long'} += $9;
1788       $crosspost{'Others'} += $10;
1789       return 1;
1790     }
1791   }
1792
1793   ###########
1794   ## cnfsstat
1795   if ($prog eq "cnfsstat") {
1796     # Class ALT for groups matching "alt.*" article size min/max: 0/1048576
1797     # Buffer T3, len: 1953  Mbytes, used: 483.75 Mbytes (24.8%)   0 cycles
1798     if ($left =~ m|^Class\ (\S+)\ for\ groups\ matching\ \S+
1799                     (\ article\ size\ min/max:\ \d+/\d+)?
1800                     \ Buffer\ (\S+),
1801                     \ len:\ ([\d.]+)\s+Mbytes,
1802                     \ used:\ ([\d.]+)\ Mbytes\ \(\s*[\d.]+%\)
1803                     \s+(\d+)\ cycles\s*
1804                  $|ox) {
1805       my ($class, $buffer, $size, $used, $cycles) = ($1, $3, $4, $5, $6);
1806       my ($h, $m, $s) = $hour =~ m/^(\d+):(\d+):(\d+)$/;
1807       my $time = $h * 3600 + $m * 60 + $s;
1808       $size *= 1024 * 1024;
1809       $used *= 1024 * 1024;
1810       $cnfsstat{$buffer} = $class;
1811
1812       # If the size changed, invalidate all of our running fill rate stats.
1813       if (!exists($cnfsstat_size{$buffer}) ||  $size != $cnfsstat_size{$buffer}) {
1814         delete $cnfsstat_rate{$buffer};
1815         delete $cnfsstat_samples{$buffer};
1816         delete $cnfsstat_time{$buffer};
1817         $cnfsstat_size{$buffer} = $size;
1818       }
1819       elsif ($cnfsstat_time{$buffer}) {
1820         # We want to gather the rate at which cycbuffs fill.  Store a
1821         # running total of bytes/second and a total number of samples.
1822         # Ideally we'd want a weighted average of those samples by the
1823         # length of the sample period, but we'll ignore that and assume
1824         # cnfsstat runs at a roughly consistent interval.
1825         my ($period, $added);
1826         $period = $time - $cnfsstat_time{$buffer};
1827         $period = 86400 - $cnfsstat_time{$buffer} + $time if $period <= 0;
1828         $added = $used - $cnfsstat_used{$buffer};
1829         if ($cycles > $cnfsstat_cycles{$buffer}) {
1830           $added += $size * ($cycles - $cnfsstat_cycles{$buffer});
1831         }
1832         if ($added > 0) {
1833           $cnfsstat_rate{$buffer} += $added / $period;
1834           $cnfsstat_samples{$buffer}++;
1835         }
1836       }
1837       $cnfsstat_used{$buffer} = $used;
1838       $cnfsstat_cycles{$buffer} = $cycles;
1839       $cnfsstat_time{$buffer} = $time;
1840       return 1;
1841     }
1842   }
1843
1844   # Ignore following programs :
1845   return 1 if ($prog eq "uxfxn");
1846   return 1 if ($prog eq "beverage");
1847   return 1 if ($prog eq "newsx");
1848   return 1 if ($prog eq "demmf");
1849   return 1 if ($prog eq "nnnn");
1850   return 1 if ($prog eq "slurp");
1851   return 0;
1852 }
1853
1854 #################################
1855 # Adjust some values..
1856
1857 sub adjust {
1858   my ($first_date, $last_date) = @_;
1859
1860   my $nnrpd_doit = 0;
1861   my $curious;
1862
1863   {
1864     my $serv;
1865     if (%nnrpd_connect) {
1866       my $c = keys (%nnrpd_connect);
1867       foreach $serv (keys (%nnrpd_connect)) {
1868         my $dom = &host2dom($serv);
1869         if ($nnrpd_no_permission{$serv}) {
1870           $nnrpd_dom_connect{$dom} -= $nnrpd_connect{$serv}
1871             if defined $nnrpd_dom_connect{$dom} && defined $nnrpd_connect{$serv};
1872           $nnrpd_dom_groups{$dom}  -= $nnrpd_groups{$serv}
1873             if defined $nnrpd_dom_groups{$dom} && defined $nnrpd_groups{$serv};
1874           $nnrpd_dom_times{$dom}   -= $nnrpd_times{$serv}
1875             if defined $nnrpd_dom_times{$dom};
1876           $nnrpd_connect{$serv} -= $nnrpd_no_permission{$serv};
1877           $nnrpd_groups{$serv} -= $nnrpd_no_permission{$serv}
1878             if defined $nnrpd_groups{$serv};
1879           delete $nnrpd_connect{$serv} unless $nnrpd_connect{$serv};
1880           delete $nnrpd_groups{$serv}  unless $nnrpd_groups{$serv};
1881           delete $nnrpd_times{$serv}   unless $nnrpd_times{$serv};
1882           delete $nnrpd_usr_times{$serv}   unless $nnrpd_usr_times{$serv};
1883           delete $nnrpd_sys_times{$serv}   unless $nnrpd_sys_times{$serv};
1884           delete $nnrpd_dom_connect{$dom} unless $nnrpd_dom_connect{$dom};
1885           delete $nnrpd_dom_groups{$dom}  unless $nnrpd_dom_groups{$dom};
1886           delete $nnrpd_dom_times{$dom}   unless $nnrpd_dom_times{$dom};
1887           $c--;
1888         }
1889         $nnrpd_doit++
1890           if $nnrpd_groups{$serv} || $nnrpd_post_ok{$serv};
1891       }
1892       undef %nnrpd_connect unless $c;
1893     }
1894     foreach $serv (keys (%nnrpd_groups)) {
1895       $curious = "ok" unless $nnrpd_groups{$serv} || $nnrpd_post_ok{$serv} ||
1896         $nnrpd_articles{$serv};
1897     }
1898   }
1899
1900   # Fill some hashes
1901   {
1902     my $key;
1903     foreach $key (keys (%innd_connect)) {
1904       $innd_offered{$key} = ($innd_accepted{$key} || 0)
1905         + ($innd_refused{$key} || 0)
1906         + ($innd_rejected{$key} || 0);
1907       $innd_offered_size{$key} = ($innd_stored_size{$key} || 0)
1908         + ($innd_duplicated_size{$key} || 0);
1909     }
1910
1911
1912     # adjust min/max of innd timer stats.
1913     if (%innd_time_min) {
1914       foreach $key (keys (%innd_time_min)) {
1915         $innd_time_min{$key} = 0 if ($innd_time_min{$key} == $MIN);
1916         $innd_time_max{$key} = 0 if ($innd_time_max{$key} == $MAX);
1917
1918         #$innd_time_min{$key} /= 1000;
1919         #$innd_time_max{$key} /= 1000;
1920       }
1921     }
1922     if (%innfeed_time_min) {
1923       foreach $key (keys (%innfeed_time_min)) {
1924         $innfeed_time_min{$key} = 0 if ($innfeed_time_min{$key} == $MIN);
1925         $innfeed_time_max{$key} = 0 if ($innfeed_time_max{$key} == $MAX);
1926       }
1927     }
1928     if (%nnrpd_time_min) {
1929       foreach $key (keys (%nnrpd_time_min)) {
1930         $nnrpd_time_min{$key} = 0 if ($nnrpd_time_min{$key} == $MIN);
1931         $nnrpd_time_max{$key} = 0 if ($nnrpd_time_max{$key} == $MAX);
1932       }
1933     }
1934     # remove the innd timer stats if not used.
1935     unless ($innd_time_times) {
1936       undef %innd_time_min;
1937       undef %innd_time_max;
1938       undef %innd_time_num;
1939       undef %innd_time_time;
1940     }
1941     # same thing for innfeed timer
1942     unless ($innfeed_time_times) {
1943       undef %innfeed_time_min;
1944       undef %innfeed_time_max;
1945       undef %innfeed_time_num;
1946       undef %innfeed_time_time;
1947     }
1948     # same thing for nnrpd timer
1949     unless ($nnrpd_time_times) {
1950       undef %nnrpd_time_min;
1951       undef %nnrpd_time_max;
1952       undef %nnrpd_time_num;
1953       undef %nnrpd_time_time;
1954     }
1955
1956     # adjust the crosspost stats.
1957     if (%crosspost) {
1958       foreach $key (keys (%crosspost)) {
1959         $crosspost_times{$key} = $crosspost_time ?
1960           sprintf "%.2f", $crosspost{$key} / $crosspost_time * 60 : "?";
1961       }
1962     }
1963   }
1964
1965   if (%inn_flow) {
1966     my ($prev_dd, $prev_d, $prev_h) = ("", -1, -1);
1967     my $day;
1968     foreach $day (sort datecmp keys (%inn_flow)) {
1969       my ($r, $h) = $day =~ /^(.*) (\d+)$/;
1970       my $d = index ("JanFebMarAprMayJunJulAugSepOctNovDec",
1971                      substr ($r,0,3)) / 3 * 31 + substr ($r, 4, 2);
1972       $prev_h = $h if ($prev_h == -1);
1973       if ($prev_d == -1) {
1974         $prev_d = $d;
1975         $prev_dd = $r;
1976       }
1977       if ($r eq $prev_dd) { # Same day and same month ?
1978         if ($h != $prev_h) {
1979           if ($h == $prev_h + 1) {
1980             $prev_h++;
1981           }
1982           else {
1983             my $j;
1984             for ($j = $prev_h + 1; $j < $h; $j++) {
1985               my $t = sprintf "%02d", $j;
1986               $inn_flow{"$r $t"} = 0;
1987             }
1988             $prev_h = $h;
1989           }
1990         }
1991       }
1992       else {
1993         my $j;
1994         # then end of the first day...
1995         for ($j = ($prev_h == 23) ? 24 : $prev_h + 1; $j < 24; $j++) {
1996           my $t = sprintf "%02d", $j;
1997           $inn_flow{"$prev_dd $t"} = 0;
1998         }
1999
2000         # all the days between (if any)
2001         # well, we can forget them as it is supposed to be a tool
2002         # launched daily.
2003
2004         # the beginning of the last day..
2005         for ($j = 0; $j < $h; $j++) {
2006           my $t = sprintf "%02d", $j;
2007           $inn_flow{"$r $t"} = 0;
2008         }
2009         $prev_dd = $r;
2010         $prev_d = $d;
2011         $prev_h = $h;
2012       }
2013     }
2014     my $first = 1;
2015     my (%hash, %hash_time, %hash_size, $date, $delay);
2016     foreach $day (sort datecmp keys (%inn_flow)) {
2017       my ($r, $h) = $day =~ /^(.*) (\d+)$/o;
2018       if ($first) {
2019         $first = 0;
2020         my ($t) = $first_date =~ m/:(\d\d:\d\d)$/o;
2021         $date = "$day:$t - $h:59:59";
2022         $t =~ m/(\d\d):(\d\d)/o;
2023         $delay = 3600 - $1 * 60 - $2;
2024       }
2025       else {
2026         $date = "$day:00:00 - $h:59:59";
2027         $delay = 3600;
2028       }
2029       $hash{$date} = $inn_flow{$day};
2030       $hash_size{$date} = $inn_flow_size{$day};
2031       $inn_flow_labels{$date} = $h;
2032       $hash_time{$date} = $delay;
2033     }
2034     my ($h, $t) = $last_date =~ m/ (\d+):(\d\d:\d\d)$/o;
2035     my ($h2) = $date =~ m/ (\d+):\d\d:\d\d /o;
2036     my $date2 = $date;
2037     $date2 =~ s/$h2:59:59$/$h:$t/;
2038     $hash{$date2} = $hash{$date};
2039     delete $hash{"$date"};
2040     $hash_size{$date2} = $hash_size{$date};
2041     delete $hash_size{"$date"};
2042     $t =~ m/(\d\d):(\d\d)/o;
2043     $hash_time{$date2} = $hash_time{$date} - ($h2 == $h) * 3600 + $1 * 60 + $2;
2044     delete $hash_time{"$date"};
2045     $inn_flow_labels{$date2} = $h;
2046     %inn_flow = %hash;
2047     %inn_flow_time = %hash_time;
2048     %inn_flow_size = %hash_size;
2049   }
2050
2051   if (%innd_bad_ihave) {
2052     my $key;
2053     my $msg = 'Bad ihave control messages received';
2054     foreach $key (keys %innd_bad_ihave) {
2055       $innd_misc_stat{$msg}{$key} = $innd_bad_ihave{$key};
2056     }
2057   }
2058   if (%innd_bad_msgid) {
2059     my $key;
2060     my $msg = 'Bad Message-ID\'s offered';
2061     foreach $key (keys %innd_bad_msgid) {
2062       $innd_misc_stat{$msg}{$key} = $innd_bad_msgid{$key};
2063     }
2064   }
2065   if (%innd_bad_sendme) {
2066     my $key;
2067     my $msg = 'Ignored sendme control messages received';
2068     foreach $key (keys %innd_bad_sendme) {
2069       $innd_misc_stat{$msg}{$key} = $innd_bad_sendme{$key};
2070     }
2071   }
2072   if (%innd_bad_command) {
2073     my $key;
2074     my $msg = 'Bad command received';
2075     foreach $key (keys %innd_bad_command) {
2076       $innd_misc_stat{$msg}{$key} = $innd_bad_command{$key};
2077     }
2078   }
2079   if (%innd_bad_newsgroup) {
2080     my $key;
2081     my $msg = 'Bad newsgroups received';
2082     foreach $key (keys %innd_bad_newsgroup) {
2083       $innd_misc_stat{$msg}{$key} = $innd_bad_newsgroup{$key};
2084     }
2085   }
2086   if (%innd_posted_future) {
2087     my $key;
2088     my $msg = 'Article posted in the future';
2089     foreach $key (keys %innd_posted_future) {
2090       $innd_misc_stat{$msg}{$key} = $innd_posted_future{$key};
2091     }
2092   }
2093   if (%innd_no_colon_space) {
2094     my $key;
2095     my $msg = 'No colon-space in header';
2096     foreach $key (keys %innd_no_colon_space) {
2097       $innd_misc_stat{$msg}{$key} = $innd_no_colon_space{$key};
2098     }
2099   }
2100   if (%innd_huge) {
2101     my $key;
2102     my $msg = 'Huge articles';
2103     foreach $key (keys %innd_huge) {
2104       $innd_misc_stat{$msg}{$key} = $innd_huge{$key};
2105     }
2106   }
2107   if (%innd_blocked) {
2108     my $key;
2109     my $msg = 'Blocked server feeds';
2110     foreach $key (keys %innd_blocked) {
2111       $innd_misc_stat{$msg}{$key} = $innd_blocked{$key};
2112     }
2113   }
2114   if (%innd_strange_strings) {
2115     my $key;
2116     my $msg = 'Including strange strings';
2117     foreach $key (keys %innd_strange_strings) {
2118       $innd_misc_stat{$msg}{$key} = $innd_strange_strings{$key};
2119     }
2120   }
2121   if (%rnews_bogus_ng) {
2122     my $key;
2123     my $msg = 'Unwanted newsgroups';
2124     foreach $key (keys %rnews_bogus_ng) {
2125       $rnews_misc{$msg}{$key} = $rnews_bogus_ng{$key};
2126     }
2127   }
2128   if (%rnews_bogus_dist) {
2129     my $key;
2130     my $msg = 'Unwanted distributions';
2131     foreach $key (keys %rnews_bogus_dist) {
2132       $rnews_misc{$msg}{$key} = $rnews_bogus_dist{$key};
2133     }
2134   }
2135   if (%rnews_unapproved) {
2136     my $key;
2137     my $msg = 'Articles unapproved';
2138     foreach $key (keys %rnews_unapproved) {
2139       $rnews_misc{$msg}{$key} = $rnews_unapproved{$key};
2140     }
2141   }
2142   if (%rnews_bogus_date) {
2143     my $key;
2144     my $msg = 'Bad Date';
2145     foreach $key (keys %rnews_bogus_date) {
2146       $rnews_misc{$msg}{$key} = $rnews_bogus_date{$key};
2147     }
2148   }
2149
2150   $rnews_misc{'Too old'}{'--'} = $rnews_too_old if $rnews_too_old;
2151   $rnews_misc{'Bad linecount'}{'--'} = $rnews_linecount if $rnews_linecount;
2152   $rnews_misc{'Duplicate articles'}{'--'} = $rnews_duplicate
2153     if $rnews_duplicate;
2154   $rnews_misc{'No colon-space'}{'--'} = $rnews_no_colon_space
2155     if $rnews_no_colon_space;
2156
2157   if (%nnrpd_groups) {
2158     my $key;
2159     foreach $key (keys (%nnrpd_connect)) {
2160       unless ($nnrpd_groups{"$key"} || $nnrpd_post_ok{"$key"} ||
2161               $nnrpd_articles{"$key"}) {
2162         $nnrpd_curious{$key} = $nnrpd_connect{$key};
2163         undef $nnrpd_connect{$key};
2164       }
2165     }
2166   }
2167 }
2168
2169 sub report_unwanted_ng {
2170   my $file = shift;
2171   open (FILE, "$file") && do {
2172     while (<FILE>) {
2173       my ($c, $n) = $_ =~ m/^\s*(\d+)\s+(.*)$/;
2174       next unless defined $n;
2175       $n =~ s/^newsgroup //o; # for pre 1.8 logs
2176       $inn_uw_ng{$n} += $c;
2177     }
2178     close (FILE);
2179   };
2180
2181   unlink ("${file}.old");
2182   rename ($file, "${file}.old");
2183
2184   open (FILE, "> $file") && do {
2185     my $g;
2186     foreach $g (sort {$inn_uw_ng{$b} <=> $inn_uw_ng{$a}} (keys (%inn_uw_ng))) {
2187       printf FILE "%d %s\n", $inn_uw_ng{$g}, $g;
2188     }
2189     close (FILE);
2190     chmod(0660, "$file");
2191   };
2192   unlink ("${file}.old");
2193 }
2194
2195 ###########################################################################
2196
2197 # Compare 2 dates (+hour)
2198 sub datecmp {
2199   # ex: "May 12 06"   for May 12, 6:00am
2200   local($[) = 0;
2201   # The 2 dates are near. The range is less than a few days that's why we
2202   # can cheat to determine the order. It is only important if one date
2203   # is in January and the other in December.
2204
2205   my($date1) = substr($a, 4, 2) * 24;
2206   my($date2) = substr($b, 4, 2) * 24;
2207   $date1 += index("JanFebMarAprMayJunJulAugSepOctNovDec",substr($a,0,3)) * 288;
2208   $date2 += index("JanFebMarAprMayJunJulAugSepOctNovDec",substr($b,0,3)) * 288;
2209   if ($date1 - $date2 > 300 * 24) {
2210     $date2 += 288 * 3 * 12;
2211   }
2212   elsif ($date2 - $date1 > 300 * 24) {
2213     $date1 += 288 * 3 * 12;
2214   }
2215   $date1 += substr($a, 7, 2);
2216   $date2 += substr($b, 7, 2);
2217   $date1 - $date2;
2218 }
2219
2220 sub host2dom {
2221   my $host = shift;
2222
2223   $host =~ m/^[^\.]+(.*)/;
2224   $host =~ m/^[\d\.]+$/ ? "unresolved" : $1 ? "*$1" : "?";
2225 }
2226
2227 1;