truncation: adjust limit, and fix handling so we can do that in one place

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 2ef67fd3aed1de70f7271ebccdd4c478f63bcf92)

truncation: include header name in warning header

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 8ef141149699a8e07868a9110583763f6c1aa7b0)

unfolding: do not introduce additional lwsp

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 8f597404afd9b075dc98b134a4734b2b18d065d7)

unfolding: exempt References

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 4cae2550adca858ce289d060a3afc68ad23ac8a7)

strip out some system headers, caused trouble during my testing

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

header unfolding

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

probes: logfile for easy viewing

probes: Move setting of info earlier

No functional change

probes: Break out do-report-log

No functional change.

probes: Fix "read message" for if the message is empty

probe: set nullglob, so it works when disabled

Merge branch 'master' of /u/webstump/live/

probes: fixes

probes: start running it from cron, and some debugging

probes: fix forward

probes: receive

probes: started feature

probes: debugging, new report feature

probes: probe script can probe

modrelays-probe: wip

.gitignore: add some missing bits

manual-reinject: die if user has a ~/.signature

manual-reinject: new script

inews: Add %ABBREV% to "lost" messages

xlog: Optionally show more approval/rejection reasons

* Include the $cathow from the decision in the approval mail
* Append it to the event in the event.log
* Make report capable of filtering the reasons shown (by showing
  only a specified number of words, defaulting to 1 for approve
  and reject, which gives the previous behaviour)

Setting -rapprove=9 would show "everything" which includes the
identity of the moderator approving.  -rapprove=2 would show just auto
vs. manual

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

xlog: New LOGREPORTOPTS for controlling time fudging

  * Add an option parser to report
  * Provide a new -t option to specify number of digits to squash
  * Default to -t3, meaning show only 10 minute granularity
  * Plumb LOGREPORTOPTS from get-settings, defaulting to ''

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

xlog: Proper argument parser in record (no functional change)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Merge branch 'master' of ../live-mtm

bodge decodeBase64

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Merge branch 'master' of /u/webstump/live-mtm

install-substitutions: insist on webstump 022

Merge remote branch 'origin/master'

remove save-* from index only

stump/etc/procmail/save-approved,-rejected: substitute $HOME/live-%ABBREV%

stump/etc/procmail/save-approved,-rejected: add to .gitignore

stump/etc/procmail/save-approved,-rejected: remove from git - cherry pick with care!

stump/etc/procmail/save-approved,-rejected: substitute $HOME/live-%ABBREV%

Correct regexp

We want to make the trailing .gz optional, so errs.0 gets matched

Reverse the contents of log files

Use "tac" to reverse files, meaning the logs are now output neatly in
reverse-chronological order.

The existing code tried to read everything in $webstump_home/.. ; we
now only try and open errs files; this involves changing the guard
condition to 0 from undef (since forwards * undef isn't undef).

Leave "Date" header alone.

Prior to this change, Stump removed the supplied Date: header, and
replaced it with one of its own, which reflected the time at which the
article was approved. Following discussion in unnm, it seemed clear
that people would like the Date: header to be unmolested.

Signed-off-by: Matthew Vernon <matthewv@chiark.greenend.org.uk>

Add -type f to crontab.part.IN0

Previously, this cron job would complain that
xlog/log/[newsgroup/public is a directory. Fix that by telling find to
only return files.

Signed-off-by: Matthew Vernon <matthewv@chiark.greenend.org.uk>

install-rejectionreasons: new script

install-newsgroup: use ". get-settings" rather than open-coding it; that makes sure we create persistent-autosettings, amongst other things

Merge branch 'master' of /u/webstump/live/

Allow suppressing publication of posted messages according to rejection reason

This is done by creating
  BASEDIR/settings.publish-rejection-kinds
with a series of lines of the form
  [!]<glob-pattern>
where <glob-pattern> may contain * and ? and matches the short
rejection reason keyword.  First match wins; ! means do not publish;
if file does not exist or we run off the end, we do publish.

All of this depends on PUBLISHREJECTIONS=true in settings.

webstump: do not alter the moderator's post disposition when it differs from the poster disposition.  For a poster being banned, we can reject with any reason.  For a poster being passlisted, bomb out with an internal error if the post decision wasn't approve (bad UI but it will do)

webstump: use "reject blocklist" for the hardcoded blocklist-related rejection reason

crontab.part.INO: rotate xlog event log weekly, not twice a week

fix up moderator removal to not print a pointless message

Make noack honoured for approvals too

fix noack function: store whole From line contents (not just the email address) in the noack list, and when matching look only for the contents (not also the header name From:)

stump: fix hideous bug where passlisting someone puts their whole From: line in the passlist, but this is later interpreted as a regexp

Split nameIsInList into nameIsInListRegexp (for most things) and nameIsInListExactly (good posters and noack lists)

send voting url to admin not to voters

suppress seconds and minutes units

default option on one-article screen is back of queue

X-prefix (not strip, previous comments are wrong) Injection-Info too

Strip X-Complaints-To too

filter out some system headers in inews

New "blocklist" rejection reason

Fix secret ballot stuff

Generate newsgroups.lst

Get dates right in log lookup

Merge ../live-mtm

Add webstump.cfg

Merge ../live-mtm

Change defaults for log access to "true"

Use umask 007; preserve perms on logfiles

Show dates of DECISIONs

Merge branch 'master' of ../live-urcm

Don't mind spaces in ref supplied for log lookup

Use message number for reject publish filename if available

Support querying and downloading of decision reasons by moderators

Send webstump CGI logs to "errs" too to capture all of the decisions

DECISION: log lines are more parseable and include an explanation of how the decision was made

Include the message number in X-Webstump-Event

Substitute the message number for [REFERENCE] in added-headers, if present

Plumb messagenumber through in an env var to our sub-scripts

Send approval notify thingies to correct log

Can show diff from install-substitutions

Add procmail files for various archiving, of which we only use save-approved

Do not suggest unnm for inflammatory

Merge branch 'master' of /u/webstump/live-urcm

Remove useless use of cat causing pipefail problems

Better diversion arrangements

Debugging of modack.approved pipe failures

Deal more sensibly with various combinations of input format

Some stylistic fixups; get rid of warning when processing pre-publish-rejection log lines

Merge branch 'master' of /u/owend/src/live-mtm

Conflicts:

xlog/bin/report

Added style to conserve horizontal real estate

Do not XMLishly autoclose the log table

Stronger imprecations against voting before seeing instructions

Allow votes to be entered in upper case

Fix actual injection

Fix quoting to strip Receiveds

Fix up rejected messages address

Expire old published rejections

Publish rejections

Sends rejection copies to record etc.

Make sanitise_and_quote_email into a script