truncation: adjust limit, and fix handling so we can do that in one place

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 2ef67fd3aed1de70f7271ebccdd4c478f63bcf92)
(cherry picked from commit 93903c0563cc38afba5a9930ef634e5d4499b6d6)

truncation: include header name in warning header

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 8ef141149699a8e07868a9110583763f6c1aa7b0)
(cherry picked from commit d947dfebe7c73756167b34ba79938db860680bec)

unfolding: do not introduce additional lwsp

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 8f597404afd9b075dc98b134a4734b2b18d065d7)
(cherry picked from commit 9d2fc6f0e90433378487674c0a4f29edac3ffb32)

unfolding: exempt References

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
(cherry picked from commit 4cae2550adca858ce289d060a3afc68ad23ac8a7)
(cherry picked from commit 986246af9b1351ba64b6764e0908facb83c7431b)

strip out some system headers, caused trouble during my testing

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

header unfolding

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

inews: Add %ABBREV% to "lost" messages

change ulm -> uram in output (so we refer to the uram rejection reasons table, not the ulm one).

off-topic should refer to radio not legal material

Merge branch 'master' of /u/webstump/live-mtm

install-substitutions: insist on webstump 022

Merge remote branch 'mtm/master'

remove save-* from index only

stump/etc/procmail/save-approved,-rejected: add to .gitignore

stump/etc/procmail/save-approved,-rejected: substitute $HOME/live-%ABBREV%

stump/etc/procmail/save-approved,-rejected: remove from git - cherry pick with care!

stump/etc/procmail/save-approved,-rejected: substitute $HOME/live-%ABBREV%

Correct regexp

We want to make the trailing .gz optional, so errs.0 gets matched

correct regexp

we want ?$, so the .gz is an optional match.

Merge remote branch 'origin/master'

Reverse the contents of log files

Use "tac" to reverse files, meaning the logs are now output neatly in
reverse-chronological order.

The existing code tried to read everything in $webstump_home/.. ; we
now only try and open errs files; this involves changing the guard
condition to 0 from undef (since forwards * undef isn't undef).

Line-wrap articles in the moderation screen

The ULM mods asked for the <pre> tags in the single-article moderation
screen to be modified to line-wrap long lines in posts (e.g. from
google groups).

Merge remote branch 'origin/master'

Leave "Date" header alone.

Prior to this change, Stump removed the supplied Date: header, and
replaced it with one of its own, which reflected the time at which the
article was approved. Following discussion in unnm, it seemed clear
that people would like the Date: header to be unmolested.

Signed-off-by: Matthew Vernon <matthewv@chiark.greenend.org.uk>

Revert to drop-down for single article page (largely reversion of f21bfd

Merge branch 'master' of /u/webstump/live-mtm

Merge remote branch 'origin/master'

Add -type f to crontab.part.IN0

Previously, this cron job would complain that
xlog/log/[newsgroup/public is a directory. Fix that by telling find to
only return files.

Signed-off-by: Matthew Vernon <matthewv@chiark.greenend.org.uk>

Add link to the summary of rejection reasons

install-rejectionreasons: new script

Also remove acks when posts accepted

Disable auto-acks

ULM mods decided that the auto-acks (of receipt and acceptance) were
more annoying than they were worth, even though they were
opt-out-able. So disable this functionality (by the slightly cheeky
approach of adjusting the "does this poster want an auto-ack" function
to always say no).

remove block-capitals from autoack emails [Todal request]

Show 8 lines of posts, rather than 5 [Todal request]

Add a link to the management page from the single-article page

Remove the blacklist of posters

The ULM mods want a watchlist for posters, not a blacklist. So remove
the blacklisted posters list, and replace the option to blacklist a
poster with the option to add them to the watch list.

Restore the suspicious posters list

ULM mods have decided they'd rather have a watch list for posters than
a ban list. The first part of making that change is reverting the bits
of the remove_steps branch that removed the watched posters list.

Add more whitespace (formatting improvement)

Replace drop-down with radio buttons

Todal wanted a simpler UI for the single-article screen, rather more
like the version in the multiple-article screen. This does that, by
stripping out the old drop-down (and the thread status button), and
replacing it with radio buttons for all the approve/hold/reject
options.

Also, make it clearer that the "Comment" field is to go with the
rejection email to the poster.

Add comments to make the two mod-screen functions more obvious

Previously they were just main moderation screen, and main moderation
screen - old version, which isn't very helpful. In fact, one is the
single-article version (shows the entire post), and one the
multiple-articles version (shows a few lines of up to 40 posts).

add an HTML rejection reason

Add a link to the moderation screen from the admin screen (Todal request)

Add buttons to the top of the multi-post screen

The Todal asked for Submit/Reset buttons at the top as well as the
bottom of the multiple-message moderation screen. This patch provides
those; it'll look a bit ugly if there are no posts in the queue, but
we don't know that there aren't at the point we need to print the
buttons.

new rejection messages from The Todal

Remove references to spam-trap problems with mod contact

The ulm mods don't have a SAUCE'd email address, so the suggestion of
talking to postmaster@chiark about any problems emailing them isn't
relevant.

Signed-off-by: Matthew Vernon <matthewv@chiark.greenend.org.uk>

document the simplified processing used for ULM

Remove options to add subjects, words, posters to any of the following
lists:
bad.subjects.list
bad.words.list
watch.posters.list
watch.subjects.list
good.subjects.list

This is part of the process of simplifying the ulm mods interface

Only allow the bad.posters, watch.words, and good.posters lists to be
edited.

This is part of the process of simplifying the UI for the ulm mods

No longer consider the bad.subjects, bad.words, watch.posters,
watch.subjects, good.subjects lists.

This part of the process of simplifying the UI for the ulm mods.

UI change: say 'white-list poster' rather than Preapprove

new rejection reasons for ulm

Create a 'defamatory' rejection message

install-newsgroup: use ". get-settings" rather than open-coding it; that makes sure we create persistent-autosettings, amongst other things

Merge branch 'master' of /u/webstump/live/

Allow suppressing publication of posted messages according to rejection reason

This is done by creating
  BASEDIR/settings.publish-rejection-kinds
with a series of lines of the form
  [!]<glob-pattern>
where <glob-pattern> may contain * and ? and matches the short
rejection reason keyword.  First match wins; ! means do not publish;
if file does not exist or we run off the end, we do publish.

All of this depends on PUBLISHREJECTIONS=true in settings.

webstump: do not alter the moderator's post disposition when it differs from the poster disposition.  For a poster being banned, we can reject with any reason.  For a poster being passlisted, bomb out with an internal error if the post decision wasn't approve (bad UI but it will do)

webstump: use "reject blocklist" for the hardcoded blocklist-related rejection reason

crontab.part.INO: rotate xlog event log weekly, not twice a week

fix up moderator removal to not print a pointless message

Make noack honoured for approvals too

fix noack function: store whole From line contents (not just the email address) in the noack list, and when matching look only for the contents (not also the header name From:)

stump: fix hideous bug where passlisting someone puts their whole From: line in the passlist, but this is later interpreted as a regexp

Split nameIsInList into nameIsInListRegexp (for most things) and nameIsInListExactly (good posters and noack lists)

send voting url to admin not to voters

suppress seconds and minutes units

default option on one-article screen is back of queue

X-prefix (not strip, previous comments are wrong) Injection-Info too

Strip X-Complaints-To too

filter out some system headers in inews

New "blocklist" rejection reason

Fix secret ballot stuff

Generate newsgroups.lst

Get dates right in log lookup

Merge ../live-mtm

Add webstump.cfg

Merge ../live-mtm

Change defaults for log access to "true"

Use umask 007; preserve perms on logfiles

Show dates of DECISIONs

Merge branch 'master' of ../live-urcm

Don't mind spaces in ref supplied for log lookup

Use message number for reject publish filename if available

Support querying and downloading of decision reasons by moderators

Send webstump CGI logs to "errs" too to capture all of the decisions

DECISION: log lines are more parseable and include an explanation of how the decision was made

Include the message number in X-Webstump-Event

Substitute the message number for [REFERENCE] in added-headers, if present

Plumb messagenumber through in an env var to our sub-scripts

Send approval notify thingies to correct log

Can show diff from install-substitutions

Add procmail files for various archiving, of which we only use save-approved

Do not suggest unnm for inflammatory

Merge branch 'master' of /u/webstump/live-urcm

Remove useless use of cat causing pipefail problems

Better diversion arrangements

Debugging of modack.approved pipe failures

Deal more sensibly with various combinations of input format

Some stylistic fixups; get rid of warning when processing pre-publish-rejection log lines

Merge branch 'master' of /u/owend/src/live-mtm

Conflicts:

xlog/bin/report

Added style to conserve horizontal real estate