Test suite: Move most of mustfail into t-expect-fail

Test suite: Make t-expect-fail flexible wrt which grep to run

Change the default to fgrep, and override it in the places where this
is needed.

Also use shell substitution to quote .s in tag name in
debpolicy-newreject.

Test suite: Make t-reporefs stash the output

Test suite: drs-push-rejects: use set +o pipefail, not set +e

Test suite: Move t-reporefs into lib

Test suite: set -o pipefail, in lib

Test suite: Prepare for pipefail in t-git-get-ref

Test suite: Prepare for pipefail in t-apply-diff

Test suite: t-git-get-ref: check that argument starts with ref/

Test suite: Fix call to t-refs-notexist to have refs/

Test suite: Fully test replay attack prevention

Test suite: Make it possible to call t-policy more than once (moving t-dsd out of it)

Infra: dgit-repos-server; In NOFFCHECK but not FRESHREPO case, do not request wrong ref name

dgit: Gate sending "previously" on deliberately_not_fast_forward not $forceflag

$forceflag will only be set if we actually think the ref is not fast
forwarding.  But the --deliberately flags may cause a repo reset which
will require us to mention the previous state, even if the push
appears to be ff.

Push replay prevention protocol: Rename "supersedes" to "previously", as not necessarily actually superseded

Test suite: add some replay prevention tests

Infra: Document dgit-repos-policy-trusting a bit

Infra: Add dgit-repos-policy-trusting

Also add the --deliberately-fresh-repo deliberately, both to the
manpage and to dgit's idea of non-fast-forward-ness.

Rename the dgit test only deliberatelies to start with TEST-dgit-only-
rather than having the -dgit-only at the end.

Test suite: move t-commit and break out t-policy (nfc)

Infra: Allow FRESHREPO to override "tag already exists"

drs-push-rejects test needs updating too.

Infra: dgit-repos-server: Fix some typos in debug messages

Infra: Make replay prevention file contain tags (by searching for right ref names)

Infra: document DELIBERATELIES parameter to policy hook

Test suite: Provide t-rm-dput-dropping

This is needed if tests reuse versions, which we are perhaps going to
have to do to test out the replay prevention.

Test suite: finalise replay prevention

infra: Finish replay prevention

Dgit.pm: git_for_each_ref: Provide optional $git_dir argument

Infra: New approach to reply prevention hhen NOFFCHECK, involving removed tags file

dgit: Declare a "supersedes" in the signed tag for all previous refs/heads and refs/tags in the repo, when deliberately_not_fast_forward

dgit: Break out deliberately_not_fast_forward (nfc)

dgit-repos-policy-debian: better debugging for tainted object checking

New approach to replay prevention - WIP

New approach to replay prevention - WIP

Test suite: Abstract t-tstunt-parsechangelog

Test suite: Use stunt Dpkg::Changelog::Parse

This saves a further 13s.  Overalll the stunt changelog machinery
saves 28s out of 100s (in my example case, the current
debpolicy-newreject).

Test suite: Allow for t-stunt to override Perl modules

Test suite: Use stunt dpkg-parsechangelog

This program takes 16ms instead of ~700ms on my computer.  This saves
15s out of 100s for the debpolicy-newreject test (in its current
state).

Currently this is only used by various things in devscripts because
dpkg-source uses /usr/lib/dpkg/parsechangelog/debian directly via a
Perl module Dpkg::Changelog::Parse.

Test suite: Provide new t-stunt facility

policy: Improve taint message recorded in db by --deliberately-not-fast-forward

git_get_ref: Move to Dgit.pm and reimplement

Use
  git for-each-ref --format=%(objectname) [r]efs/whatever

This pattern won't match literally as a prefix because a ref name
cannot contain [, so it must match according to fnmatch.  whatever
cannot contain fnmatch metacharacters because they're not valid in ref
names.

This is a better idiom because it might directly look up the ref in
question (although currently it probably doesn't).

Dgit.pm: git_for_each_ref: do not insist that first component after refs/ matches \w+

Break out ensuredir and make mkrepotmp use it

Dgit.pm: git_for_each_tag_referring provides referred-to object id too

Move is_fast_fwd into Dgit.pm

Move git_rev_parse into Dgit.pm (renaming it from rev_parse

Move various useful functions into Dgit.pm.  Necessitates some slightly fancy footwork with $::us

Dgit.pm: Move debugging earlier in file (pure code motion)

Tests: debpolicy-newreject: Attempt push while still in new

Tests: Introduce t-set-using-tmp and use it in lib and adhoc

dgit: Allow --deliberately-not-fast-forward to override dgit's fast forward check

Check for deliberatelies correctly (in-memory data structures have full name)

Dgit.pm: Fix next's in git_for_each_tag_referring which should be returns

Dgit.pm: Add debugging to git_for_each_...

Infra: Exit statuses: work around bizarre behaviour of perl die wrt $?, and de-reserve policy hook status flag 0x80

Dgit.pm: Introduce $deliberately_re and use it everywhere

Dgit.pm: export git_for_each_tag_referring

Tests: debpolicy-newreject: Make and use a tag at the start

Tests: Debian policy: check incoming processing and subsequent cron

Infra: in dgit-repos-policy-debian, fix history tagg lookup

Infra: in dgit-repos-policy-debian, pass dgit api-query query specs with no leading /

Tests: debpolicy-newreject: Make each tree a new version (with dch and debcommit)

Tests: Make some t-archive* functions take a suite

Tests: debpolicy-newreject: Explicitly check the state of the repo after each operation

Tests: break out t-git-dir-time-passes

Tests: Check that --deliberately-include-questionable-history actually works

Tests: Fix a typo

Infra: in dgit-repos-server, produce less verbose message when policy hook rejects

Infra: in dgit-repos-policy-debian actually call getpushinfo

Infra: Put correct value into taintoverrides for questionable history; document the field contents in a comment

Tests: Test rejection of removed NEW package

Tests: Exercise policy periodic hook

Tests: Provide minimal test package (which is much faster), and use it in debpolicy-newreject

dgit-repos-policy-debian: Fix taint overrides sql (and print it out for debugging)

Tests: t-prep-newpackage: Cope with source git which has a master already

Tests: t-prep-newpackage: don't brokenly set v=3-1

dgit-repos-server: Remove obsolete duplicate settings of some ENVs for stunt hook

Infra: pass $distrodir to policy hook (as yet unused, intended for config)

dgit-repos-policy-debian: Fix new repo checks

dgit-repos-policy-debian: Move time check (nfc, apart from debugging)

dgit-repos-server: Debug when we movetogarbage

dgit-repos-policy-debian: Fix add_taint

git_for_each_ref: Fix FH handling

dgit-repos-policy-debian: Fix error handling, and test fixes

dgit-repos-policy-debian: Fix check-list printing

dgit: Print curl command for archive api query action

dgit-repos-policy-debian: WIP bugfixes to debugging

dgit-repos-policy-debian: WIP bugfixes to debugging

Show git config queries only with debuglevel 3 (-DDD) and higher.

dgit-repos-policy-debian: Fix mode calculation

Tests: New tests/adhoc helper; document tests/using-intree too

Tests: break out some things into lib-core (nfc)

dgit-repos-server: Small debugging output improvement

dgit-repos-policy-debian: WIP bugfixes etc.

dgit-repos-policy-debian: WIP bugfixes

Diagnostics: Make shellquote() print empty arguments as ''

dgit-repos-policy-debian: Add debugging output

dgit-repos-server: Use shellquote() where appropriate in diagnostics

Debugging: Use Dgit.pm's facilities in dgit-repos-server

Debugging: use typeglobs to simplify various things (nfc)

Rename $debug variable to $debuglevel (nfc)