Infra: dgit-repos-server: unlock _template

fixup! Infra: Honour archive-query

Infra: Add drs-cron-wrap

Infra: get-dm-txt: Report if git-config fails

Infra: ssh-wrap: set umask

TLS keys: Use ca-certificates on end user machines, introducing bug #790093 :-(

Infra: Honour archive-query-tls-curl-ca-args

TLS keys: Cope if archive-query-tls-key unset

Infra: get-dm-txt: Use curl

Infra: get-dm-txt: Honour DGIT_INFRA_GETDMTXT_DATADIR for testing

Infra: get-dm-txt: Break out $certargs

archive-api-query: Use correct arguments for curl

Infra: ssh-wrap: Use master dgit-live for dispatch

Infra: ssh-wrap: export PERLLIB

Infra: Improve db retry handling

Use theh new poldb_setup hook to (a) set up HandleError and (b) run
the DGIT_RPD_TEST_DBLOOP_HOOK.

This is needed because the PRAGMA in poldb_setup can cause a
SQLITE_BUSY error in newer sqlite3, and we want both the HandleError
setup and the hook (which sets a timeout, amongst other things) to
occur before sqlite3 tries to take its lock.

Dgit.pm: poldb_setup: Provide hook function

No users yet, so nfc.

Test suite: Make dsd-clone-drs test a no-op in installed package mode

Test suite: debpolicy-dbretry: Move taintsout wait

This is a very minor optimisation.

Test suite: Introduce t-policy-nonexist

"t-policy false" did not work properly.

Test suite: Make t-policy more robust, and work in installed-package mode

Test suite: Fix a `git-show-ref' to be `git show-ref'

Test suite: Set DEBCHANGE_VENDOR

The test suite wants dch to behave as if for Debian.

Test suite: Make dsd-ssh work for installed-package tests

Previously it would say `perl dgit-ssh-dispatch' which causes perl to
look only in `.'.

Use force flag when pushing tags

Newer versions of git push will not overwrite an existing tag unless
the client specifies + on the refspec (or --force).  (This is a
client-side check.)

So add this flag where appropriate, both in dgit itself, and in the
test suite.

Test suite: Drop gpgv dependency from debian/tests/control

This is covered by the dgit-infrastructure Depends now

Packaging: Strengthen dgit-infrastructure dependencies

In practice these dependencies are going to be needed for almost all
deployments.  They are also needed for the DEP-8 test suite, and we
would prefer not to replicate them in debian/tests/control.

Packaging: Adding missing dependency from dgit-infrastructure to dgit

Packaging: Add missing dependencies on libjson-perl and *sqlite3*

Test suite: Rename dgit-repos-policy-debian DB retry hook env var (nfc)

Packaging: package the dgit-repos-* scripts

Packaging: package the perl modules (!)

Avoid use of "my $_", which is not portable

Infra: Support not running out of working tree

Infra: ssh-wrap: set PERLLIB and get name of script right

Test suite: None of the dsd tests can be DEP-8 tested

Retain the check for .git in dsd-clone-drs, because we are going to
remove this restriction in general, but can't do so for this
particular test (which is inapplicable if using an installed package
becaue then the source code should come via the package repositories).

Infra: dgit-ssh-dispatch sets PERLLIB

Test suite: Use $troot rather than $root/tests twice (nfc)

Update copyright dates

Infra: Provide dgit clone-dgit-repos-server

Infra: dgit-ssh-dispatch: Formatting fix (nfc)

Infra: dgit-ssh-dispatch: Break out serve_up (nfc)

Test suite: Test dgit-repos-policy-debian database retry

Test suite: Provide t-git-get-ref-exact

No callers right now but I keep reinventing this.

Infra: dgit-repos-policy-debian: Fix db retry loop

Test suite: Test that --deliberately-not-fast-forward only works duuring NEW phase

Test suite: Test that trying to reintroduce tainted history fails

Test suite: Provide t-prep-mergechangelogs and use it in debpolicy-newreject

Test suite: Test that taints get auto removed

Infra: dgit-repos-server-debian: Run check_package on push

Infra: dgit-repos-server-debian: check_package looks in good suites, before considering age

Infra: dgit-repos-server-debian: Break out check_package core

Test suite: Wrap a line (nfc)

Test suite: t-expect-push-fail checks HEAD object did not arrive

Test suite: test forbidden objects not present

Test suite: Use t-expect-push-fail everywhere

Test suite: Make t-expect-push-fail out of the remains of mustfail

Test suite: Move most of mustfail into t-expect-fail

Test suite: Make t-expect-fail flexible wrt which grep to run

Change the default to fgrep, and override it in the places where this
is needed.

Also use shell substitution to quote .s in tag name in
debpolicy-newreject.

Test suite: Make t-reporefs stash the output

Test suite: drs-push-rejects: use set +o pipefail, not set +e

Test suite: Move t-reporefs into lib

Test suite: set -o pipefail, in lib

Test suite: Prepare for pipefail in t-git-get-ref

Test suite: Prepare for pipefail in t-apply-diff

Test suite: t-git-get-ref: check that argument starts with ref/

Test suite: Fix call to t-refs-notexist to have refs/

Test suite: Fully test replay attack prevention

Test suite: Make it possible to call t-policy more than once (moving t-dsd out of it)

Infra: dgit-repos-server; In NOFFCHECK but not FRESHREPO case, do not request wrong ref name

dgit: Gate sending "previously" on deliberately_not_fast_forward not $forceflag

$forceflag will only be set if we actually think the ref is not fast
forwarding.  But the --deliberately flags may cause a repo reset which
will require us to mention the previous state, even if the push
appears to be ff.

Push replay prevention protocol: Rename "supersedes" to "previously", as not necessarily actually superseded

Test suite: add some replay prevention tests

Infra: Document dgit-repos-policy-trusting a bit

Infra: Add dgit-repos-policy-trusting

Also add the --deliberately-fresh-repo deliberately, both to the
manpage and to dgit's idea of non-fast-forward-ness.

Rename the dgit test only deliberatelies to start with TEST-dgit-only-
rather than having the -dgit-only at the end.

Test suite: move t-commit and break out t-policy (nfc)

Infra: Allow FRESHREPO to override "tag already exists"

drs-push-rejects test needs updating too.

Infra: dgit-repos-server: Fix some typos in debug messages

Infra: Make replay prevention file contain tags (by searching for right ref names)

Infra: document DELIBERATELIES parameter to policy hook

Test suite: Provide t-rm-dput-dropping

This is needed if tests reuse versions, which we are perhaps going to
have to do to test out the replay prevention.

Test suite: finalise replay prevention

infra: Finish replay prevention

Dgit.pm: git_for_each_ref: Provide optional $git_dir argument

Infra: New approach to reply prevention hhen NOFFCHECK, involving removed tags file

dgit: Declare a "supersedes" in the signed tag for all previous refs/heads and refs/tags in the repo, when deliberately_not_fast_forward

dgit: Break out deliberately_not_fast_forward (nfc)

dgit-repos-policy-debian: better debugging for tainted object checking

New approach to replay prevention - WIP

New approach to replay prevention - WIP

Test suite: Abstract t-tstunt-parsechangelog

Test suite: Use stunt Dpkg::Changelog::Parse

This saves a further 13s.  Overalll the stunt changelog machinery
saves 28s out of 100s (in my example case, the current
debpolicy-newreject).

Test suite: Allow for t-stunt to override Perl modules

Test suite: Use stunt dpkg-parsechangelog

This program takes 16ms instead of ~700ms on my computer.  This saves
15s out of 100s for the debpolicy-newreject test (in its current
state).

Currently this is only used by various things in devscripts because
dpkg-source uses /usr/lib/dpkg/parsechangelog/debian directly via a
Perl module Dpkg::Changelog::Parse.

Test suite: Provide new t-stunt facility

policy: Improve taint message recorded in db by --deliberately-not-fast-forward

git_get_ref: Move to Dgit.pm and reimplement

Use
  git for-each-ref --format=%(objectname) [r]efs/whatever

This pattern won't match literally as a prefix because a ref name
cannot contain [, so it must match according to fnmatch.  whatever
cannot contain fnmatch metacharacters because they're not valid in ref
names.

This is a better idiom because it might directly look up the ref in
question (although currently it probably doesn't).

Dgit.pm: git_for_each_ref: do not insist that first component after refs/ matches \w+

Break out ensuredir and make mkrepotmp use it

Dgit.pm: git_for_each_tag_referring provides referred-to object id too

Move is_fast_fwd into Dgit.pm