dgit: Implement `git-fetch --no-insane'

git-fetch has some very poor behaviours.  Implement a non-insane
version.

We are going to want to not fetch things we aren't going to use, and
this is necessary for that.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: tag-updates: Do not assert a that dgit-fetch/ ref exists

We don't actually want dgit to leave these lying around unless it has
to.  So don't insist on that.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: inarchivecopy: Is finished

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: inarchivecopy: use t-sametree-parent

Otherwise different history between fetch and clone breaks the test.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Provide t-sametree-parent

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: need to clean up lrfetchrefs

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: inarchivecopy: More work

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: inarchivecopy: More work

Select specifically 1.3 for first test, and do a clone

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: inarchivecopy: New test (does not pass yet)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: provide for x-dgit-unfinished restriction

This will allow us to add tests which fail or are broken, without
causing the test suite as a whole to fail.  When the test is good, the
restrction should be removed.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dgit: Add a comment explaining import discard

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dgit: Clarify some messages about archive/local skew

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dgit: New fetch algorithm - try to tolerate in-archive copies

Big comment explains.

Amongst other things:
 * Introduce the mergeinfo concept
 * Abolish fetchspec in favour of lrfetchref
 * Synthesize a pseudo-merge linking the archive's .dsc with the dgit
   server's git branch, as appropriate.
 * Introduce mergeinfo_version.

I have tried to ensure that where the import done by previous versions
of dgit would be correct, the new import is the same.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Remove refs/remotes/dgit/dgit/sid from pari-extra worktree

This, effectively, simulates a previous fetch of something.  Do this
in the actual tests instead: in this case, only necessary in
fetch-localgitonly.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: examplegit: make "new" branch be 2.x

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: t-commit: honour $majorv for major version

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Honour t_dgit_xopts

No callers.  This may come in useful, though, at some point.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: examplegit: Make two pushes to unstable

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: examplegit: Save mirror as part of setup

incoming has nothing in it.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: t-setup-*: Fix lock path

Needs to be not in a directory which may not exist yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Provide t-setup-* machinery

Setups are, essentially, prefixes to test cases.  We arrange to be
able to reuse their state (as explicitly recorded in t-setup-done), so
that manual runs of the test suite can be faster.

We save the tmp base directory (the directory shared by tests), if
there is one.  That will be used for cacheing of setups.  And we save
the environment in form we can use xargs and env to restore.

We use a conventional with-lock-ex and stamp file pattern for the
cache.  The IMPORT file (containing shell variables) doubles as the
stamp.

The setup execution rune is exciting.  This mostly results from the
fact that we want xargs to pass all the env vars to env, and that
xargs cannot be persuaded to append fixed arguments to the arguments
read from its input file.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: examplegit setup script

We are going to have `setup' scripts which explain how to set up the
preconditions for one or more tests.  This is the first one.

Right now it runs to completion, generating its deliverables in $tmp,
but then crashes due to the as-yet-unimplemented t-setup-done call.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: t-commit: Permit specification of the suite in $3

This also means that we need to default $2 with ${2:-} since callers
want need to pass an empty value for the version, to get the default.

No functional change since none of the call sites use this yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: t-pushed-good: Support other suites

Honour $2 being the suite codename, defaulting to sid.

No functional change, since no-one passes this argument right now.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: t-archive-none: Support multiple suites

t-archive-none now honours `suitespecs', which defaults to just
`sid:unstable'.

No overall functional change since no-one sets suitespecs to a
non-default value.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Synthetic ff is not to do with $tag, really

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Have checked all uses of $split_brain

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Update following split tag work

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: More notes about our plans

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split brain: Test case: Do push

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split brain: TODOs

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Push the maintainer view tag, where supported

We introduce a new `maint' possibility in to the dgit-tag-format
access cfg list, presence of which indicates that the receiver is
content to receive DEP-14-style maintainer-view (ie, non-dgit0 tags.

For now, we default this to true.  However, repos handled by
dgit-repos-server cannot currently cope with this, because:
 * dgit-repos-server currently tries to be compatible with old
   dgits which send DEP-14-named dgit tags;
 * dgit-repos-server doesn't currently permit the creation of
   `extraneous' (ie, non-dgit) tags and branches.

So for Debian, we do not set this flag.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Genrate maintainer-view tag too

push_tagwants gets a new argument, $maintviewhead, which is defined
iff the quilt mode means we want split tags.  It then specifies the
generation of both tags.

push_mktags gains the ability to make the new `maint' view tag (and
checks that the view is not something else unexpected).

Introduce a function debiantag_maintview for calculating the
maintainer's idea of the tag.  Currently we use DEP-14 encoding (and
this function is a clone-and-hack of Dgit.pm::debiantag_old, but
perhaps we should do something more complicated (depending on the
quilt mode).

For now we do not push the maint view tag anywhere.  The ability to do
that, where appropriate, will come in a moment.

This commit introduces protocol version 4, which includes the new
`maint-view' param.  When have a split brain quilt mode, we need to be
sure that we're using protocol version 4 or out peer may not honour
this, resulting in an annoying failure later (the responder sending a
different number of tags to the number expected).

We also have to check that we're using the new tag format (or we might
want to try to generate two different tags with the same name, which
is madness).

When the quilt mode is not a split brain one, this whole commit should
produce no overall functional change (even though a higher protocol
version may be negotiated).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Preparation: Rename tag variables etc. in dopush

We are going to have different branches at once.  Rename some
variables to permit this distinction.

We have $actualhead (whatever HEAD is), $dgithead (the dgit view), and
$maintviewhead (the maintainer's view if different, or undef if not0.

Change the existing references.  Also change one reference to HEAD to
$dgithead: when we update the local tracking ref for the dgit view, we
need to use $dgitview.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Preparation: Reorganise tagwants and mktags

We are going to want to generate two tags.  The current code structure
is not really set up for this.  Also the knowledge of what tags are
being made needs to be used both in dopush and in the push responder.

So:
 * Introduce push_tagwants, which calculates which tags we are going
   to be making, including some details of them.
 * `View' indicates which tag this is.  For now there is only one,
   `dgit'.  But the tags are going to be in a defined order - or,
   at least, the `dgit' tag will come first.
 * Have push_parse_changelog no longer return the single tag name,
   and abolish the corresponding $i_tag varaiable.
 * push_mktag bcomes push_mktags and takes much of its instruction
   from @$tagwants.
 * push_mktags does more than just making tags - it also updates
   the dsc, and does some checks, so it needs to fish the relevant
   object id out of the dgit view tag.
 * $mktag in push_tagwants can now operate on a tagwant, and
   the tag-making part of push_mktags just iterates over the tagwants.
 * The filename plumbing in dopush is somewhat generalised: we
   collect the filenames out of push_mtags or responder_receive_files,
   and then substitute them into the tagwants.
 * The tag checking iterates over the tagwants.
 * The push spec computation iterates over the tagwants.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Preparation: Break out (and fix) need_tagformat

No major functional change.

However, we do preserve the previous override value, so that
need_tagformat's caller is happy, we still override the access
configuration.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Preparation: Break out access_cfg_tagformats

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Preparation: move select_tagformat into a new section

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split tags: Introduce $mktag in push_mktag

push_mktag is going to want to become push_mktags, and make perhaps
two tags.

For now, break the actual tag-making out into a subref.  Rename the
arguments to push_mktag to ensure we caught all the references in
$mktag.

push_mktag now wants to return an array; make sure that the call sites
all give it array context.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Double check agreement in rpush protocol

Send the tag format as a param and check that it is the same at both
ends.  This check _ought_ not ever to fail, but I want to be sure.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Rename $tagformat to $tagformat_want

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Recognise {oldtag,newtag}-clone-nogit

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Want to test upgrade smoothness

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Have grepped tests/lib for tag

Well, we have done this well enough that t-pushed-good works in
newtag-clone-nogit.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: Some desires for protovsn 4

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH: "previously" is fine.

git_fetch_us fetches all of refs/heads and refs/tags into dgit-fetch,
and then with deliberately_not_fast_forward we process each of those.

This is correct.  This is for replay protection and for this purpose
it doesn't matter whether the tags we are stopping being unwound are
dgit tags or something else.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Canonicalise json output when generating aq

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: run-all: record output

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dgit: Use GIT_COMMITTER_DATE for automatic patch

When automatically generating quilt patch, honour GIT_COMMITTER_DATE
for filename creation (makes filename deterministic in test suite).

Test suite: Test pushing with forcing old and new tag format

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Calculate desired tag format

Introduce machinery for deciding what format tag to make, during push.
The computation is slightly ad-hoc.

Currently it always returns `old' and does as before, so no overall
functional change with existing configs and existing command lines.

Reserve protocol version 4 for new tag support.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: dgit: Fetch both old ane new format tags

We are going to want to know about all of these.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Test suite: Introduce $tagpfx

Currently this is `test-dummy' (the distro the tests work with).

Have checked that after this commit
   find tests -type f | xargs perl -i~ -pe 's/\$tagpfx/test-dummy/g'
puts everything back.  (This does not prove I have changed the right
set of occurrences, but it does suggest that each actual change is
good.)

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Update dgit-repos-policy-debian

The only place where we call debiantag, and the only place where we
know about tag names, is in vsn_in_our_history.  We need to change it
to query multiple tags.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Update dgit-repos-server

Change the calls to debiantag_old to changes to debiantags, and the
regexp to tolerate either tag name.

We need an additional check that we are not receiving the tag named by
debiantag_new when debiantag_old already exists.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Provide debiantags in Dgit.pm

No callers yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Make git_for_each_ref support multiple patterns

By passing $patterns= [ ... ].  No functional change yet as no call
site does this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Declare intent in docs etc.

Provide debiantag_new as well as debiantag_old.  Change the docs
and an important comment.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Tag change: Rename debiantag to debiantag_old

We are going to change the tag name of the main signed tag used by
dgit to signal the user's intent to the archive server.

Prepare for this by changing debiantag to debiantag_old and changing
all call sites outside dgit itself.

dgit will want to be able to generate either, depending on whether
it's cooperating in an rpush with a new or old dgit so reintroduce a
wrapper called debiantag there.  This will also allow us to have dgit
generate old tags for testing.

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

TODO.BRANCH search whole tree for "tag"

changelog: Document test suite better info

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Print better info on t-ref-same failure

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: Print better info on failures

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dgit: rpush protocol comment: Add some missing protocol elements

progress, supplementary-message, previously, and param csuite, were
all missing.  Document them.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Dgit.pm: cmdoutput: Handle undef in arg crash better

Use `confess' which produces a stack trace.  And don't forget to use
Data::Dumper;

Bug introduced in e6ce71a87a1c "Move various useful functions into
Dgit.pm [...]".

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Split brain: When pushing, find the dgit view in the cache

We now do set $split_brain, and we don't do anythig with the cached
dgit view, so we'll crash at the die, in a moment.

Innards: Improve mktree_in_ud_from_only_subdir message

When it finds multiple subdirs, print them.

Subprocess error handling: Initialise $? to -1

When system(3perl) fails due to syscall error, it sets only $!.  When
it succeeds it sets only $? and sometimes trashes $!.  Conversely,
close of a popened filehandle always sets both in all cases.

Document this in a comment.

So when using system and relying on $?/$! (rather than looking at
system's return value), such as when about to use failedcmd, it's
necessary to initialise $? to -1.

Fix the three call sites where system might be followed by failedcmd
but this wasn't done.

Subprocess error handling: Fix when divert check fails

If the remote command failed, do not try to match the undef value
against the various regexps.

Subprocess error handling: Do not call faildcmd when open fails

failecmd wants to look at $? too and anyway the full command is not of
much interest in these cases.

Split brain: Fix grammar in a message

Split brain: In dopush, get HEAD earlier (nfc)

Split brain: Do not look at all of %INC for cache key

Look only at dgit and Debian/Dgit.

The prompt for this is that some of our submodules seem to dynamically
load some of their components depending on what dgit does, making the
cache key unstable.

quilt innards: Change calling convention for quilt_check_splitbrain_cache

quilt innards: Break out quilt_check_splitbrain_cache (nfc)

quilt innards: Break out uilt_make_fake_dsc (nfc)

quilt innards: Remove a couple of stray blank lines

quilt innards: Fix a formatting glitch

Quilt mode reporting: Only print warning about quilt once

Test suite: quilt-gbp: New test (not yet complete)

This test does not yet do all that we want, but it does some things
and then exits 0.

The current intent for the future is written in prose in the rest of
the file.

Test suite: t-gbp-example-prep: Arrange to be FF from the archive

Otherwise pushes will necessarily (spuriously) fail.

When synthesing a commit from a .dsc from the archive, stop internal git reset from printing a confusing message about HEAD.

Split brain: Use GZIP -1n to avoid spurious timestamp

Otherwise the cache entry's .dsc contains the hash of a fake
debian.tar.gz which has had a timestamp put in it by gzip, defeating
the cache.

Split brain: Improve and rationalise progress messages

Split brain: Provide --gbp= and --gbp:

Not documented yet.

Split brain: With patches-unapplied trees, apply before running rules

Everywhere we invoke dpkg-buildpackage, check if we need to apply the
patches.  And at the end of every command that might have done this,
check if we did, and unapply them if so.

We don't try to unapply patches in case of error.  That seems likely
to be quite fragile.

Print a warning when we apply patches, suggesting ways to avoid the
need.

Split brain: Show progress message when dgit view created OK

Split brain: Do not leave STDOUT redirected to /dev/null (!)

We use runcmd shell_cmd for gbp pq import, and the other commands not
produce undesirable output.

Split brain: Use `gbp pq' (which exists) not `gbp-pq' (which doesn't)

Test suite: unapplied-pq2qc: leave us on the qc/ branch

The patch queue branch is not really very useful.  Certainly, the
build tests will require the patch queue branch.

Split brain: Include quilt mode in cache key

This can make a radical difference!

Split brain: Fix unapplied tree handling

Do the quiltify_splitbrain_needed if there _are_ patches, not if there
aren't.  And if we're told it was an unapplied tree, check that HEAD
and orig are indeed the same (excluding debian/*, of course) and print
a useful message if not.

Test suite: When sbuild log file missing, make a note

This updates "Test suite: When sbuild fails, do not crash", to arrange
that in this situation we do leave a message in the $bmlog, where it
will be reported (eg) by diff.  This makes debugging less confusing in
cases where the log is indeed missing.

Test suite: Provide t-gbp-example-prep [FOLD INTO QUILT-GBP TEST?]

This function is useful for setting up a test case --quilt=gbp working
tree and corresponding archive contents, ready for substantive tests.

Test suite: Move bm-quirk-sbuild-after-act to lib-build-modes

This will allow other tests to check dgit sbuild.

Test suite: build-modes: Move sbuild knowledge to lib

Teach bm-guess-e-source-e-targets about sbuild, so this knowledge can
be reused.

Test suite: build-modes: Move `build-source' knowledge to lib

Teach bm-guess-e-source-e-targets about dgit build-source, so this
knowledge can be reused.

Test suite: Break out bm-prep-ownpackage-branches

We are going to want to run some build modes tests on other exciting
trees.

Test suite: quilt gbp: Provide example worktree tarball

This working tree has some patch queues etc. in it, which will be
useful for testing --quilt=gbp.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Test suite: unapplied-pq2qc: move into lib as a t- subroutine