Split brain: Run dpkg-source --before-build separately (nfc)

We are going to want to capture the patches-unapplied state of the
tree as a git tree object.  So split out the patch application part of
the fake .dsc extraction.

No functional change as yet.

Split brain: Fake .dsc contains d/control and d/changelog too

We will want these because we're going to be doing more exciting
dpkg-source and gbp operations etc.

Split brain: Add $origtree argument to quiltify (nfc)

Currently not used, nor any sensible value passed.

Split brain: Document the plan

Split brain: Make git tree in fake sooner (nfc)

No overall functional change.

Split brain: Make prep_ud be able to make a different dir (nfc)

We will want this later.  No users yet, so no functional change.

dgit: Add a comment about reason for commit_quilty_patch in push

Test dgit-repos-policy-debian with multiple (identical, as it happens) existing taints.

dgit-repos-policy-debian.: fix git-cat-file-handling with multiple taints in db (!).

dgit-repos-policy-debian: Better error handling

Show more info when git-cat-file --batch goes wrong

debian/changelog: Fix a formatting bug

Dgit.pm: Provide hashfile()

Call site(s) will come later.

Test suite: Provide test for nonexistent --always-split-source-build

We are going to introduce this option soon.  It is not supposed to
actually have very much overall effect, although it will replumb the
way dgit goes about making the source package.

So the tests are just the same as the normal tests only with the
additional option.

dgit: Internal change: Support forcing split source builds

We are going to start handling weirder kinds of git tree, which will
require a kind of `split brain': the dgit-using maintainer's view will
be a git tree which is not a dgit git tree.  dgit will convert them
during push.

For this to work we will have to have dgit always (in these cases)
generate the source package itself (with a separate invocation of
dpkg-source).  This will involve some dis- and re-entangling of the
way we generate arguments to dpkg-buildpackage.

We can profitably split this up into this pre-patch, which has no
overall functional change for normal users.

We do here provide a new --always-split-source-build option which
allows the new approach to be explicitly requested.  This allows us to
use the test suite to not only test that we didn't break any of the
existing building strategies, but also that the new strategies all do
what we expect.

But this option is not really semantically useful for users so we do
not document it.

Test suite: tartree-edit: document gitfetchinfo-merge in usage message

Test suite: run-all should use make -k

Otherwise one failure causes the tests to be abandoned, which is not
usually desirable.

Test suite: lib t-untar of an edited tartree: do not hardlink

Some of the tools we use, it turns out, do not update properly: they
overwrite in place.  This can cause inadvertant changes to a tartree
opened for editing.

Tests: tartree-edit: gitfetchinfo: Better commit messages for dirty tress

Test suite: tartree-edit: gitfetchinfo generates remote/TT-HEAD

Simply HEAD is not displayed by gitk, which is rather a shame.

Test suite: tartree-edit: gitfetchinfo: Remerge on fetch

When we unmerged some old A+B merged refs, make a note to merge them
again.  This saves the user calling gitfetchinfo-merge again.

Test suite: tartree-edit: gitfetchinfo: Be a bit more careful

* Turn on perl warnings
* Use strict
* When removing old merged refs, insist that we aren't handling A+A

Test suite: tartree-edit: gitfetchinfo: Unmerge merged refs

The sequence
  gitfetchinfo-merge A B
  gitfetchinfo A
  gitfetchinfo-merge A B
might leave inappropriate A+B refs, because nothing would delete them.

So, have gitfetchinfo A unmerge any A+B or B+A refs.  (This does mean
that the user of gitfetchinfo A is now promising that any remotes A+B
or B+A were made with gitfetchinfo-merge.)

Test suite: tartree-edit: gitfetchinfo: Specify commit timestamps

We want the commit timestamps to be predictable (ie, to depend on the
source info only), so that we don't show spurious disagreement between
two working trees.  So, use the timestamp of the HEAD commit.

Test suite: tartree-edit: Provide facility for comparing sets of git refs

Test suite: tartree-edit: break out git_manip_play (nfc)

Test suite: Provide `tartree-edit gitfetchinfo'

Help with comparing different test case git working tree tarballs.

Test suite: Test build modes -g and -G

quilt fixup: When using git-reset, pass -q

dgit-repos-policy-debian: better error message when git-cat-file produces unexpected output

dgit sbuild no longer deletes extranious .changes files; instead we rely on --rm-old-changes, or failing that, fail early.

No longer tolerate a multitude of .changes files when doing push.

Instead, insist on a single one.  This eliminates a potential for a
variety of surprises, where dgit would upload something different to
the user expected.

We no longer need to behave this way because nowadays the sbuild build
(which was the real use case, because it would generate a .source and
a .ARCH changes as well as the final .multi) renames the intermediate
changes files.

Also --rm-old-changes helps.

Remove any pre-existing _source.changes file before building source, as a safety check.

Tests: Use --rm-old-changes in build-mode tests

Soon, we are going to be stricter about detecting ambiguity about
which .changes file is intended when different build modes have been
used.

Introduce --rm-old-changes to delete previous builds' changes files.

dgit(1): Document the dgit-distro.DISTRO.quilt-mode config setting.

Break out changespat (no functional change)

When running dpkg-buildpackage, cope if user specified -g or -G.

sbuild: Check that the binary .changes file doesn't contain a .dsc.

sbuild: Rename the used-up .changes files to `.inmulti'

This avoids accidental use of the wrong one (by software, or by users).

sbuild:: check that we have the right number of .changes files

Check that the set of .changes files found is as we expect, before
calling mergechanges.

Test suite: Test quilt single-debian-patch

Increase sqlite_busy_timeout in debpolicy-dbretry

zealot is very slow and we need to give the other processes time to
rollback and release the lock.

test suite: Remove spurious .debs from example_1.0.tar

Set GIT_COMMITTER_DATE and GIT_AUTHOR_DATE

This avoids most date dependencies: unless other measures are taken,
the commits and tags are identical iff they are constructed
identically.  This makes the test suite more deterministic.

In drs-push-rejects test, increment them explicitly, so as to make all
of mktag's tags distinct objects.

Otherwise it can generate identical tags (now, always; previously,
only sometimes on fast computers), causing spurious variations in
behaviour (eg, things not being rejected because they do not represent
any change).

build_source: Fix bad Perl poetry style

Pass --ch:* and -v options to dpkg-buildpackage when building source.
Fixes bad Perl poetry syntax.  Closes:#829121.

Properly substitute $changesfile in one of the `You can retry' messages.  Closes:#800078.

Print better error message (with `fail' rather than `die') if `dgit clone' cannot create the destination directory.

Do not call "warn" on failure of cleanup handler in END block (since warn has been made fatal and aborts the cleanup chain).

When cleaning up after failed clone, stat the to-be-cleaned-up directory before running rmtree on it.  Closes:#796773.

Put --no-arch-all in build-modes-sbuild act, not only its real_act

Cosmetic change only.

Test suite: When sbuild fails, do not crash

... due to sed not finding the log file.  Instead, simply tolerate the
absence of the log file.

sbuild; Do not pass -A

Incompatible change:

* dgit sbuild does not pass -A to sbuild.  Consequently the default
  build is now simply sbuild's default.  With older sbuilds it was
  possible to override dgit's -A by passing another option.  But this
  has been changed recently and now this default setting is very
  awkward to change for the dgit user.

finalise 1.4

changelog: Improve

quilt-fixup checks that the git tree is clean, as for build-prep.

Test suite: run quilt-fixup with -wgf in distropatches-reject, so that we don't need build-depends.

forbidden files: check them properly

With dgit sbuild, pass our -d before the user's arguments, so that the user can override it.  Closes:#796019.

quilt fixup: single-debian-patch is still broken in wheezy

Because dpkg-source -b breaks with single-debian-patch when the .pc is
missing, so this depends on split execution of the source package
build.

quilt fixup: A few more progress messages

Reject debian/source/local-patch-header

quilt fixup: quilt_fixup_linkorigs more debugging output

Cope properly with `3.0 (quilt)' with single-debian-patch. Closes:#796016.

quilt fixup: Break out quilt_fixup_delete_pc (nfc)

quilt fixup: Break out quilt_fixup_linkorigs (nfc)

quilt fixup: Break out quilt_fixup_mkwork (nfc)

quilt fixup: break out quilt_fixup_multipatch ready for quilt_fixup_singlepatch

Functional change: bomb out with die if single-debian-patch, rather than going wrong

In --dry-run mode, _do_ actually run dpkg-source --commit so that we actually do construct the quilt fixup commit; instead, honour --dry-run by avoiding pulling it back to your HEAD.

get_source_format returns the debian/source/options, too (nfc since no users yet)

Copy debian/source/options into fake dsc

Refactor coping with maybe-existing files in fake dsc

Detect and reject git trees containing debian/source/local-options.

In dgit(7), discuss binaries and documentation present in upstream but removed by rules clean.

When quilt linearisation fails, print the right information in the error message.  (This has been broken forever.)

When running git-add in commit-quilty-patch, use -f and sometimes -A, so as to avoid being broken by any .gitignore, etc.

When running git-add in commit-quilty-patch, properly escape filenames (which git-add treats as glob patterns).

Unbreak --dry-run (`exiting subroutine via next', broken in ac221d67, bug released in 0.22).

changelog: start 1.4

changelog: finalise 1.3

Test suite: Fix t-restriction-x-dgit-schroot-build not to print to stdout when it succeeds

Infrastructure: Improve an error message in dgit-repos-policy-debian.

Test suite: Fix t-restriction-x-dgit-schroot-build in non-adt mode.

Test suite: in enumerate-tests, massage multi-line whynot

Prep 1.3~~ for testing

Properly quote package name when constructing regexp in complete_file_from_dsc.  Closes:#795736.  Also, grep the code for likely similar problems elsewhere and improve a (harmless) instance in dgit-repos-server.

If a .orig in .. is a symlink, hardlink the link target into our private unpack directory, rather than the link itself (since latter won't work if the symlink is relative).

In option parser test `@ARGV' not `length @ARGV'.  Closes:#795710.

changelog: start 1.3

changelog: finalise 1.2

changelog: tidy up

Add missing close of #793060 to changelog for version 1.1. pass -nc.  Closes:#793060.

Finish dealing with uncuddled options

Convert to defvalopt: -k

Convert to defvalopt: -C

Convert to defvalopt: -c

Convert to defvalopt: --quilt=

Convert to defvalopt: --clean

Convert to defvalopt: --build-products-dir

Convert to defvalopt: --initiator-tempdir

Reformat defvalopt calls table (nfc)