chiark / gitweb /
Fix a badly open-coded copy of check_not_dirty. Closes: #720524.
[dgit.git] / dgit
diff --git a/dgit b/dgit
index a67cc7d05cbe9c7173c2dac45ccd57a6aca3da40..693aa18267d30ab931e6d4ce5c25ca6ff02ba7f2 100755 (executable)
--- a/dgit
+++ b/dgit
@@ -24,10 +24,12 @@ use Data::Dumper;
 use LWP::UserAgent;
 use Dpkg::Control::Hash;
 use File::Path;
+use File::Basename;
 use Dpkg::Version;
 use POSIX;
 
 our $isuite = 'unstable';
+our $idistro;
 our $package;
 
 our $sign = 1;
@@ -35,6 +37,7 @@ our $dryrun = 0;
 our $changesfile;
 our $new_package = 0;
 our $existing_package = 'dpkg';
+our $cleanmode = 'dpkg-source';
 
 our %format_ok = map { $_=>1 } ("1.0","3.0 (native)","3.0 (quilt)");
 
@@ -42,35 +45,56 @@ our (@git) = qw(git);
 our (@dget) = qw(dget);
 our (@dput) = qw(dput);
 our (@debsign) = qw(debsign);
+our (@sbuild) = qw(sbuild -A);
+our (@dpkgbuildpackage) = qw(dpkg-buildpackage -i\.git/ -I.git);
+our (@dpkgsource) = qw(dpkg-source -i\.git/ -I.git);
+our (@dpkggenchanges) = qw(dpkg-genchanges);
+our (@mergechanges) = qw(mergechanges -f);
+our (@changesopts) = ('');
+
+our %opts_opt_map = ('dget' => \@dget,
+                    'dput' => \@dput,
+                    'debsign' => \@debsign,
+                     'sbuild' => \@sbuild,
+                     'dpkg-source' => \@dpkgsource,
+                     'dpkg-buildpackage' => \@dpkgbuildpackage,
+                     'dpkg-genchanges' => \@dpkggenchanges,
+                     'ch' => \@changesopts,
+                     'mergechanges' => \@mergechanges);
+
 our $keyid;
 
 our $debug = 0;
 open DEBUG, ">/dev/null" or die $!;
 
-our %opts_opt_map = ('dget' => \@dget,
-                    'dput' => \@dput,
-                    'debsign' => \@debsign);
-
 our $remotename = 'dgit';
-our $ourdscfield = 'Vcs-Dgit-Master';
+our @ourdscfield = qw(Dgit Vcs-Dgit-Master);
 our $branchprefix = 'dgit';
 our $csuite;
 
 sub lbranch () { return "$branchprefix/$csuite"; }
 my $lbranch_re = '^refs/heads/'.$branchprefix.'/([^/.]+)$';
 sub lref () { return "refs/heads/".lbranch(); }
-sub lrref () { return "refs/remotes/$remotename/$csuite"; }
+sub lrref () { return "refs/remotes/$remotename/$branchprefix/$csuite"; }
 sub rrref () { return "refs/$branchprefix/$csuite"; }
-sub debiantag ($) { return "debian/$_[0]"; }
+sub debiantag ($) { 
+    my ($v) = @_;
+    $v =~ y/~:/_%/;
+    return "debian/$v";
+}
+
+sub dscfn ($) { return "${package}_$_[0].dsc"; }
+
+sub changesopts () { return @changesopts[1..$#changesopts]; }
 
 our $us = 'dgit';
 
-sub fail () { die "$us: @_\n"; }
+sub fail { die "$us: @_\n"; }
 
-sub badcfg () { print STDERR "$us: invalid configuration: @_\n"; exit 12; }
+sub badcfg { print STDERR "$us: invalid configuration: @_\n"; exit 12; }
 
 sub no_such_package () {
-    print STDERR "$us: package $package does not exist in suite $suite\n";
+    print STDERR "$us: package $package does not exist in suite $isuite\n";
     exit 4;
 }
 
@@ -89,6 +113,7 @@ sub url_get {
     my $what = $_[$#_];
     print "downloading $what...\n";
     my $r = $ua->get(@_) or die $!;
+    return undef if $r->code == 404;
     $r->is_success or fail "failed to fetch $what: ".$r->status_line;
     return $r->decoded_content();
 }
@@ -185,6 +210,10 @@ important dgit options:
   -c<name>=<value>    set git config option (used directly by dgit too)
 END
 
+our $later_warning_msg = <<END;
+Perhaps the upload is stuck in incoming.  Using the version from git.
+END
+
 sub badusage {
     print STDERR "$us: @_\n", $helpmsg or die $!;
     exit 8;
@@ -199,18 +228,19 @@ our %defcfg = ('dgit.default.distro' => 'debian',
               'dgit.default.username' => '',
               'dgit.default.archive-query-default-component' => 'main',
               'dgit.default.ssh' => 'ssh',
-              'dgit-distro.debian.git-host' => 'dgit.debian.net',
+              'dgit-distro.debian.git-host' => 'git.debian.org',
               'dgit-distro.debian.git-proto' => 'git+ssh://',
-              'dgit-distro.debian.git-path' => '/git/dgit-repos',
+              'dgit-distro.debian.git-path' => '/git/dgit-repos/repos',
               'dgit-distro.debian.git-check' => 'ssh-cmd',
               'dgit-distro.debian.git-create' => 'ssh-cmd',
               'dgit-distro.debian.sshdakls-host' => 'coccia.debian.org',
               'dgit-distro.debian.sshdakls-dir' =>
                   '/srv/ftp-master.debian.org/ftp/dists',
-              'dgit-distro.debian.mirror' => 'http://http.debian.net/debian/');
+              'dgit-distro.debian.mirror' => 'http://ftp.debian.org/debian/');
 
 sub cfg {
     foreach my $c (@_) {
+       return undef if $c =~ /RETURN-UNDEF/;
        my @cmd = (@git, qw(config --), $c);
        my $v;
        {
@@ -225,7 +255,7 @@ sub cfg {
        my $dv = $defcfg{$c};
        return $dv if defined $dv;
     }
-    return undef;
+    badcfg "need value for one of: @_";
 }
 
 sub access_distro () {
@@ -235,7 +265,7 @@ sub access_distro () {
 
 sub access_cfg (@) {
     my (@keys) = @_;
-    my $distro = access_distro();
+    my $distro = $idistro || access_distro();
     my $value = cfg(map { ("dgit-distro.$distro.$_",
                           "dgit.default.$_") } @keys);
     return $value;
@@ -245,7 +275,7 @@ sub access_someuserhost ($) {
     my ($some) = @_;
     my $user = access_cfg("$some-user",'username');
     my $host = access_cfg("$some-host");
-    return defined($user) && length($user) ? "$user\@$host" : $host;
+    return length($user) ? "$user\@$host" : $host;
 }
 
 sub access_gituserhost () {
@@ -253,7 +283,7 @@ sub access_gituserhost () {
 }
 
 sub access_giturl () {
-    my $url = access_cfg('git-url');
+    my $url = access_cfg('git-url','RETURN-UNDEF');
     if (!defined $url) {
        $url =
            access_cfg('git-proto').
@@ -265,19 +295,29 @@ sub access_giturl () {
 
 sub parsecontrolfh ($$@) {
     my ($fh, $desc, @opts) = @_;
-    my $c = Dpkg::Control::Hash->new({ 'name' => $desc, @opts });
+    my %opts = ('name' => $desc, @opts);
+    my $c = Dpkg::Control::Hash->new(%opts);
     $c->parse($fh) or die "parsing of $desc failed";
+    return $c;
 }
 
 sub parsecontrol {
     my ($file, $desc) = @_;
-    my $fh = new IO::File '<', $file or die "$file: $!";
+    my $fh = new IO::Handle;
+    open $fh, '<', $file or die "$file: $!";
     my $c = parsecontrolfh($fh,$desc);
     $fh->error and die $!;
     close $fh;
     return $c;
 }
 
+sub getfield ($$) {
+    my ($dctrl,$field) = @_;
+    my $v = $dctrl->{$field};
+    return $v if defined $v;
+    fail "missing field $field in ".$v->get_option('name');
+}
+
 sub parsechangelog {
     my $c = Dpkg::Control::Hash->new();
     my $p = new IO::Handle;
@@ -292,8 +332,8 @@ our %rmad;
 
 sub archive_query ($) {
     my ($method) = @_;
-    my $query = access_cfg('archive-query');
-    if (!$query) {
+    my $query = access_cfg('archive-query','RETURN-UNDEF');
+    if (!defined $query) {
        my $distro = access_distro();
        if ($distro eq 'debian') {
            $query = "sshdakls:".
@@ -342,38 +382,41 @@ sub canonicalise_suite_sshdakls ($$) {
 
 sub madison_parse ($) {
     my ($rmad) = @_;
-    if (!length $rmad) {
-       return ();
-    }
-    $rmad =~ m{^ \s*( [^ \t|]+ )\s* \|
-                 \s*( [^ \t|]+ )\s* \|
-                 \s*( [^ \t|/]+ )(?:/([^ \t|/]+))? \s* \|
-                 \s*( [^ \t|]+ )\s* }x or die "$rmad $?";
-    $1 eq $package or die "$rmad $package ?";
-    my $vsn = $2;
-    my $newsuite = $3;
-    my $component;
-    if (defined $4) {
-       $component = $4;
-    } else {
-       $component = access_cfg('archive-query-default-component');
+    my @out;
+    foreach my $l (split /\n/, $rmad) {
+       $l =~ m{^ \s*( [^ \t|]+ )\s* \|
+                  \s*( [^ \t|]+ )\s* \|
+                  \s*( [^ \t|/]+ )(?:/([^ \t|/]+))? \s* \|
+                  \s*( [^ \t|]+ )\s* }x or die "$rmad $?";
+       $1 eq $package or die "$rmad $package ?";
+       my $vsn = $2;
+       my $newsuite = $3;
+       my $component;
+       if (defined $4) {
+           $component = $4;
+       } else {
+           $component = access_cfg('archive-query-default-component');
+       }
+       $5 eq 'source' or die "$rmad ?";
+       my $prefix = substr($package, 0, $package =~ m/^l/ ? 4 : 1);
+       my $subpath = "/pool/$component/$prefix/$package/${package}_$vsn.dsc";
+       push @out, [$vsn,$subpath,$newsuite];
     }
-    $5 eq 'source' or die "$rmad ?";
-    my $prefix = substr($package, 0, $package =~ m/^l/ ? 4 : 1);
-    my $subpath = "/pool/$component/$prefix/$package/${package}_$vsn.dsc";
-    return ($vsn,$subpath,$newsuite);
+    return sort { -version_compare_string($a->[0],$b->[0]); } @out;
 }
 
 sub canonicalise_suite_madison ($$) {
     my @r = archive_query_madison($_[0],$_[1]);
     @r or fail
        "unable to canonicalise suite using package $package".
-       " which does not appear to exist in suite $suite;".
+       " which does not appear to exist in suite $isuite;".
        " --existing-package may help";
-    return $r[2];
+    return $r[0][2];
 }
 
 sub canonicalise_suite () {
+    return if defined $csuite;
+    fail "cannot operate on $isuite suite" if $isuite eq 'UNRELEASED';
     $csuite = archive_query('canonicalise_suite');
     if ($isuite ne $csuite) {
        # madison canonicalises for us
@@ -382,17 +425,24 @@ sub canonicalise_suite () {
 }
 
 sub get_archive_dsc () {
-    my ($vsn,$subpath) = archive_query('archive_query');
     canonicalise_suite();
-    if (!defined $vsn) { $dsc=undef; return undef; }
-    $dscurl = access_cfg('mirror').$subpath;
-    $dscdata = url_get($dscurl);
-    my $dscfh = new IO::File \$dscdata, '<' or die $!;
-    print DEBUG Dumper($dscdata) if $debug>1;
-    $dsc = parsecontrolfh($dscfh,$dscurl, allow_pgp=>1);
-    print DEBUG Dumper($dsc) if $debug>1;
-    my $fmt = $dsc->{Format};
-    fail "unsupported source format $fmt, sorry" unless $format_ok{$fmt};
+    my @vsns = archive_query('archive_query');
+    foreach my $vinfo (@vsns) {
+       my ($vsn,$subpath) = @$vinfo;
+       $dscurl = access_cfg('mirror').$subpath;
+       $dscdata = url_get($dscurl);
+       next unless defined $dscdata;
+       $dscurl = access_cfg('mirror').$subpath;
+       $dscdata = url_get($dscurl);
+       my $dscfh = new IO::File \$dscdata, '<' or die $!;
+       print DEBUG Dumper($dscdata) if $debug>1;
+       $dsc = parsecontrolfh($dscfh,$dscurl, allow_pgp=>1);
+       print DEBUG Dumper($dsc) if $debug>1;
+       my $fmt = getfield $dsc, 'Format';
+       fail "unsupported source format $fmt, sorry" unless $format_ok{$fmt};
+       return $dsc;
+    }
+    return undef;
 }
 
 sub check_for_git () {
@@ -417,9 +467,7 @@ sub create_remote_git_repo () {
        runcmd_ordryrun
            (access_cfg('ssh'),access_gituserhost(),
             "set -e; cd ".access_cfg('git-path').";".
-            " mkdir -p $package.git;".
-            " cd $package.git;".
-            " if ! test -d objects; then git init --bare; fi");
+            " cp -a _template $package.git");
     } else {
        badcfg "unknown git-create \`$how'";
     }
@@ -442,7 +490,7 @@ sub mktree_in_ud_from_only_subdir () {
     $dirs[0] =~ m#^([^/]+)/\.$# or die;
     my $dir = $1;
     chdir $dir or die "$dir $!";
-    die if stat '.git';
+    fail "source package contains .git directory" if stat '.git';
     die $! unless $!==&ENOENT;
     runcmd qw(git init -q);
     rmtree('.git/objects');
@@ -454,11 +502,15 @@ sub mktree_in_ud_from_only_subdir () {
 }
 
 sub dsc_files () {
+    my $field = $dsc->{'Checksums-Sha256'} || $dsc->{Files};
+    defined $field or
+       fail "missing both Checksums-Sha256 and Files in ".
+       $dsc->get_option('name');
     map {
        m/^\w+ \d+ (\S+)$/ or
            fail "could not parse .dsc Files/Checksums line \`$_'";
        $1;
-    } grep m/\S/, split /\n/, ($dsc->{'Checksums-Sha256'} || $dsc->{Files});
+    } grep m/\S/, split /\n/, $field;
 }
 
 sub is_orig_file ($) {
@@ -491,32 +543,35 @@ sub generate_commit_from_dsc () {
     my ($tree,$dir) = mktree_in_ud_from_only_subdir();
     runcmd qw(sh -ec), 'dpkg-parsechangelog >../changelog.tmp';
     my $clogp = parsecontrol('../changelog.tmp',"commit's changelog");
-    my $date = cmdoutput qw(date), '+%s %z', qw(-d),$clogp->{Date};
-    my $author = $clogp->{Maintainer};
+    my $date = cmdoutput qw(date), '+%s %z', qw(-d), getfield($clogp,'Date');
+    my $author = getfield $clogp, 'Maintainer';
     $author =~ s#,.*##ms;
     my $authline = "$author $date";
     $authline =~ m/^[^<>]+ \<\S+\> \d+ [-+]\d+$/ or
        fail "unexpected commit author line format \`$authline'".
            " (was generated from changelog Maintainer field)";
+    my $changes = getfield $clogp, 'Changes';
     open C, ">../commit.tmp" or die $!;
     print C <<END or die $!;
 tree $tree
 author $authline
 committer $authline
 
-$clogp->{Changes}
+$changes
 
 # imported from the archive
 END
     close C or die $!;
     my $outputhash = make_commit qw(../commit.tmp);
-    print "synthesised git commit from .dsc $clogp->{Version}\n";
+    my $cversion = getfield $clogp, 'Version';
+    print "synthesised git commit from .dsc $cversion\n";
     if ($upload_hash) {
        runcmd @git, qw(reset --hard), $upload_hash;
        runcmd qw(sh -ec), 'dpkg-parsechangelog >>../changelogold.tmp';
        my $oldclogp = parsecontrol('../changelogold.tmp','previous changelog');
+       my $oversion = getfield $oldclogp, 'Version';
        my $vcmp =
-           version_compare_string($oldclogp->{Version}, $clogp->{Version});
+           version_compare_string($oversion, $cversion);
        if ($vcmp < 0) {
            # git upload/ is earlier vsn than archive, use archive
            open C, ">../commit2.tmp" or die $!;
@@ -527,25 +582,23 @@ parent $outputhash
 author $authline
 committer $authline
 
-Record $package ($clogp->{Version}) in archive suite $csuite
+Record $package ($cversion) in archive suite $csuite
 END
             $outputhash = make_commit qw(../commit2.tmp);
        } elsif ($vcmp > 0) {
            print STDERR <<END or die $!;
-Version actually in archive:    $clogp->{Version} (older)
-Last allegedly pushed/uploaded: $oldclogp->{Version} (newer or same)
-Perhaps the upload is stuck in incoming.  Using the version from git.
+
+Version actually in archive:    $cversion (older)
+Last allegedly pushed/uploaded: $oversion (newer or same)
+$later_warning_msg
 END
             $outputhash = $upload_hash;
-       } elsif ($outputhash ne $upload_hash) {
-           fail "version in archive ($clogp->{Version})".
-               " is same as version in git".
-               " to-be-uploaded (upload/) branch ($oldclogp->{Version})".
-               " but archive version hash no commit hash?!";
-        }
+        } else {
+           $outputhash = $upload_hash;
+       }
     }
     chdir '../../../..' or die $!;
-    runcmd @git, qw(update-ref -m),"dgit fetch import $clogp->{Version}",
+    runcmd @git, qw(update-ref -m),"dgit fetch import $cversion",
             'DGIT_ARCHIVE', $outputhash;
     cmdoutput @git, qw(log -n2), $outputhash;
     # ... gives git a chance to complain if our commit is malformed
@@ -590,7 +643,10 @@ sub fetch_from_archive () {
     # ensures that lrref() is what is actually in the archive,
     #  one way or another
     get_archive_dsc() or return 0;
-    $dsc_hash = $dsc->{$ourdscfield};
+    foreach my $field (@ourdscfield) {
+       $dsc_hash = $dsc->{$field};
+       last if defined $dsc_hash;
+    }
     if (defined $dsc_hash) {
        $dsc_hash =~ m/\w+/ or fail "invalid hash in .dsc \`$dsc_hash'";
        $dsc_hash = $&;
@@ -609,19 +665,33 @@ sub fetch_from_archive () {
     } else {
        die "$lrref_fn $!";
     }
-    print DEBUG "previous reference hash $upload_hash\n";
+    print DEBUG "previous reference hash=$upload_hash\n";
     my $hash;
     if (defined $dsc_hash) {
-       fail "missing git history even though dsc has hash -"
-           " could not find commit $dsc_hash"
-           " (should be in ".access_giturl()."#".rref().")";
+       fail "missing git history even though dsc has hash -".
+           " could not find commit $dsc_hash".
+           " (should be in ".access_giturl()."#".rrref().")"
            unless $upload_hash;
        $hash = $dsc_hash;
        ensure_we_have_orig();
+       if ($dsc_hash eq $upload_hash) {
+       } elsif (is_fast_fwd($dsc_hash,$upload_hash)) {
+           print STDERR <<END or die $!;
+
+Git commit in archive is behind the last version allegedly pushed/uploaded.
+Commit referred to by archive:  $dsc_hash
+Last allegedly pushed/uploaded: $upload_hash
+$later_warning_msg
+END
+           $hash = $upload_hash;
+       } else {
+           fail "archive's .dsc refers to ".$dsc_hash.
+               " but this is an ancestor of ".$upload_hash;
+       }
     } else {
        $hash = generate_commit_from_dsc();
     }
-    print DEBUG "current hash $hash\n";
+    print DEBUG "current hash=$hash\n";
     if ($upload_hash) {
        fail "not fast forward on last upload branch!".
            " (archive's version left in DGIT_ARCHIVE)"
@@ -678,42 +748,67 @@ sub pull () {
 }
 
 sub check_not_dirty () {
-    runcmd @git, qw(diff --quiet);
+    my @cmd = (@git, qw(diff --quiet HEAD));
+    printcmd(\*DEBUG,"+",@cmd) if $debug>0;
+    $!=0; $?=0; system @cmd;
+    return if !$! && !$?;
+    if (!$! && $?==256) {
+       fail "working tree is dirty (does not match HEAD)";
+    } else {
+       failedcmd @cmd;
+    }
 }
 
-sub commit_quilty_patch ($) {
-    my ($vsn) = @_;
+sub commit_quilty_patch () {
     my $output = cmdoutput @git, qw(status --porcelain);
-    my %fixups = map {$_=>1}
-        (".pc/debian-changes-$vsn/","debian/patches/debian-changes-$vsn");
-    my @files;
+    my %adds;
+    my $bad=0;
     foreach my $l (split /\n/, $output) {
-       next unless $l =~ s/^\?\? //;
-       next unless $fixups{$l};
-       push @files, $l;
+       next unless $l =~ m/\S/;
+       if ($l =~ m{^(?:\?\?| M) (.pc|debian/patches)}) {
+           $adds{$1}++;
+       } else {
+           print STDERR "git status: $l\n";
+           $bad++;
+       }
     }
-    print DEBUG "checking for quilty\n", Dumper(\@files);
-    if (@files == 2) {
-       my $m = "Commit Debian 3.0 (quilt) metadata";
-       print "$m\n";
-       runcmd_ordryrun @git, qw(add), @files;
-       runcmd_ordryrun @git, qw(commit -m), $m;
+    fail "unexpected output from git status (is tree clean?)" if $bad;
+    if (!%adds) {
+       print "nothing quilty to commit, ok.\n";
+       return;
     }
+    runcmd_ordryrun @git, qw(add), sort keys %adds;
+    my $m = "Commit Debian 3.0 (quilt) metadata";
+    print "$m\n";
+    runcmd_ordryrun @git, qw(commit -m), $m;
+}
+
+sub madformat ($) {
+    my ($format) = @_;
+    return 0 unless $format eq '3.0 (quilt)';
+    print "Format \`$format', urgh\n";
+    return 1;
 }
 
 sub dopush () {
     print DEBUG "actually entering push\n";
     my $clogp = parsechangelog();
-    $package = $clogp->{Source};
-    my $dscfn = "${package}_$clogp->{Version}.dsc";
+    $package = getfield $clogp, 'Source';
+    my $cversion = getfield $clogp, 'Version';
+    my $dscfn = dscfn($cversion);
     stat "../$dscfn" or
        fail "looked for .dsc $dscfn, but $!;".
            " maybe you forgot to build";
     $dsc = parsecontrol("../$dscfn","$dscfn");
-    print DEBUG "format $dsc->{Format}\n";
-    if ($dsc->{Format} eq '3.0 (quilt)') {
-       print "Format \`$dsc->{Format}', urgh\n";
-       commit_quilty_patch($dsc->{Version});
+    my $dscpackage = getfield $dsc, 'Source';
+    my $format = getfield $dsc, 'Format';
+    my $dversion = getfield $dsc, 'Version';
+    ($dscpackage eq $package && $dversion eq $cversion) or
+       fail "$dsc is for $dscpackage $dversion".
+           " but debian/changelog is for $package $cversion";
+    print DEBUG "format $format\n";
+    if (madformat($format)) {
+       commit_quilty_patch();
     }
     check_not_dirty();
     prep_ud();
@@ -722,7 +817,7 @@ sub dopush () {
     runcmd qw(dpkg-source -x --), "../../../../$dscfn";
     my ($tree,$dir) = mktree_in_ud_from_only_subdir();
     chdir '../../../..' or die $!;
-    printcmd \@DEBUG,"+",@_;
+    printcmd \*DEBUG,"+",@_;
     my @diffcmd = (@git, qw(diff --exit-code), $tree);
     $!=0; $?=0;
     if (system @diffcmd) {
@@ -739,29 +834,45 @@ sub dopush () {
 #    runcmd @git, qw(fetch -p ), "$alioth_git/$package.git",
 #        map { lref($_).":".rref($_) }
 #        (uploadbranch());
-    $dsc->{$ourdscfield} = rev_parse('HEAD');
+    $dsc->{$ourdscfield[0]} = rev_parse('HEAD');
     $dsc->save("../$dscfn.tmp") or die $!;
-    if (!$dryrun) {
-       rename "../$dscfn.tmp","../$dscfn" or die "$dscfn $!";
-    } else {
-       print "[new .dsc left in $dscfn.tmp]\n";
-    }
     if (!$changesfile) {
-       my $pat = "${package}_$clogp->{Version}_*.changes";
-       my @cs = glob "../$pat";
-       fail "failed to find unique changes file".
-           " (looked for $pat in ..); perhaps you need to use dgit -C"
-           unless @cs==1;
-       ($changesfile) = @cs;
-    }
-    my $tag = debiantag($dsc->{Version});
+       my $multi = "../${package}_${cversion}_multi.changes";
+       if (stat "$multi") {
+           $changesfile = $multi;
+       } else {
+           $!==&ENOENT or die "$multi: $!";
+           my $pat = "${package}_${cversion}_*.changes";
+           my @cs = glob "../$pat";
+           fail "failed to find unique changes file".
+               " (looked for $pat in .., or $multi);".
+               " perhaps you need to use dgit -C"
+               unless @cs==1;
+           ($changesfile) = @cs;
+       }
+    }
+    my $changes = parsecontrol($changesfile,$changesfile);
+    foreach my $field (qw(Source Distribution Version)) {
+       $changes->{$field} eq $clogp->{$field} or
+           fail "changes field $field \`$changes->{$field}'".
+               " does not match changelog \`$clogp->{$field}'";
+    }
+    my $tag = debiantag($dversion);
     if (!check_for_git()) {
        create_remote_git_repo();
     }
     runcmd_ordryrun @git, qw(push),access_giturl(),"HEAD:".rrref();
+    if (!$dryrun) {
+       rename "../$dscfn.tmp","../$dscfn" or die "$dscfn $!";
+    } else {
+       print "[new .dsc left in $dscfn.tmp]\n";
+    }
     if ($sign) {
+       if (!defined $keyid) {
+           $keyid = access_cfg('keyid','RETURN-UNDEF');
+       }
        my @tag_cmd = (@git, qw(tag -s -m),
-                      "Release $dsc->{Version} for $csuite [dgit]");
+                      "Release $dversion for $csuite [dgit]");
        push @tag_cmd, qw(-u),$keyid if defined $keyid;
        push @tag_cmd, $tag;
        runcmd_ordryrun @tag_cmd;
@@ -771,10 +882,10 @@ sub dopush () {
        runcmd_ordryrun @debsign_cmd;
     }
     runcmd_ordryrun @git, qw(push),access_giturl(),"refs/tags/$tag";
-    my $host = access_cfg('upload-host');
+    my $host = access_cfg('upload-host','RETURN-UNDEF');
     my @hostarg = defined($host) ? ($host,) : ();
     runcmd_ordryrun @dput, @hostarg, $changesfile;
-    printdone "pushed and uploaded $dsc->{Version}";
+    printdone "pushed and uploaded $dversion";
 }
 
 sub cmd_clone {
@@ -809,13 +920,13 @@ sub branchsuite () {
 sub fetchpullargs () {
     if (!defined $package) {
        my $sourcep = parsecontrol('debian/control','debian/control');
-       $package = $sourcep->{Source};
+       $package = getfield $sourcep, 'Source';
     }
     if (@ARGV==0) {
 #      $isuite = branchsuite();  # this doesn't work because dak hates canons
        if (!$isuite) {
            my $clogp = parsechangelog();
-           $isuite = $clogp->{Distribution};
+           $isuite = getfield $clogp, 'Distribution';
        }
        canonicalise_suite();
        print "fetching from suite $csuite\n";
@@ -842,11 +953,11 @@ sub cmd_pull {
 sub cmd_push {
     parseopts();
     badusage "-p is not allowed with dgit push" if defined $package;
-    runcmd @git, qw(diff --quiet HEAD);
+    check_not_dirty();
     my $clogp = parsechangelog();
-    $package = $clogp->{Source};
+    $package = getfield $clogp, 'Source';
     if (@ARGV==0) {
-       $isuite = $clogp->{Distribution};
+       $isuite = getfield $clogp, 'Distribution';
        if ($new_package) {
            local ($package) = $existing_package; # this is a hack
            canonicalise_suite();
@@ -854,35 +965,177 @@ sub cmd_push {
     } else {
        badusage "incorrect arguments to dgit push";
     }
+    if (check_for_git()) {
+       git_fetch_us();
+    }
     if (fetch_from_archive()) {
        is_fast_fwd(lrref(), 'HEAD') or die;
     } else {
-       fail "package appears to be new in this suite;".
-           " if this is intentional, use --new";
+       $new_package or
+           fail "package appears to be new in this suite;".
+               " if this is intentional, use --new";
     }
     dopush();
 }
 
+our $version;
+our $sourcechanges;
+our $dscfn;
+
+our $fakeeditorenv = 'DGIT_FAKE_EDITOR_QUILT';
+
+sub build_maybe_quilt_fixup () {
+    if (!open F, "debian/source/format") {
+       die $! unless $!==&ENOENT;
+       return;
+    }
+    $_ = <F>;
+    F->error and die $!;
+    chomp;
+    return unless madformat($_);
+    # sigh
+    my $clogp = parsechangelog();
+    my $version = getfield $clogp, 'Version';
+    my $author = getfield $clogp, 'Maintainer';
+    my $headref = rev_parse('HEAD');
+    my $time = time;
+    my $ncommits = 3;
+    my $patchname = "auto-$version-$headref-$time";
+    my $msg = cmdoutput @git, qw(log), "-n$ncommits";
+    my $descfn = ".git/dgit/quilt-description.tmp";
+    open O, '>', $descfn or die "$descfn: $!";
+    $msg =~ s/\n/\n /g;
+    $msg =~ s/^\s+$/ ./mg;
+    print O <<END or die $!;
+Description: Automatically generated patch ($clogp->{Version})
+ Last (up to) $ncommits git changes, FYI:
+ .
+ $msg
+Author: $author
+
+---
+
+END
+    close O or die $!;
+    {
+       local $ENV{'EDITOR'} = cmdoutput qw(realpath --), $0;
+       local $ENV{'VISUAL'} = $ENV{'EDITOR'};
+       local $ENV{$fakeeditorenv} = cmdoutput qw(realpath --), $descfn;
+       runcmd_ordryrun @dpkgsource, qw(--commit .), $patchname;
+    }
+
+    if (!open P, '>>', ".pc/applied-patches") {
+       $!==&ENOENT or die $!;
+    } else {
+       close P;
+    }
+
+    commit_quilty_patch();
+}
+
+sub quilt_fixup_editor () {
+    my $descfn = $ENV{$fakeeditorenv};
+    my $editing = $ARGV[$#ARGV];
+    open I1, '<', $descfn or die "$descfn: $!";
+    open I2, '<', $editing or die "$editing: $!";
+    unlink $editing or die "$editing: $!";
+    open O, '>', $editing or die "$editing: $!";
+    while (<I1>) { print O or die $!; } I1->error and die $!;
+    my $copying = 0;
+    while (<I2>) {
+       $copying ||= m/^\-\-\- /;
+       next unless $copying;
+       print O or die $!;
+    }
+    I2->error and die $!;
+    close O or die $1;
+    exit 0;
+}
+
 sub cmd_build {
     # we pass further options and args to git-buildpackage
     badusage "-p is not allowed with dgit build" if defined $package;
+    badusage "dgit build implies --clean=dpkg-source" if defined $package;
     my $clogp = parsechangelog();
-    $isuite = $clogp->{Distribution};
-    $package = $clogp->{Source};
+    $isuite = getfield $clogp, 'Distribution';
+    $package = getfield $clogp, 'Source';
+    $version = getfield $clogp, 'Version';
+    build_maybe_quilt_fixup();
     my @cmd =
        (qw(git-buildpackage -us -uc --git-no-sign-tags),
-        '--git-builder=dpkg-buildpackage -i\.git/ -I.git');
+        "--git-builder=@dpkgbuildpackage");
     unless (grep { m/^--git-debian-branch/ } @ARGV) {
        canonicalise_suite();
        push @cmd, "--git-debian-branch=".lbranch();
     }
+    push @cmd, changesopts();
     runcmd_ordryrun @cmd, @ARGV;
+    printdone "build successful\n";
 }
 
+sub build_source {
+    badusage "-p is not allowed with this action" if defined $package;
+    check_not_dirty();
+    my $clogp = parsechangelog();
+    $package = getfield $clogp, 'Source';
+    $isuite = getfield $clogp, 'Distribution';
+    $version = getfield $clogp, 'Version';
+    $sourcechanges = "${package}_${version}_source.changes";
+    $dscfn = dscfn($version);
+    build_maybe_quilt_fixup();
+    if ($cleanmode eq 'dpkg-source') {
+       runcmd_ordryrun (@dpkgbuildpackage, qw(-us -uc -S)), changesopts();
+    } else {
+       if ($cleanmode eq 'git') {
+           runcmd_ordryrun @git, qw(clean -xdf);
+       } elsif ($cleanmode eq 'none') {
+       } else {
+           die "$cleanmode ?";
+       }
+       my $pwd = cmdoutput qw(env - pwd);
+       my $leafdir = basename $pwd;
+       chdir ".." or die $!;
+       runcmd_ordryrun @dpkgsource, qw(-b --), $leafdir;
+       chdir $pwd or die $!;
+       runcmd_ordryrun qw(sh -ec),
+           'exec >$1; shift; exec "$@"','x',
+           "../$sourcechanges",
+           @dpkggenchanges, qw(-S), changesopts();
+    }
+}
+
+sub cmd_build_source {
+    badusage "build-source takes no additional arguments" if @ARGV;
+    build_source();
+    printdone "source built, results in $dscfn and $sourcechanges";
+}
+
+sub cmd_sbuild {
+    build_source();
+    chdir ".." or die $!;
+    my $pat = "${package}_${version}_*.changes";
+    if (!$dryrun) {
+       stat $dscfn or fail "$dscfn (in parent directory): $!";
+       stat $sourcechanges or fail "$sourcechanges (in parent directory): $!";
+       foreach my $cf (glob $pat) {
+           next if $cf eq $sourcechanges;
+           unlink $cf or fail "remove $cf: $!";
+       }
+    }
+    runcmd_ordryrun @sbuild, @ARGV, qw(-d), $isuite, $dscfn;
+    runcmd_ordryrun @mergechanges, glob $pat;
+    my $multichanges = "${package}_${version}_multi.changes";
+    if (!$dryrun) {
+       stat $multichanges or fail "$multichanges: $!";
+    }
+    printdone "build successful, results in $multichanges\n" or die $!;
+}    
+
 sub cmd_quilt_fixup {
-    badusage "incorrect arguments to dgit quilt-fixup";
+    badusage "incorrect arguments to dgit quilt-fixup" if @ARGV;
     my $clogp = parsechangelog();
-    commit_quilty_patch($clogp->{Version});
+    $version = getfield $clogp, 'Version';
+    build_maybe_quilt_fixup();
 }
 
 sub parseopts () {
@@ -900,12 +1153,21 @@ sub parseopts () {
                helponly();
            } elsif (m/^--new$/) {
                $new_package=1;
-           } elsif (m/^--(\w+)=(.*)/s && ($om = $opts_opt_map{$1})) {
+           } elsif (m/^--(\w+)=(.*)/s &&
+                    ($om = $opts_opt_map{$1}) &&
+                    length $om->[0]) {
                $om->[0] = $2;
-           } elsif (m/^--(\w+):(.*)/s && ($om = $opts_opt_map{$1})) {
+           } elsif (m/^--(\w+):(.*)/s &&
+                    ($om = $opts_opt_map{$1})) {
                push @$om, $2;
            } elsif (m/^--existing-package=(.*)/s) {
                $existing_package = $1;
+           } elsif (m/^--distro=(.*)/s) {
+               $idistro = $1;
+           } elsif (m/^--clean=(dpkg-source|git|none)$/s) {
+               $cleanmode = $1;
+           } elsif (m/^--clean=(.*)$/s) {
+               badusage "unknown cleaning mode \`$1'";
            } else {
                badusage "unknown long option \`$_'";
            }
@@ -920,12 +1182,23 @@ sub parseopts () {
                    $debug++;
                } elsif (s/^-N/-/) {
                    $new_package=1;
+               } elsif (m/^-[vm]/) {
+                   push @changesopts, $_;
+                   $_ = '';
                } elsif (s/^-c(.*=.*)//s) {
                    push @git, '-c', $1;
+               } elsif (s/^-d(.*)//s) {
+                   $idistro = $1;
                } elsif (s/^-C(.*)//s) {
                    $changesfile = $1;
                } elsif (s/^-k(.*)//s) {
                    $keyid=$1;
+               } elsif (s/^-wn//s) {
+                   $cleanmode = 'none';
+               } elsif (s/^-wg//s) {
+                   $cleanmode = 'git';
+               } elsif (s/^-wd//s) {
+                   $cleanmode = 'dpkg-source';
                } else {
                    badusage "unknown short option \`$_'";
                }
@@ -934,6 +1207,10 @@ sub parseopts () {
     }
 }
 
+if ($ENV{$fakeeditorenv}) {
+    quilt_fixup_editor();
+}
+
 parseopts();
 print STDERR "DRY RUN ONLY\n" if $dryrun;
 if (!@ARGV) {