chiark / gitweb /
wip changes for remote push - implementation of remote push responder, not tested
[dgit.git] / dgit
diff --git a/dgit b/dgit
index 3162c607a5383eb8b7895585e5470ab5ccc665d4..c24a95034332ff32ec285f82418ace95aa8d4b93 100755 (executable)
--- a/dgit
+++ b/dgit
@@ -42,6 +42,7 @@ our $ignoredirty = 0;
 our $noquilt = 0;
 our $existing_package = 'dpkg';
 our $cleanmode = 'dpkg-source';
+our $we_are_responder;
 
 our %format_ok = map { $_=>1 } ("1.0","3.0 (native)","3.0 (quilt)");
 
@@ -50,8 +51,6 @@ our (@dget) = qw(dget);
 our (@dput) = qw(dput);
 our (@debsign) = qw(debsign);
 our (@gpg) = qw(gpg);
-fixme should be in manual
-fixme should pass this to debsign
 our (@sbuild) = qw(sbuild -A);
 our (@dpkgbuildpackage) = qw(dpkg-buildpackage -i\.git/ -I.git);
 our (@dpkgsource) = qw(dpkg-source -i\.git/ -I.git);
@@ -122,13 +121,60 @@ sub fetchspec () {
 
 our $ua;
 
+sub responder_send_command ($) {
+    my ($command) = @_;
+    return unless $we_are_responder;
+    # called even without $we_are_responder
+    print DEBUG "<< $command\n";
+    print $command, "\n" or die $!;
+}    
+
+sub progress {
+    if ($we_are_responder) {
+       my $m = join '', @_;
+       responder_send_command "progress ".length($m) or die $!;
+       print $m or die $!;
+    } else {
+       print @_, "\n";
+    }
+}
+
+sub protocol_send_file ($) {
+    my ($fh, $cmdprefix, $ourfn) = @_;
+    open PF, "<", $ourfn or die "$ourfn: $!";
+    print $fh "$cmdprefix begin\n" or die $!;
+    for (;;) {
+       my $d;
+       my $got = read PF, $d, 65536;
+       die "$ourfn: $!" unless defined $got;
+       last if $got;
+       print $fh "$keyword block ".length($d)."\n" or die $!;
+       print $d or die $!;
+    }
+    print $fh "$keyword end\n" or die $!;
+    close PF;
+}
+
+sub responder_send_file ($$) {
+    my ($keyword, $ourfn) = @_;
+    return unless $we_are_responder;
+    print DEBUG "responder sending $keyword $ourfn\n";
+    protocol_send_file(\*STDOUT, "upload $keyword");
+}
+
+sub responder_receive_files ($@) {
+    my ($keyword, @ourfns) = @_;
+    die unless $we_are_responder;
+    
+}
+
 sub url_get {
     if (!$ua) {
        $ua = LWP::UserAgent->new();
        $ua->env_proxy;
     }
     my $what = $_[$#_];
-    print "downloading $what...\n";
+    progress "downloading $what...";
     my $r = $ua->get(@_) or die $!;
     return undef if $r->code == 404;
     $r->is_success or fail "failed to fetch $what: ".$r->status_line;
@@ -174,9 +220,9 @@ sub runcmd {
 
 sub printdone {
     if (!$dryrun) {
-       print "dgit ok: @_\n";
+       progress "dgit ok: @_";
     } else {
-       print "would be ok: @_ (but dry run only)\n";
+       progress "would be ok: @_ (but dry run only)";
     }
 }
 
@@ -202,7 +248,7 @@ sub cmdoutput {
 }
 
 sub dryrun_report {
-    printcmd(\*STDOUT,"#",@_);
+    printcmd(\*STDERR,"#",@_);
 }
 
 sub runcmd_ordryrun {
@@ -443,7 +489,7 @@ sub canonicalise_suite () {
     $csuite = archive_query('canonicalise_suite');
     if ($isuite ne $csuite) {
        # madison canonicalises for us
-       print "canonical suite name for $isuite is $csuite\n";
+       progress "canonical suite name for $isuite is $csuite";
     }
 }
 
@@ -613,7 +659,7 @@ END
     close C or die $!;
     my $outputhash = make_commit qw(../commit.tmp);
     my $cversion = getfield $clogp, 'Version';
-    print "synthesised git commit from .dsc $cversion\n";
+    progress "synthesised git commit from .dsc $cversion";
     if ($lastpush_hash) {
        runcmd @git, qw(reset --hard), $lastpush_hash;
        runcmd qw(sh -ec), 'dpkg-parsechangelog >>../changelogold.tmp';
@@ -668,7 +714,7 @@ sub ensure_we_have_orig () {
                fail "existing file $f has hash $got but .dsc".
                    " demands hash $fi->{Hash}".
                    " (perhaps you should delete this file?)";
-           print "using existing $f\n";
+           progress "using existing $f";
            next;
        } else {
            die "$f $!" unless $!==&ENOENT;
@@ -715,12 +761,12 @@ sub fetch_from_archive () {
        if (defined $dsc_hash) {
            $dsc_hash =~ m/\w+/ or fail "invalid hash in .dsc \`$dsc_hash'";
            $dsc_hash = $&;
-           print "last upload to archive specified git hash\n";
+           progress "last upload to archive specified git hash";
        } else {
-           print "last upload to archive has NO git hash\n";
+           progress "last upload to archive has NO git hash";
        }
     } else {
-       print "no version available from the archive\n";
+       progress "no version available from the archive";
     }
 
     my $lrref_fn = ".git/".lrref();
@@ -828,11 +874,11 @@ sub clone ($) {
     close H or die $!;
     runcmd @git, qw(remote add), 'origin', access_giturl();
     if (check_for_git()) {
-       print "fetching existing git history\n";
+       progress "fetching existing git history";
        git_fetch_us();
        runcmd_ordryrun @git, qw(fetch origin);
     } else {
-       print "starting new git history\n";
+       progress "starting new git history";
     }
     fetch_from_archive() or no_such_package;
     runcmd @git, qw(reset --hard), lrref();
@@ -882,50 +928,130 @@ sub commit_quilty_patch () {
     }
     fail "unexpected output from git status (is tree clean?)" if $bad;
     if (!%adds) {
-       print "nothing quilty to commit, ok.\n";
+       progress "nothing quilty to commit, ok.";
        return;
     }
     runcmd_ordryrun @git, qw(add), sort keys %adds;
     my $m = "Commit Debian 3.0 (quilt) metadata";
-    print "$m\n";
+    progress "$m";
     runcmd_ordryrun @git, qw(commit -m), $m;
 }
 
 sub madformat ($) {
     my ($format) = @_;
     return 0 unless $format eq '3.0 (quilt)';
-    print "Format \`$format', urgh\n";
+    progress "Format \`$format', urgh";
     if ($noquilt) {
-       print "Not doing any fixup of \`$format' due to --no-quilt-fixup";
+       progress "Not doing any fixup of \`$format' due to --no-quilt-fixup";
        return 0;
     }
     return 1;
 }
 
-sub dopush () {
-    print DEBUG "actually entering push\n";
-    my $clogp = parsechangelog();
+sub push_parse_changelog ($) {
+    my ($clogpfn) = @_;
+
+    my $clogp = Dpkg::Control::Hash->new();
+    $clogp->load($clogpfn);
+
     $package = getfield $clogp, 'Source';
     my $cversion = getfield $clogp, 'Version';
+    my $tag = debiantag($cversion);
+    runcmd @git, qw(check-ref-format), $tag;
+
     my $dscfn = dscfn($cversion);
-    stat "../$dscfn" or
-       fail "looked for .dsc $dscfn, but $!;".
-           " maybe you forgot to build";
-    $dsc = parsecontrol("../$dscfn","$dscfn");
-    my $dscpackage = getfield $dsc, 'Source';
-    my $format = getfield $dsc, 'Format';
+
+    return ($clogp, $cversion, $tag, $dscfn);
+}
+
+sub push_parse_dsc ($$) {
+    my ($dscfn,$dscfnwhat, $cversion) = @_;
+    $dsc = parsecontrol($dscfn,$dscfnwhat);
     my $dversion = getfield $dsc, 'Version';
+    my $dscpackage = getfield $dsc, 'Source';
     ($dscpackage eq $package && $dversion eq $cversion) or
        fail "$dsc is for $dscpackage $dversion".
            " but debian/changelog is for $package $cversion";
+}
+
+sub push_mktag ($$$$$$$$) {
+    my ($head,$clogp,$tag,
+       $dsc,$dscfn,
+       $changesfile,$changesfilewhat,
+       $tfn) = @_;
+
+    $dsc->{$ourdscfield[0]} = $head;
+    $dsc->save("$dscfn.tmp") or die $!;
+
+    my $changes = parsecontrol($changesfile,$changesfilewhat);
+    foreach my $field (qw(Source Distribution Version)) {
+       $changes->{$field} eq $clogp->{$field} or
+           fail "changes field $field \`$changes->{$field}'".
+               " does not match changelog \`$clogp->{$field}'";
+    }
+
+    # We make the git tag by hand because (a) that makes it easier
+    # to control the "tagger" (b) we can do remote signing
+    my $authline = clogp_authline $clogp;
+    open TO, '>', $tfn->('.tmp') or die $!;
+    print TO <<END or die $!;
+object $head
+type commit
+tag $tag
+tagger $authline
+
+$package release $cversion for $csuite [dgit]
+END
+    close TO or die $!;
+
+    my $tagobjfn = $tfn->('.tmp');
+    if ($sign) {
+       if (!defined $keyid) {
+           $keyid = access_cfg('keyid','RETURN-UNDEF');
+       }
+       unlink $tfn->('.tmp.asc') or $!==&ENOENT or die $!;
+       my @sign_cmd = (@gpg, qw(--detach-sign --armor));
+       push @sign_cmd, qw(-u),$keyid if defined $keyid;
+       push @sign_cmd, $tfn->('.tmp');
+       runcmd_ordryrun @sign_cmd;
+       if (!$dryrun) {
+           $tagobjfn = $tfn->('.signed.tmp');
+           runcmd shell_cmd "exec >$tagobjfn", qw(cat --),
+               $tfn->('.tmp'), $tfn->('.tmp.asc');
+       }
+    }
+
+    return ($tagobjfn);
+}
+
+sub dopush () {
+    print DEBUG "actually entering push\n";
+    prep_ud();
+
+    my $clogpfn = ".git/dgit/changelog.822.tmp";
+    runcmd shell_cmd "exec >$clogpfn", qw(dpkg-parsechangelog);
+
+    responder_send_file('parsed-changelog', $clogpfn);
+
+    my ($clogp, $cversion, $tag, $dscfn) =
+       push_parse_changelog("$clogpfn");
+
+    stat "../$dscfn" or
+       fail "looked for .dsc $dscfn, but $!;".
+           " maybe you forgot to build";
+
+    responder_send_file('dsc', "../$dscfn");
+
+    push_parse_dsc("../$dscfn", $dscfn, $cversion);
+
+    my $format = getfield $dsc, 'Format';
     print DEBUG "format $format\n";
     if (madformat($format)) {
        commit_quilty_patch();
     }
     check_not_dirty();
-    prep_ud();
     chdir $ud or die $!;
-    print "checking that $dscfn corresponds to HEAD\n";
+    progress "checking that $dscfn corresponds to HEAD";
     runcmd qw(dpkg-source -x --), "../../../../$dscfn";
     my ($tree,$dir) = mktree_in_ud_from_only_subdir();
     chdir '../../../..' or die $!;
@@ -947,8 +1073,6 @@ sub dopush () {
 #        map { lref($_).":".rref($_) }
 #        (uploadbranch());
     my $head = rev_parse('HEAD');
-    $dsc->{$ourdscfield[0]} = $head;
-    $dsc->save("../$dscfn.tmp") or die $!;
     if (!$changesfile) {
        my $multi = "../${package}_".(stripepoch $cversion)."_multi.changes";
        if (stat "$multi") {
@@ -964,47 +1088,19 @@ sub dopush () {
            ($changesfile) = @cs;
        }
     }
-    my $changes = parsecontrol($changesfile,$changesfile);
-    foreach my $field (qw(Source Distribution Version)) {
-       $changes->{$field} eq $clogp->{$field} or
-           fail "changes field $field \`$changes->{$field}'".
-               " does not match changelog \`$clogp->{$field}'";
-    }
-    my $tag = debiantag($dversion);
-    runcmd @git, qw(check-ref-format), $tag;
 
-    # We make the git tag by hand because (a) that makes it easier
-    # to control the "tagger" (b) we can do remote signing
-    my $authline = clogp_authline $clogp;
-    my $tfn = sub { ".git/dgit/tag$_[0]"; };
-    open TO, '>', $tfn->('.tmp') or die $!;
-    print TO <<END or die $!;
-object $head
-type commit
-tag $tag
-tagger $authline
+    responder_send_file('changes',$changesfn);
 
-$package release $dversion for $csuite [dgit]
-END
-    close TO or die $!;
-
-    my $tagobjfn = $tfn->('.tmp');
-    if ($sign) {
-       if (!defined $keyid) {
-           $keyid = access_cfg('keyid','RETURN-UNDEF');
-       }
-       unlink $tfn->('.tmp.asc') or $!==&ENOENT or die $!;
-       my @sign_cmd = (@gpg, qw(--detach-sign --armor));
-       push @sign_cmd, qw(-u),$keyid if defined $keyid;
-       push @sign_cmd, $tfn->('.tmp');
-       runcmd_ordryrun @sign_cmd;
-       if (!$dryrun) {
-           $tagobjfn = $tfn->('.signed.tmp')
-           runcmd shell_cmd "> $tagobjfn", qw(cat --),
-               $tfn->('.tmp'), $tfn->('.tmp.asc');
-       }
-    }
-    my $tag_obj_hash = runcmd @git, qw(hash-object -w -t tag), $tagobjfn;
+    my $tfn = sub { ".git/dgit/tag$_[0]"; };
+    my ($tagobjfn) =
+       $we_are_responder
+       ? responder_receive_files('signed-tag', $tfn->('.signed.tmp'))
+       : push_mktag($head,$clogp,$tag,
+                    $dsc,"../$dscfn",
+                    $changesfile,$changesfile,
+                                $tfn);
+
+    my $tag_obj_hash = cmdoutput @git, qw(hash-object -w -t tag), $tagobjfn;
     runcmd_ordryrun @git, qw(verify-tag), $tag_obj_hash;
     runcmd_ordryrun @git, qw(update-ref), "refs/tags/$tag", $tag_obj_hash;
     runcmd_ordryrun @git, qw(tag -v --), $tag;
@@ -1014,33 +1110,35 @@ END
     }
     runcmd_ordryrun @git, qw(push),access_giturl(),"HEAD:".rrref();
     runcmd_ordryrun @git, qw(update-ref -m), 'dgit push', lrref(), 'HEAD';
-    if (!$dryrun) {
-       rename "../$dscfn.tmp","../$dscfn" or die "$dscfn $!";
-    } else {
-       print "[new .dsc left in $dscfn.tmp]\n";
+
+    if (!$we_are_responder) {
+       if (!$dryrun) {
+           rename "../$dscfn.tmp","../$dscfn" or die "$dscfn $!";
+       } else {
+           progress "[new .dsc left in $dscfn.tmp]";
+       }
     }
 
     if ($sign) {
-       if (!$as_remote) {
-           my @tag_cmd = (@git, qw(tag -a -m),
-                          );
-           push @tag_cmd, $tag;
-           runcmd_ordryrun @tag_cmd;
+       if ($we_are_responder) {
+           my $dryrunsuffix = $dryrun ? ".tmp" : "";
+           responder_receive_files('signed-changes-dsc',
+                                   "$changesfile$dryrunsuffix",
+                                   "../$dscfn$dryrunsuffix");
        } else {
+           my @debsign_cmd = @debsign;
+           push @debsign_cmd, "-k$keyid" if defined $keyid;
+           push @debsign_cmd, $changesfile;
+           runcmd_ordryrun @debsign_cmd;
        }
-
-       push @tag_cmd, qw(-u),$keyid if defined $keyid;
-
-       my @debsign_cmd = @debsign;
-       push @debsign_cmd, "-k$keyid" if defined $keyid;
-       push @debsign_cmd, $changesfile;
-       runcmd_ordryrun @debsign_cmd;
     }
     runcmd_ordryrun @git, qw(push),access_giturl(),"refs/tags/$tag";
     my $host = access_cfg('upload-host','RETURN-UNDEF');
     my @hostarg = defined($host) ? ($host,) : ();
     runcmd_ordryrun @dput, @hostarg, $changesfile;
-    printdone "pushed and uploaded $dversion";
+    printdone "pushed and uploaded $cversion";
+
+    responder_send_command("complete");
 }
 
 sub cmd_clone {
@@ -1084,7 +1182,7 @@ sub fetchpullargs () {
            $isuite = getfield $clogp, 'Distribution';
        }
        canonicalise_suite();
-       print "fetching from suite $csuite\n";
+       progress "fetching from suite $csuite";
     } elsif (@ARGV==1) {
        ($isuite) = @ARGV;
        canonicalise_suite();
@@ -1111,15 +1209,24 @@ sub cmd_push {
     check_not_dirty();
     my $clogp = parsechangelog();
     $package = getfield $clogp, 'Source';
+    my $specsuite;
     if (@ARGV==0) {
-       $isuite = getfield $clogp, 'Distribution';
-       if ($new_package) {
-           local ($package) = $existing_package; # this is a hack
-           canonicalise_suite();
-       }
+    } elsif (@ARGV==1) {
+       ($specsuite) = (@ARGV);
     } else {
        badusage "incorrect arguments to dgit push";
     }
+    $isuite = getfield $clogp, 'Distribution';
+    if ($new_package) {
+       local ($package) = $existing_package; # this is a hack
+       canonicalise_suite();
+    }
+    if (defined $specsuite && $specsuite ne $isuite) {
+       canonicalise_suite();
+       $csuite eq $specsuite or
+           fail "dgit push: changelog specifies $isuite ($csuite)".
+               " but command line specifies $specsuite";
+    }
     if (check_for_git()) {
        git_fetch_us();
     }
@@ -1136,6 +1243,18 @@ sub cmd_push {
     dopush();
 }
 
+sub cmd_remote_push_responder {
+    my ($nrargs) = shift @ARGV;
+    my (@rargs) = @ARGV[0..$nrargs-1];
+    @ARGV = @ARGV[$nrargs..$#ARGV];
+    die unless @rargs;
+    my ($dir) = @rargs;
+    chdir $dir or die "$dir: $!";
+    $we_are_remote = 1;
+    responder_send_command("dgit-remote-push-ready");
+    &cmd_push;
+}
+
 our $version;
 our $sourcechanges;
 our $dscfn;