chiark / gitweb /
fixes for remote mode
[dgit.git] / dgit
diff --git a/dgit b/dgit
index b4de99a19cd90a1c51ab9d5990754ac1f1c7d215..594281daa42a088ab162137abf5e68f0a6492d1f 100755 (executable)
--- a/dgit
+++ b/dgit
@@ -24,11 +24,11 @@ use Data::Dumper;
 use LWP::UserAgent;
 use Dpkg::Control::Hash;
 use File::Path;
+use File::Temp qw(tempdir);
 use File::Basename;
 use Dpkg::Version;
 use POSIX;
 use IPC::Open2;
-use File::Temp;
 
 our $our_version = 'UNRELEASED'; ###substituted###
 
@@ -55,7 +55,7 @@ our (@dput) = qw(dput);
 our (@debsign) = qw(debsign);
 our (@gpg) = qw(gpg);
 our (@sbuild) = qw(sbuild -A);
-our (@ssh) = qw(ssh);
+our (@ssh) = 'ssh';
 our (@dgit) = qw(dgit);
 our (@dpkgbuildpackage) = qw(dpkg-buildpackage -i\.git/ -I.git);
 our (@dpkgsource) = qw(dpkg-source -i\.git/ -I.git);
@@ -76,6 +76,8 @@ our %opts_opt_map = ('dget' => \@dget,
                      'ch' => \@changesopts,
                      'mergechanges' => \@mergechanges);
 
+our %opts_opt_cmdonly = ('gpg' => 1);
+
 our $keyid;
 
 our $debug = 0;
@@ -131,17 +133,17 @@ sub fetchspec () {
 # remote push initiator/responder protocol:
 #  < dgit-remote-push-ready [optional extra info ignored by old initiators]
 #
-#  > file begin parsed-changelog
+#  > file parsed-changelog
 #  [indicates that output of dpkg-parsechangelog follows]
 #  > data-block NBYTES
 #  > [NBYTES bytes of data (no newline)]
 #  [maybe some more blocks]
 #  > data-end
 #
-#  > file begin dsc
+#  > file dsc
 #  [etc]
 #
-#  > file begin changes
+#  > file changes
 #  [etc]
 #
 #  > param head HEAD
@@ -170,12 +172,18 @@ sub badproto ($$) {
     fail "protocol violation; $m not expected";
 }
 
-sub protocol_expect ($&) {
-    my ($fh, $match) = @_;
+sub protocol_expect (&$) {
+    my ($match, $fh) = @_;
     local $_;
     $_ = <$fh>;
     defined && chomp or badproto $fh, "eof";
-    return if &$match;
+    if (wantarray) {
+       my @r = &$match;
+       return @r if @r;
+    } else {
+       my $r = &$match;
+       return $r if $r;
+    }
     badproto $fh, "\`$_'";
 }
 
@@ -207,8 +215,11 @@ sub protocol_receive_file ($$) {
     my ($fh, $ourfn) = @_;
     open PF, ">", $ourfn or die "$ourfn: $!";
     for (;;) {
-       protocol_expect \*STDIN, { m/^data-block (.*})$|data-end$/ };
-       length $1 or last;
+       my ($y,$l) = protocol_expect {
+           m/^data-block (.*})$|data-end$/;
+           length $1 ? (1,$1) : (0);
+       } \*STDIN;
+       last unless $y;
        my $d = protocol_read_bytes \*STDIN, $1;
        print PF $d or die $!;
     }
@@ -227,7 +238,7 @@ sub responder_send_command ($) {
 sub responder_send_file ($$) {
     my ($keyword, $ourfn) = @_;
     return unless $we_are_responder;
-    responder_send_command "file-begin $keyword";
+    responder_send_command "file $keyword";
     protocol_send_file \*STDOUT, $ourfn;
 }
 
@@ -238,14 +249,14 @@ sub responder_receive_files ($@) {
     foreach my $fn (@ourfns) {
        protocol_receive_file \*STDIN, $fn;
     }
-    protocol_expect \*STDIN, { m/^files-end$/ };
+    protocol_expect { m/^files-end$/ } \*STDIN;
 }
 
 #---------- remote protocol support, initiator ----------
 
 sub initiator_expect (&) {
     my ($match) = @_;
-    protocol_expect \*RO, &$match;
+    protocol_expect { &$match } \*RO;
 }
 
 #---------- end remote code ----------
@@ -288,13 +299,13 @@ sub shellquote {
            push @out, $_;
        }
     }
-    return join '', @out;
+    return join ' ', @out;
 }
 
 sub printcmd {
     my $fh = shift @_;
     my $intro = shift @_;
-    print $fh $intro or die $!;
+    print $fh $intro," " or die $!;
     print $fh shellquote @_ or die $!;
     print $fh "\n" or die $!;
 }
@@ -370,6 +381,7 @@ main usages:
   dgit [dgit-opts] fetch|pull [dgit-opts] [suite]
   dgit [dgit-opts] build [git-buildpackage-opts|dpkg-buildpackage-opts]
   dgit [dgit-opts] push [dgit-opts] [suite]
+  dgit [dgit-opts] rpush build-host:build-dir ...
 important dgit options:
   -k<keyid>           sign tag and package with <keyid> instead of default
   --dry-run -n        do not change anything, but go through the motions
@@ -445,6 +457,24 @@ sub access_cfg (@) {
     return $value;
 }
 
+sub string_to_ssh ($) {
+    my ($spec) = @_;
+    if ($spec =~ m/\s/) {
+       return qw(sh -ec), 'exec '.$spec.' "$@"', 'x';
+    } else {
+       return ($spec);
+    }
+}
+
+sub access_cfg_ssh () {
+    my $gitssh = access_cfg('ssh', 'RETURN-UNDEF');
+    if (!defined $gitssh) {
+       return @ssh;
+    } else {
+       return string_to_ssh $gitssh;
+    }
+}
+
 sub access_someuserhost ($) {
     my ($some) = @_;
     my $user = access_cfg("$some-user",'username');
@@ -536,7 +566,7 @@ sub archive_query_sshdakls ($$) {
     my ($proto,$data) = @_;
     $data =~ s/:.*// or badcfg "invalid sshdakls method string \`$data'";
     my $dakls = cmdoutput
-       access_cfg('ssh'), $data, qw(dak ls -asource),"-s$isuite",$package;
+       access_cfg_ssh, $data, qw(dak ls -asource),"-s$isuite",$package;
     return madison_parse($dakls);
 }
 
@@ -544,7 +574,7 @@ sub canonicalise_suite_sshdakls ($$) {
     my ($proto,$data) = @_;
     $data =~ m/:/ or badcfg "invalid sshdakls method string \`$data'";
     my @cmd =
-       (access_cfg('ssh'), $`,
+       (access_cfg_ssh, $`,
         "set -e; cd $';".
         " if test -h $isuite; then readlink $isuite; exit 0; fi;".
         " if test -d $isuite; then echo $isuite; exit 0; fi;".
@@ -625,7 +655,7 @@ sub check_for_git () {
     my $how = access_cfg('git-check');
     if ($how eq 'ssh-cmd') {
        my @cmd =
-           (access_cfg('ssh'),access_gituserhost(),
+           (access_cfg_ssh, access_gituserhost(),
             " set -e; cd ".access_cfg('git-path').";".
             " if test -d $package.git; then echo 1; else echo 0; fi");
        my $r= cmdoutput @cmd;
@@ -640,7 +670,7 @@ sub create_remote_git_repo () {
     my $how = access_cfg('git-create');
     if ($how eq 'ssh-cmd') {
        runcmd_ordryrun
-           (access_cfg('ssh'),access_gituserhost(),
+           (access_cfg_ssh, access_gituserhost(),
             "set -e; cd ".access_cfg('git-path').";".
             " cp -a _template $package.git");
     } else {
@@ -1069,7 +1099,7 @@ sub push_parse_changelog ($) {
     return ($clogp, $cversion, $tag, $dscfn);
 }
 
-sub push_parse_dsc ($$) {
+sub push_parse_dsc ($$$) {
     my ($dscfn,$dscfnwhat, $cversion) = @_;
     $dsc = parsecontrol($dscfn,$dscfnwhat);
     my $dversion = getfield $dsc, 'Version';
@@ -1095,6 +1125,8 @@ sub push_mktag ($$$$$$$$) {
                " does not match changelog \`$clogp->{$field}'";
     }
 
+    my $cversion = getfield $clogp, 'Version';
+
     # We make the git tag by hand because (a) that makes it easier
     # to control the "tagger" (b) we can do remote signing
     my $authline = clogp_authline $clogp;
@@ -1134,6 +1166,7 @@ sub sign_changes ($) {
     if ($sign) {
        my @debsign_cmd = @debsign;
        push @debsign_cmd, "-k$keyid" if defined $keyid;
+       push @debsign_cmd, "-p$gpg[0]" if $gpg[0] ne 'gpg';
        push @debsign_cmd, $changesfile;
        runcmd_ordryrun @debsign_cmd;
     }
@@ -1204,7 +1237,7 @@ sub dopush () {
        }
     }
 
-    responder_send_file('changes',$changesfn);
+    responder_send_file('changes',$changesfile);
 
     my $tfn = sub { ".git/dgit/tag$_[0]"; };
     my ($tagobjfn) =
@@ -1238,7 +1271,7 @@ sub dopush () {
        my $dryrunsuffix = $dryrun ? ".tmp" : "";
        responder_receive_files('signed-dsc-changes',
                                "../$dscfn$dryrunsuffix",
-                               "$changesfile$dryrupnsuffix");
+                               "$changesfile$dryrunsuffix");
     } else {
        sign_changes $changesfile;
     }
@@ -1363,7 +1396,7 @@ sub cmd_remote_push_responder {
     die unless @rargs;
     my ($dir) = @rargs;
     chdir $dir or die "$dir: $!";
-    $we_are_remote = 1;
+    $we_are_responder = 1;
     $|=1;
     responder_send_command("dgit-remote-push-ready");
     &cmd_push;
@@ -1396,20 +1429,23 @@ sub cmd_rpush {
     $dir =~ s{^-}{./-};
     my @rargs = ($dir);
     my @rdgit;
-    push @rdgit, @dgit
+    push @rdgit, @dgit;
     push @rdgit, @ropts;
-    push @rdgit, (scalar @rargs), @rargs;
+    push @rdgit, qw(remote-push-responder), (scalar @rargs), @rargs;
     push @rdgit, @ARGV;
     my @cmd = (@ssh, $host, shellquote @rdgit);
-    my $pid = open2(\*RO, \*RI, @cmd);
+    printcmd \*DEBUG,"+",@cmd;
     eval {
        $i_tmp = tempdir();
+       my $pid = open2(\*RO, \*RI, @cmd);
        chdir $i_tmp or die "$i_tmp $!";
        initiator_expect { m/^dgit-remote-push-ready/ };
        for (;;) {
-           initiator_expect { m/^(\S+)(?: (.*))?$/ };
-           my ($icmd,$iargs) = ($1, $2);
-           i_method "i_resp_", $icmd, $iargs;
+           my ($icmd,$iargs) = initiator_expect {
+               m/^(\S+)(?: (.*))?$/;
+               ($1,$2);
+           };
+           i_method "i_resp", $icmd, $iargs;
        }
     };
     i_cleanup();
@@ -1429,7 +1465,7 @@ sub i_resp_complete {
 
 sub i_resp_file ($) {
     my ($keyword) = @_;
-    my $localname = i_method "i_localname_", $keyword;
+    my $localname = i_method "i_localname", $keyword;
     my $localpath = "$i_tmp/$localname";
     stat $localpath and badproto \*RO, "file $keyword ($localpath) twice";
     protocol_receive_file \*RO, $localpath;
@@ -1446,7 +1482,8 @@ our %i_wanted;
 
 sub i_resp_want ($) {
     my ($keyword) = @_;
-    my @localpaths = i_method "i_want_", $keyword;
+    die "$keyword ?" if $i_wanted{$keyword}++;
+    my @localpaths = i_method "i_want", $keyword;
     foreach my $localpath (@localpaths) {
        protocol_send_file \*RI, $localpath;
     }
@@ -1461,7 +1498,29 @@ sub i_localname_dsc {
     ($i_clogp, $i_version, $i_tag, $i_dscfn) =
        push_parse_changelog 'remote-changelog.822';
     die if $i_dscfn =~ m#/|^\W#;
-    return $dscfn;
+    return $i_dscfn;
+}
+
+sub i_want_signed_tag {
+    defined $i_param{'head'} && defined $i_dscfn
+       or badproto \*RO, "sequencing error";
+    my $head = $i_param{'head'};
+    die if $head =~ m/[^0-9a-f]/ || $head !~ m/^../;
+
+    push_parse_dsc $i_dscfn, 'remote dsc', 
+
+    push_mktag $head, $i_clogp, $i_tag,
+        $dsc, $i_dscfn,
+        'remote.changes', 'remote changes',
+        'tag.tag';
+
+    return 'tag.tag';
+}
+
+sub i_want_signed_dsc_changes {
+    rename "$i_dscfn.tmp","$i_dscfn" or die "$i_dscfn $!";
+    sign_changes 'remote.changes';
+    return ($i_dscfn, 'remote.changes');
 }
 
 #---------- building etc. ----------
@@ -1643,6 +1702,13 @@ sub cmd_version {
 
 sub parseopts () {
     my $om;
+
+    if (defined $ENV{'DGIT_SSH'}) {
+       @ssh = string_to_ssh $ENV{'DGIT_SSH'};
+    } elsif (defined $ENV{'GIT_SSH'}) {
+       @ssh = ($ENV{'GIT_SSH'});
+    }
+
     while (@ARGV) {
        last unless $ARGV[0] =~ m/^-/;
        $_ = shift @ARGV;
@@ -1667,6 +1733,7 @@ sub parseopts () {
                push @ropts, $_;
                $om->[0] = $2;
            } elsif (m/^--(\w+):(.*)/s &&
+                    !$opts_opt_cmdonly{$1} &&
                     ($om = $opts_opt_map{$1})) {
                push @ropts, $_;
                push @$om, $2;
@@ -1698,35 +1765,35 @@ sub parseopts () {
                } elsif (s/^-h/-/) {
                    cmd_help();
                } elsif (s/^-D/-/) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    open DEBUG, ">&STDERR" or die $!;
                    $debug++;
                } elsif (s/^-N/-/) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $new_package=1;
                } elsif (m/^-[vm]/) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    push @changesopts, $_;
                    $_ = '';
                } elsif (s/^-c(.*=.*)//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    push @git, '-c', $1;
                } elsif (s/^-d(.*)//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $idistro = $1;
                } elsif (s/^-C(.*)//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $changesfile = $1;
                } elsif (s/^-k(.*)//s) {
                    $keyid=$1;
                } elsif (s/^-wn//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $cleanmode = 'none';
                } elsif (s/^-wg//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $cleanmode = 'git';
                } elsif (s/^-wd//s) {
-                   push @ropts, $_;
+                   push @ropts, $&;
                    $cleanmode = 'dpkg-source';
                } else {
                    badusage "unknown short option \`$_'";