chiark / gitweb /
archive-query config
[dgit.git] / dgit
diff --git a/dgit b/dgit
index edc3c2276294c9e86b36a50c11924dcc840aff6e..1e7be7286de63a62972f1f67b06de54d5d2f415a 100755 (executable)
--- a/dgit
+++ b/dgit
@@ -26,7 +26,6 @@ use Dpkg::Control::Hash;
 use File::Path;
 use POSIX;
 
-our $mirror = 'http://mirror.relativity.greenend.org.uk/mirror/debian-ftp/';
 our $suite = 'sid';
 our $package;
 
@@ -34,10 +33,7 @@ our $sign = 1;
 our $dryrun = 0;
 our $changesfile;
 
-our $aliothname = 'iwj@git.debian.org';
-our $aliothpath = '/git/dgit-repos';
-our $alioth_git = "git+ssh://$aliothname/$aliothpath";
-our $alioth_sshtestbodge = [$aliothname,$aliothpath];
+our %format_ok = map { $_=>1 } ("1.0","3.0 (native)","3.0 (quilt)");
 
 our (@git) = qw(git);
 our (@dget) = qw(dget);
@@ -55,11 +51,18 @@ our $remotename = 'dgit';
 our $ourdscfield = 'Vcs-Git-Master';
 our $branchprefix = 'dgit';
 
-sub uploadbranch () { return "$branchprefix/$suite"; }
-sub lref ($) { return "refs/heads/$_[0]"; }
-sub rref ($) { return "refs/remotes/$remotename/$_[0]"; }
+sub lbranch () { return "$branchprefix/$suite"; }
+my $lbranch_re = '^refs/heads/'.$branchprefix.'/([^/.]+)$';
+sub lref () { return "refs/heads/".lbranch(); }
+sub lrref () { return "refs/remotes/$remotename/$suite"; }
+sub rrref () { return "refs/$branchprefix/$suite"; }
 sub debiantag ($) { return "debian/$_[0]"; }
 
+sub fetchspec () {
+    local $suite = '*';
+    return  "+".rrref().":".lrref();
+}
+
 our $ua;
 
 sub url_get {
@@ -67,7 +70,7 @@ sub url_get {
        $ua = LWP::UserAgent->new();
        $ua->env_proxy;
     }
-    print "fetching @_...\n";
+    print "downloading @_...\n";
     my $r = $ua->get(@_) or die $!;
     die "$_[0]: ".$r->status_line."; failed.\n" unless $r->is_success;
     return $r->decoded_content();
@@ -98,6 +101,7 @@ sub runcmd {
 }
 
 sub cmdoutput_errok {
+    die Dumper(\@_)." ?" if grep { !defined } @_;
     printcmd(\*DEBUG,"|",@_);
     open P, "-|", @_ or die $!;
     my $d;
@@ -127,6 +131,61 @@ sub runcmd_ordryrun {
     }
 }
 
+our %defcfg = ('dgit.default.distro' => 'debian',
+              'dgit.default.username' => '',
+              'dgit.default.ssh' => 'ssh',
+              'dgit-distro.debian.git-host' => 'git.debian.org',
+              'dgit-distro.debian.git-proto' => 'git+ssh://',
+              'dgit-distro.debian.git-path' => '/git/dgit-repos',
+              'dgit-distro.debian.git-check' => 'ssh-cmd',
+              'dgit-distro.debian.git-create' => 'ssh-cmd',
+              'dgit-distro.debian.mirror' => 'http://ftp.debian.org/debian/');
+
+sub cfg {
+    foreach my $c (@_) {
+       my $v = cmdoutput_errok(@git, qw(config --), $c);
+       if ($?==0) {
+           chomp $v;
+           return $v;
+       } elsif ($?!=256) {
+           die "$c $?";
+       }
+       my $dv = $defcfg{$c};
+       return $dv if defined $dv;
+    }
+    return undef;
+}
+
+sub access_distro () {
+    return cfg("dgit-suite.$suite.distro",
+              "dgit.default.distro");
+}
+
+sub access_cfg ($) {
+    my ($key) = @_;
+    my $distro = access_distro();
+    my $value = cfg("dgit-distro.$distro.$key",
+                   "dgit.default.$key");
+    return $value;
+}
+
+sub access_gituserhost () {
+    my $user = access_cfg('git-user');
+    my $host = access_cfg('git-host');
+    return defined($user) && length($user) ? "$user\@$host" : $host;
+}
+
+sub access_giturl () {
+    my $url = access_cfg('git-url');
+    if (!defined $url) {
+       $url =
+           access_cfg('git-proto').
+           access_gituserhost().
+           access_cfg('git-path');
+    }
+    return "$url/$package.git";
+}             
+
 sub parsecontrol {
     my $c = Dpkg::Control::Hash->new();
     $c->load(@_) or return undef;
@@ -144,8 +203,14 @@ sub parsechangelog {
 
 our $rmad;
 
-sub askmadison () {
-    $rmad ||= cmdoutput qw(rmadison -asource),"-s$suite",$package;
+sub archive_query () {
+    my $query = access_cfg('archive-query');
+    $query ||= "madison:".access_distro();
+    $query =~ s/^(\w+):// or die "$query ?";
+    my $proto = $1;
+    my $url = $'; #';
+    die unless $proto eq 'madison';
+    $rmad ||= cmdoutput qw(rmadison -asource),"-s$suite","-u$url",$package;
     $rmad =~ m/^ \s*( [^ \t|]+ )\s* \|
                  \s*( [^ \t|]+ )\s* \|
                  \s*( [^ \t|]+ )\s* \|
@@ -158,18 +223,19 @@ sub askmadison () {
        $suite = $3;
     }
     $4 eq 'source' or die "$rmad ?";
-    return $vsn;
+    my $prefix = substr($package, 0, $package =~ m/^l/ ? 4 : 1);
+    my $subpath = "/pool/main/$prefix/$package/${package}_$vsn.dsc";
+    return ($vsn,$subpath);
 }
 
 sub canonicalise_suite () {
-    askmadison();
+    archive_query();
 }
 
 sub get_archive_dsc () {
-    my $vsn = askmadison();
+    my ($vsn,$subpath) = archive_query();
     # fixme madison does not show us the component
-    my $prefix = substr($package, 0, $package =~ m/^l/ ? 4 : 1);
-    $dscurl = "$mirror/pool/main/$prefix/$package/${package}_$vsn.dsc";
+    $dscurl = access_cfg('mirror').$subpath;
     $dscdata = url_get($dscurl);
     my $dscfh = new IO::File \$dscdata, '<' or die $!;
     print DEBUG Dumper($dscdata);
@@ -177,23 +243,37 @@ sub get_archive_dsc () {
     $dsc->parse($dscfh, 'dsc') or die "parsing of $dscurl failed\n";
     print DEBUG Dumper($dsc);
     my $fmt = $dsc->{Format};
-    die "unsupported format $fmt, sorry\n" unless $fmt eq '1.0';
+    die "unsupported format $fmt, sorry\n" unless $format_ok{$fmt};
 }
 
 sub check_for_git () {
     # returns 0 or 1
-    my $cmd= 
-       "ssh $alioth_sshtestbodge->[0] '".
-       " set -e; cd $alioth_sshtestbodge->[1];".
-       " if test -d $package.git; then echo 1; else echo 0; fi".
-       "'";
-    print DEBUG "$cmd\n";
-    open P, "$cmd |" or die $!;
-    $!=0; $?=0;
-    my $r = <P>; close P;
-    print DEBUG ">$r<\n";
-    die "$r $! $?" unless $r =~ m/^[01]$/;
-    return $r+0;
+    my $how = access_cfg('git-check');
+    if ($how eq 'ssh-cmd') {
+       my $r= cmdoutput
+           (access_cfg('ssh'),access_gituserhost(),
+            " set -e; cd ".access_cfg('git-path').";".
+            " if test -d $package.git; then echo 1; else echo 0; fi");
+       print DEBUG ">$r<\n";
+       die "$r $! $?" unless $r =~ m/^[01]$/;
+       return $r+0;
+    } else {
+       die "unknown git-check $how ?";
+    }
+}
+
+sub create_remote_git_repo () {
+    my $how = access_cfg('git-create');
+    if ($how eq 'ssh-cmd') {
+       runcmd_ordryrun
+           (access_cfg('ssh'),access_gituserhost(),
+            "set -e; cd ".access_cfg('git-path').";".
+            " mkdir -p $package.git;".
+            " cd $package.git;".
+            " if ! test -d objects; then git init --bare; fi");
+    } else {
+       die "unknown git-create $how ?";
+    }
 }
 
 our ($dsc_hash,$upload_hash);
@@ -233,7 +313,7 @@ sub dsc_files () {
 
 sub is_orig_file ($) {
     local ($_) = @_;
-    m/\.orig\.tar\.\w+$/;
+    m/\.orig(?:-\w+)?\.tar\.\w+$/;
 }
 
 sub generate_commit_from_dsc () {
@@ -273,8 +353,8 @@ $clogp->{Changes}
 # imported by dgit from the archive
 END
     close C or die $!;
-    print "synthesised git commit from .dsc $clogp->{Version}\n";
     my $commithash = cmdoutput @git, qw(hash-object -w -t commit ../commit.tmp);
+    print "synthesised git commit from .dsc $clogp->{Version}\n";
     chdir '../../../..' or die $!;
     cmdoutput @git, qw(update-ref -m),"dgit synthesise $clogp->{Version}",
               'DGIT_ARCHIVE', $commithash;
@@ -336,16 +416,33 @@ sub is_fast_fwd ($$) {
     return rev_parse($mb) eq rev_parse($ancestor);
 }
 
+sub git_fetch_us () {
+    die "cannot dry run with fetch" if $dryrun;
+    runcmd @git, qw(fetch),access_giturl(),fetchspec();
+}
+
 sub fetch_from_archive () {
-    # ensures that rref(uploadbranch()) is what is actually in the archive,
+    # ensures that lrref() is what is actually in the archive,
     #  one way or another
-    my $upload_ref = rref(uploadbranch());
+    get_archive_dsc();
+    $dsc_hash = $dsc->{$ourdscfield};
+    if (defined $dsc_hash) {
+       $dsc_hash =~ m/\w+/ or die "$dsc_hash $?";
+       $dsc_hash = $&;
+       print "last upload to archive specified git hash\n";
+    } else {
+       print "last upload to archive has NO git hash\n";
+    }
+
     $!=0; $upload_hash =
-       cmdoutput_errok @git, qw(show-ref --heads), $upload_ref;
-    die $! if $!;
-    die $? unless ($?==0 && chomp $upload_hash) 
-       or ($?==256 && !length $upload_hash);
-    $upload_hash ||= '';
+       cmdoutput_errok @git, qw(show-ref --heads), lrref();
+    if ($?==0) {
+       die unless chomp $upload_hash;
+    } elsif ($?==256) {
+       $upload_hash = '';
+    } else {
+       die $?;
+    }
     my $hash;
     if (defined $dsc_hash) {
        die "missing git history even though dsc has hash"
@@ -361,7 +458,7 @@ sub fetch_from_archive () {
            unless is_fast_fwd($dsc_hash, $upload_hash);
     }
     if ($upload_hash ne $hash) {
-       my @upd_cmd = (@git, qw(update-ref -m), 'dgit fetch', $upload_ref, $hash);
+       my @upd_cmd = (@git, qw(update-ref -m), 'dgit fetch', lrref(), $hash);
        if (!$dryrun) {
            cmdoutput @upd_cmd;
        } else {
@@ -370,48 +467,32 @@ sub fetch_from_archive () {
     }
 }
 
-sub clone () {
+sub clone ($) {
+    my ($dstdir) = @_;
     die "dry run makes no sense with clone" if $dryrun;
-    get_archive_dsc();
-    $dsc_hash = $dsc->{$ourdscfield};
-    if (defined $dsc_hash) {
-       $dsc_hash =~ m/\w+/ or die "$dsc_hash $?";
-       $dsc_hash = $&;
-       print "last upload to archive specified git hash\n";
-    } else {
-       print "last upload to archive has NO git hash\n";
-    }
-    my $dstdir = "$package";
-    my $branch = uploadbranch();
+    mkdir $dstdir or die "$dstdir $!";
+    chdir "$dstdir" or die "$dstdir $!";
+    runcmd @git, qw(init -q);
+    runcmd @git, qw(config), "remote.$remotename.fetch", fetchspec();
+    open H, "> .git/HEAD" or die $!;
+    print H "ref: ".lref()."\n" or die $!;
+    close H or die $!;
+    runcmd @git, qw(remote add), 'origin', access_giturl();
     if (check_for_git()) {
-       print "cloning existing git history\n";
-       runcmd @git, qw(clone --origin),$remotename, qw(-b), $branch, '--',
-           "$alioth_git/$package.git", $dstdir;
-       chdir "$dstdir" or die "$dstdir $!";
-       fetch_from_archive();
-       runcmd @git, qw(reset --hard), rref(uploadbranch());
+       print "fetching existing git history\n";
+       git_fetch_us();
+       runcmd @git, qw(fetch origin);
     } else {
        print "starting new git history\n";
-       mkdir $dstdir or die "$dstdir $!";
-       chdir "$dstdir" or die "$dstdir $!";
-       runcmd @git, qw(init -q);
-       open H, "> .git/HEAD" or die $!;
-       print H "ref: ".lref(uploadbranch())."\n" or die $!;
-       close H or die $!;
-       runcmd @git, qw(remote add), $remotename, "$alioth_git/$package.git";
-       runcmd "git config branch.$branch.remote $remotename";
-       runcmd "git config branch.$branch.merge ".lref(uploadbranch());
-       my $newhash = generate_commit_from_dsc();
-       runcmd @git, qw(reset --hard), $newhash;
     }
+    fetch_from_archive();
+    runcmd @git, qw(reset --hard), lrref();
     print "ready for work in $dstdir\n";
 }
 
 sub fetch () {
-    get_archive_dsc();
     if (check_for_git()) {
-       runcmd_ordryrun @git, qw(fetch -p),$remotename,
-           '+refs/heads/*:refs/remotes/origin/*';
+       git_fetch_us();
     }
     fetch_from_archive();
 }
@@ -419,7 +500,7 @@ sub fetch () {
 sub pull () {
     fetch();
     runcmd_ordryrun @git, qw(merge -m),"Merge from $suite [dgit]",
-        lref(uploadbranch());
+        lrref();
 }
 
 sub dopush () {
@@ -457,13 +538,9 @@ sub dopush () {
     }
     my $tag = debiantag($dsc->{Version});
     if (!check_for_git()) {
-       runcmd_ordryrun qw(ssh),$alioth_sshtestbodge->[0],
-       "set -e; cd $alioth_sshtestbodge->[1];".
-           " mkdir -p $package.git;".
-           " cd $package.git;".
-           " if ! test -d objects; then git init --bare; fi";
+       create_remote_git_repo();
     }
-    runcmd_ordryrun @git, qw(push),$remotename,"HEAD:".lref(uploadbranch());
+    runcmd_ordryrun @git, qw(push),access_giturl(),"HEAD:".rrref();
     if ($sign) {
        my @tag_cmd = (@git, qw(tag -s -m),
                       "Release $dsc->{Version} for $suite [dgit]");
@@ -475,25 +552,34 @@ sub dopush () {
        push @debsign_cmd, $changesfile;
        runcmd_ordryrun @debsign_cmd;
     }
-    runcmd_ordryrun @git, qw(push),$remotename,"refs/tags/$tag";
-    runcmd_ordryrun @dput, $changesfile;
+    runcmd_ordryrun @git, qw(push),access_giturl(),"refs/tags/$tag";
+    my $host = access_cfg('upload-host');
+    my @hostarg = defined($host) ? ($host,) : ();
+    runcmd_ordryrun @dput, @hostarg, $changesfile;
 }
 
 sub cmd_clone {
+    my $dstdir;
+    die if defined $package;
     if (@ARGV==1) {
        ($package) = @ARGV;
-    } elsif (@ARGV==2) {
+    } elsif (@ARGV==2 && $ARGV[1] =~ m#^\w#) {
        ($package,$suite) = @ARGV;
+    } elsif (@ARGV==2 && $ARGV[1] =~ m#^[./]#) {
+       ($package,$dstdir) = @ARGV;
+    } elsif (@ARGV==3) {
+       ($package,$suite,$dstdir) = @ARGV;
     } else {
        die;
     }
-    clone();
+    $dstdir ||= "$package";
+    clone($dstdir);
 }
 
 sub branchsuite () {
     my $branch = cmdoutput_errok @git, qw(symbolic-ref HEAD);
     chomp $branch;
-    if ($branch =~ m#^refs/heads/$branchprefix/([^/.]+)$#o) {
+    if ($branch =~ m#$lbranch_re#o) {
        return $1;
     } else {
        return undef;
@@ -501,11 +587,16 @@ sub branchsuite () {
 }
 
 sub fetchpullargs () {
-    my $clogp = parsechangelog();
-    $package = $clogp->{Source};
+    if (!defined $package) {
+       my $sourcep = parsecontrol('debian/control');
+       $package = $sourcep->{Source};
+    }
     if (@ARGV==0) {
        $suite = branchsuite();
-       $suite ||= $clogp->{Distribution};
+       if (!$suite) {
+           my $clogp = parsechangelog();
+           $suite = $clogp->{Distribution};
+       }
        canonicalise_suite();
        print "fetching from suite $suite\n";
     } elsif (@ARGV==1) {
@@ -527,6 +618,7 @@ sub cmd_pull {
 }
 
 sub cmd_push {
+    die if defined $package;
     my $clogp = parsechangelog();
     $package = $clogp->{Source};
     if (@ARGV==0) {
@@ -539,13 +631,14 @@ sub cmd_push {
 }
 
 sub cmd_build {
+    die if defined $package;
     my $clogp = parsechangelog();
     $suite = $clogp->{Distribution};
     $package = $clogp->{Source};
     canonicalise_suite();
     runcmd_ordryrun
        qw(git-buildpackage -us -uc --git-no-sign-tags),
-            "--git-debian-branch=".uploadbranch(),
+            "--git-debian-branch=".lbranch(),
             @ARGV;
 }
 
@@ -574,7 +667,7 @@ sub parseopts () {
                } elsif (s/^-D/-/) {
                    open DEBUG, ">&STDERR" or die $!;
                } elsif (s/^-c(.*=.*)//s) {
-                   push @git, $1;
+                   push @git, '-c', $1;
                } elsif (s/^-C(.*)//s) {
                    $changesfile = $1;
                } elsif (s/^-k(.*)//s) {