chiark / gitweb /
git-debrebase: test suite: introduce t-dch-commit
[dgit.git] / infra / dgit-repos-server
index cfa0f314fffc312b08aa9b47395215d1d7cc0671..a8b9400b5a4729a2c92e0c86d318385dd1512c6c 100755 (executable)
@@ -1,6 +1,23 @@
 #!/usr/bin/perl -w
 # dgit-repos-server
 #
+# git protocol proxy to check dgit pushes etc.
+#
+# Copyright (C) 2014-2016  Ian Jackson
+#
+#    This program is free software; you can redistribute it and/or modify
+#    it under the terms of the GNU General Public License as published by
+#    the Free Software Foundation; either version 3 of the License, or
+#    (at your option) any later version.
+#
+#    This program is distributed in the hope that it will be useful,
+#    but WITHOUT ANY WARRANTY; without even the implied warranty of
+#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+#    GNU General Public License for more details.
+#
+#    You should have received a copy of the GNU General Public License
+#    along with this program.  If not, see <http://www.gnu.org/licenses/>.
+
 # usages:
 #   dgit-repos-server DISTRO DISTRO-DIR AUTH-SPEC [<settings>] --ssh
 #   dgit-repos-server DISTRO DISTRO-DIR AUTH-SPEC [<settings>] --cron
@@ -34,6 +51,7 @@
 
 use strict;
 
+use Debian::Dgit::Infra; # must precede Debian::Dgit; - can change @INC!
 use Debian::Dgit qw(:DEFAULT :policyflags);
 setup_sigwarn();
 
@@ -69,7 +87,7 @@ setup_sigwarn();
 #   as a result of this the stunt pre-receive hook runs; it does this:
 #    + understand what refs we are allegedly updating and
 #      check some correspondences:
-#        * we are updating only refs/tags/DISTRO/* and refs/dgit/*
+#        * we are updating only refs/tags/[archive/]DISTRO/* and refs/dgit/*
 #        * and only one of each
 #        * and the tag does not already exist
 #      and
@@ -86,7 +104,7 @@ setup_sigwarn();
 #        * the signed tag must refer to a commit
 #        * the signed tag commit must be the refs/dgit value
 #        * the name in the signed tag must correspond to its ref name
-#        * the tag name must be debian/<version> (massaged as needed)
+#        * the tag name must be [archive/]debian/<version> (massaged as needed)
 #        * the suite is one of those permitted
 #        * the signed tag has a suitable name
 #        * run the "push" policy hook
@@ -142,6 +160,10 @@ setup_sigwarn();
 #    FRESHREPO   (4)
 #         blow away repo right away (ie, as if before push or fetch)
 #         ("check-package" and "push" only)
+#    NOCOMMITCHECK   (8)
+#         suppress dgit-repos-server's check that commits do
+#         not lack "committer" info (eg as produced by #849041)
+#         ("push" only)
 # any unexpected bits mean failure, and then known set bits are ignored
 # if no unexpected bits set, operation continues (subject to meaning
 # of any expected bits set).  So, eg, exit 0 means "continue normally"
@@ -281,13 +303,6 @@ sub reject ($) {
     die "\ndgit-repos-server: reject: $why\n\n";
 }
 
-sub runcmd {
-    debugcmd '+',@_;
-    $!=0; $?=0;
-    my $r = system @_;
-    die (shellquote @_)." $? $!" if $r;
-}
-
 sub policyhook {
     my ($policyallowbits, @polargs) = @_;
     # => ($exitstatuspolicybitmap);
@@ -342,7 +357,8 @@ sub movetogarbage () {
 
     ensuredir "$dgitrepos/_removed-tags";
     open PREVIOUS, ">>", removedtagsfile or die removedtagsfile." $!";
-    git_for_each_ref('refs/tags/'.debiantag('*',$distro), sub {
+    git_for_each_ref([ map { 'refs/tags/'.$_ } debiantags('*',$distro) ],
+                    sub {
        my ($objid,$objtype,$fullrefname,$reftail) = @_;
        print PREVIOUS "\n$objid $reftail .\n" or die $!;
     }, $real);
@@ -384,16 +400,21 @@ sub makeworkingclone () {
     rmtree "${workrepo}_fresh";
 }
 
+sub mkscript ($$) {
+    my ($path,$contents) = @_;
+    my $fh = new IO::File $path, O_WRONLY|O_CREAT|O_TRUNC, 0777
+       or die "$path: $!";
+    print $fh $contents or die "$path: $!";
+    close $fh or die "$path: $!";
+}
+
 sub setupstunthook () {
     my $prerecv = "$workrepo/hooks/pre-receive";
-    my $fh = new IO::File $prerecv, O_WRONLY|O_CREAT|O_TRUNC, 0777
-       or die "$prerecv: $!";
-    print $fh <<END or die "$prerecv: $!";
+    mkscript $prerecv, <<END;
 #!/bin/sh
 set -e
 exec $0 --pre-receive-hook $package
 END
-    close $fh or die "$prerecv: $!";
     $ENV{'DGIT_DRS_WORK'}= $workrepo;
     $ENV{'DGIT_DRS_DEST'}= $destrepo;
     printdebug " stunt hook set up $prerecv\n";
@@ -444,23 +465,25 @@ sub maybeinstallprospective () {
        exec qw(git show-ref);
        die $!;
     }
-    my %got = qw(tag 0 head 0);
+    my %got = qw(newtag 0 omtag 0 head 0);
     while (<SR>) {
        chomp or die;
        printdebug " show-refs| $_\n";
        s/^\S*[1-9a-f]\S* (\S+)$/$1/ or die;
        next if m{^refs/heads/master$};
        my $wh =
-           m{^refs/tags/} ? 'tag' :
+           m{^refs/tags/archive/} ? 'newtag' :
+           m{^refs/tags/} ? 'omtag' :
            m{^refs/dgit/} ? 'head' :
            die;
+       use Data::Dumper;
        die if $got{$wh}++;
     }
     $!=0; $?=0; close SR or $?==256 or die "$? $!";
 
     printdebug "installprospective ?\n";
     die Dumper(\%got)." -- missing refs in new repo"
-       if grep { !$_ } values %got;
+       unless $got{head} && grep { m/tag$/ && $got{$_} } keys %got;
 
     lockrealtree();
 
@@ -486,21 +509,22 @@ sub main__git_receive_pack () {
 
 our ($tagname, $tagval, $suite, $oldcommit, $commit);
 our ($version, %tagh);
+our ($maint_tagname, $maint_tagval);
 
 our ($tagexists_error);
 
 sub readupdates () {
     printdebug " updates ...\n";
+    my %tags;
     while (<STDIN>) {
        chomp or die;
        printdebug " upd.| $_\n";
        m/^(\S+) (\S+) (\S+)$/ or die "$_ ?";
        my ($old, $sha1, $refname) = ($1, $2, $3);
-       if ($refname =~ m{^refs/tags/(?=$distro/)}) {
-           reject "pushing multiple tags!" if defined $tagname;
-           $tagname = $'; #';
-           $tagval = $sha1;
-           $tagexists_error= "tag $tagname already exists -".
+       if ($refname =~ m{^refs/tags/(?=(?:archive/)?$distro/)}) {
+           my $tn = $'; #';
+           $tags{$tn} = $sha1;
+           $tagexists_error= "tag $tn already exists -".
                " not replacing previously-pushed version"
                if $old =~ m/[^0]/;
        } elsif ($refname =~ m{^refs/dgit/}) {
@@ -514,7 +538,19 @@ sub readupdates () {
     }
     STDIN->error and die $!;
 
-    reject "push is missing tag ref update" unless defined $tagname;
+    reject "push is missing tag ref update" unless %tags;
+    my @newtags = grep { m#^archive/# } keys %tags;
+    my @omtags = grep { !m#^archive/# } keys %tags;
+    reject "pushing too many similar tags" if @newtags>1 || @omtags>1;
+    if (@newtags) {
+       ($tagname) = @newtags;
+       ($maint_tagname) = @omtags;
+    } else {
+       ($tagname) = @omtags or die;
+    }
+    $tagval = $tags{$tagname};
+    $maint_tagval = $tags{$maint_tagname // ''};
+
     reject "push is missing head ref update" unless defined $suite;
     printdebug " updates ok.\n";
 }
@@ -821,15 +857,22 @@ sub checks () {
     tagh1('object') eq $commit or reject "tag refers to wrong commit";
     tagh1('tag') eq $tagname or reject "tag name in tag is wrong";
 
-    my $expecttagname = debiantag $version, $distro;
-    printdebug "expected tag $expecttagname\n";
-    $tagname eq $expecttagname or die;
+    my @expecttagnames = debiantags($version, $distro);
+    printdebug "expected tag @expecttagnames\n";
+    grep { $tagname eq $_ } @expecttagnames or die;
+
+    foreach my $othertag (grep { $_ ne $tagname } @expecttagnames) {
+       reject "tag $othertag (pushed with differing dgit version)".
+           " already exists -".
+           " not replacing previously-pushed version"
+           if git_get_ref "refs/tags/".$othertag;
+    }
 
     lockrealtree();
 
     @policy_args = ($package,$version,$suite,$tagname,
                    join(",",@deliberatelies));
-    $policy = policyhook(NOFFCHECK|FRESHREPO, 'push', @policy_args);
+    $policy = policyhook(NOFFCHECK|FRESHREPO|NOCOMMITCHECK, 'push', @policy_args);
 
     if (defined $tagexists_error) {
        if ($policy & FRESHREPO) {
@@ -849,6 +892,27 @@ sub checks () {
        chomp $mb;
        $mb eq $oldcommit or reject "not fast forward on dgit branch";
     }
+
+    # defend against commits generated by #849041
+    if (!($policy & NOCOMMITCHECK)) {
+       my @checks = qw(%at
+                       %ct);
+       my @chk = qw(git log -z);
+       push @chk, '--pretty=tformat:%H%n'.
+           (join "", map { $_, '%n' } @checks);
+       push @chk, "^$oldcommit" if $oldcommit =~ m/[^0]/;
+       push @chk, $commit;;
+       printdebug " ~NOCOMMITCHECK @chk\n";
+       open CHK, "-|", @chk or die $!;
+       local $/ = "\0";
+       while (<CHK>) {
+           next unless m/^$/m;
+           m/^\w+(?=\n)/ or die;
+           reject "corrupted object $& (missing metadata)";
+       }
+       $!=0; $?=0; close CHK or $?==256 or die "$? $!";
+    }
+
     if ($policy & FRESHREPO) {
        # It's a bit late to be discovering this here, isn't it ?
        #
@@ -872,9 +936,22 @@ sub onwardpush () {
     my @cmdbase = (qw(git send-pack), $destrepo);
     push @cmdbase, qw(--force) if $policy & NOFFCHECK;
 
+    if ($ENV{GIT_QUARANTINE_PATH}) {
+       my $recv_wrapper = "$ENV{GIT_QUARANTINE_PATH}/dgit-recv-wrapper";
+       mkscript $recv_wrapper, <<'END';
+#!/bin/sh
+set -e
+unset GIT_QUARANTINE_PATH
+exec git receive-pack "$@"
+END
+       push @cmdbase, "--receive-pack=$recv_wrapper";
+    }
+
     my @cmd = @cmdbase;
     push @cmd, "$commit:refs/dgit/$suite",
               "$tagval:refs/tags/$tagname";
+    push @cmd, "$maint_tagval:refs/tags/$maint_tagname"
+       if defined $maint_tagname;
     debugcmd '+',@cmd;
     $!=0;
     my $r = system @cmd;