chiark / gitweb /
Dgit.pm: printdebug: Refactor slightly
[dgit.git] / Debian / Dgit.pm
index b678ba53ead7cba05a4d579ebef5ae1f5f5df6c9..f8aa9d8f6c249fb75e22356c338f25efdb49d76f 100644 (file)
@@ -31,6 +31,7 @@ use Data::Dumper;
 use IPC::Open2;
 use File::Path;
 use File::Basename;
+use Dpkg::Control::Hash;
 
 BEGIN {
     use Exporter   ();
@@ -41,31 +42,44 @@ BEGIN {
     @EXPORT      = qw(setup_sigwarn forkcheck_setup forkcheck_mainprocess
                      dep14_version_mangle
                       debiantags debiantag_old debiantag_new
+                     debiantag_maintview
+                     upstreamversion
+                     stripepoch source_file_leafname is_orig_file_of_p_v
                      server_branch server_ref
                       stat_exists link_ltarget
                      hashfile
-                      fail ensuredir must_getcwd executable_on_path
+                      fail failmsg ensuredir must_getcwd executable_on_path
                       waitstatusmsg failedcmd_waitstatus
                      failedcmd_report_cmd failedcmd
-                      runcmd cmdoutput cmdoutput_errok
+                      runcmd shell_cmd cmdoutput cmdoutput_errok
                       git_rev_parse git_cat_file
-                     git_get_ref git_for_each_ref
+                     git_get_ref git_get_symref git_for_each_ref
                       git_for_each_tag_referring is_fast_fwd
+                     git_check_unmodified
+                     git_reflog_action_msg  git_update_ref_cmd
                       $package_re $component_re $deliberately_re
                      $distro_re $versiontag_re $series_filename_re
+                     $orig_f_comp_re $orig_f_sig_re $orig_f_tail_re
+                     $extra_orig_namepart_re
+                     $git_null_obj
                       $branchprefix
+                     $ffq_refprefix $gdrlast_refprefix
                       initdebug enabledebug enabledebuglevel
                       printdebug debugcmd
+                      $printdebug_when_debuglevel $debugcmd_when_debuglevel
                       $debugprefix *debuglevel *DEBUG
                       shellquote printcmd messagequote
                       $negate_harmful_gitattrs
                      changedir git_slurp_config_src
+                     gdr_ffq_prev_branchinfo
+                     parsecontrolfh parsecontrol parsechangelog
+                     getfield parsechangelog_loop
                      playtree_setup);
     # implicitly uses $main::us
     %EXPORT_TAGS = ( policyflags => [qw(NOFFCHECK FRESHREPO NOCOMMITCHECK)],
                     playground => [qw(record_maindir $maindir $local_git_cfg
                                       $maindir_gitdir $maindir_gitcommon
-                                      fresh_playground $playground
+                                      fresh_playground
                                        ensure_a_playground)]);
     @EXPORT_OK   = ( @{ $EXPORT_TAGS{policyflags} },
                     @{ $EXPORT_TAGS{playground} } );
@@ -80,6 +94,15 @@ our $distro_re = $component_re;
 our $versiontag_re = qr{[-+.\%_0-9a-zA-Z/]+};
 our $branchprefix = 'dgit';
 our $series_filename_re = qr{(?:^|\.)series(?!\n)$}s;
+our $extra_orig_namepart_re = qr{[-0-9a-z]+};
+our $orig_f_comp_re = qr{orig(?:-$extra_orig_namepart_re)?};
+our $orig_f_sig_re = '\\.(?:asc|gpg|pgp)';
+our $orig_f_tail_re = "$orig_f_comp_re\\.tar(?:\\.\\w+)?(?:$orig_f_sig_re)?";
+our $git_null_obj = '0' x 40;
+our $ffq_refprefix = 'ffq-prev';
+our $gdrlast_refprefix = 'debrebase-last';
+our $printdebug_when_debuglevel = 1;
+our $debugcmd_when_debuglevel = 1;
 
 # policy hook exit status bits
 # see dgit-repos-server head comment for documentation
@@ -92,7 +115,9 @@ sub NOCOMMITCHECK () { return 0x8; }
 our $debugprefix;
 our $debuglevel = 0;
 
-our $negate_harmful_gitattrs = "-text -eol -crlf -ident -filter";
+our $negate_harmful_gitattrs =
+    "-text -eol -crlf -ident -filter -working-tree-encoding";
+    # ^ when updating this, alter the regexp in dgit:is_gitattrs_setup
 
 our $forkcheck_mainprocess;
 
@@ -108,7 +133,7 @@ sub forkcheck_mainprocess () {
 sub setup_sigwarn () {
     forkcheck_setup();
     $SIG{__WARN__} = sub { 
-       die $_[0] if forkcheck_mainprocess;
+       confess $_[0] if forkcheck_mainprocess;
     };
 }
 
@@ -134,7 +159,8 @@ sub enabledebuglevel ($) {
 }
     
 sub printdebug {
-    print DEBUG $debugprefix, @_ or die $! if $debuglevel>0;
+    return unless $debuglevel >= $printdebug_when_debuglevel;
+    print DEBUG $debugprefix, @_ or die $!;
 }
 
 sub messagequote ($) {
@@ -173,7 +199,8 @@ sub printcmd {
 
 sub debugcmd {
     my $extraprefix = shift @_;
-    printcmd(\*DEBUG,$debugprefix.$extraprefix,@_) if $debuglevel>0;
+    printcmd(\*DEBUG,$debugprefix.$extraprefix,@_)
+       if $debuglevel >= $debugcmd_when_debuglevel;
 }
 
 sub dep14_version_mangle ($) {
@@ -194,11 +221,40 @@ sub debiantag_new ($$) {
     return "archive/$distro/".dep14_version_mangle $v;
 }
 
+sub debiantag_maintview ($$) { 
+    my ($v,$distro) = @_;
+    return "$distro/".dep14_version_mangle $v;
+}
+
 sub debiantags ($$) {
     my ($version,$distro) = @_;
     map { $_->($version, $distro) } (\&debiantag_new, \&debiantag_old);
 }
 
+sub stripepoch ($) {
+    my ($vsn) = @_;
+    $vsn =~ s/^\d+\://;
+    return $vsn;
+}
+
+sub upstreamversion ($) {
+    my ($vsn) = @_;
+    $vsn =~ s/-[^-]+$//;
+    return $vsn;
+}
+
+sub source_file_leafname ($$$) {
+    my ($package,$vsn,$sfx) = @_;
+    return "${package}_".(stripepoch $vsn).$sfx
+}
+
+sub is_orig_file_of_p_v ($$$) {
+    my ($f, $package, $upstreamvsn) = @_;
+    my $base = source_file_leafname $package, $upstreamvsn, '';
+    return 0 unless $f =~ m/^\Q$base\E\.$orig_f_tail_re$/;
+    return 1;
+}
+
 sub server_branch ($) { return "$branchprefix/$_[0]"; }
 sub server_ref ($) { return "refs/".server_branch($_[0]); }
 
@@ -213,12 +269,16 @@ sub _us () {
     $::us // ($0 =~ m#[^/]*$#, $&);
 }
 
-sub fail { 
-    my $s = "@_\n";
+sub failmsg {
+    my $s = "error: @_\n";
     $s =~ s/\n\n$/\n/;
     my $prefix = _us().": ";
     $s =~ s/^/$prefix/gm;
-    die $s;
+    return "\n".$s;
+}
+
+sub fail {
+    die failmsg @_;
 }
 
 sub ensuredir ($) {
@@ -300,8 +360,14 @@ sub runcmd {
     failedcmd @_ if system @_;
 }
 
+sub shell_cmd {
+    my ($first_shell, @cmd) = @_;
+    return qw(sh -ec), $first_shell.'; exec "$@"', 'x', @cmd;
+}
+
 sub cmdoutput_errok {
     confess Dumper(\@_)." ?" if grep { !defined } @_;
+    local $printdebug_when_debuglevel = $debugcmd_when_debuglevel;
     debugcmd "|",@_;
     open P, "-|", @_ or die "$_[0] $!";
     my $d;
@@ -348,11 +414,22 @@ sub git_rev_parse ($) {
     return cmdoutput qw(git rev-parse), "$_[0]~0";
 }
 
-sub git_cat_file ($) {
-    my ($objname) = @_;
+sub git_cat_file ($;$) {
+    my ($objname, $etype) = @_;
     # => ($type, $data) or ('missing', undef)
     # in scalar context, just the data
+    # if $etype defined, dies unless type is $etype or in @$etype
     our ($gcf_pid, $gcf_i, $gcf_o);
+    local $printdebug_when_debuglevel = $debugcmd_when_debuglevel;
+    my $chk = sub {
+       my ($gtype, $data) = @_;
+       if ($etype) {
+           $etype = [$etype] unless ref $etype;
+           confess "$objname expected @$etype but is $gtype"
+               unless grep { $gtype eq $_ } @$etype;
+       }
+       return ($gtype, $data);
+    };
     if (!$gcf_pid) {
        my @cmd = qw(git cat-file --batch);
        debugcmd "GCF|", @cmd;
@@ -362,13 +439,26 @@ sub git_cat_file ($) {
     print $gcf_i $objname, "\n" or die $!;
     my $x = <$gcf_o>;
     printdebug "GCF<| ", $x;
-    if ($x =~ m/ (missing)$/) { return ($1, undef); }
+    if ($x =~ m/ (missing)$/) { return $chk->($1, undef); }
     my ($type, $size) = $x =~ m/^.* (\w+) (\d+)\n/ or die "$objname ?";
     my $data;
     (read $gcf_o, $data, $size) == $size or die "$objname $!";
     $x = <$gcf_o>;
     $x eq "\n" or die "$objname ($_) $!";
-    return ($type, $data);
+    return $chk->($type, $data);
+}
+
+sub git_get_symref (;$) {
+    my ($symref) = @_;  $symref //= 'HEAD';
+    # => undef if not a symref, otherwise refs/...
+    my @cmd = (qw(git symbolic-ref -q HEAD));
+    my $branch = cmdoutput_errok @cmd;
+    if (!defined $branch) {
+       $?==256 or failedcmd @cmd;
+    } else {
+       chomp $branch;
+    }
+    return $branch;
 }
 
 sub git_for_each_ref ($$;$) {
@@ -418,6 +508,25 @@ sub git_for_each_tag_referring ($$) {
     });
 }
 
+sub git_check_unmodified () {
+    foreach my $cached (qw(0 1)) {
+       my @cmd = qw(git diff --quiet);
+       push @cmd, qw(--cached) if $cached;
+       push @cmd, qw(HEAD);
+       debugcmd "+",@cmd;
+       $!=0; $?=-1; system @cmd;
+       return if !$?;
+       if ($?==256) {
+           fail
+               $cached
+               ? "git index contains changes (does not match HEAD)"
+               : "working tree is dirty (does not match HEAD)";
+       } else {
+           failedcmd @cmd;
+       }
+    }
+}
+
 sub is_fast_fwd ($$) {
     my ($ancestor,$child) = @_;
     my @cmd = (qw(git merge-base), $ancestor, $child);
@@ -430,6 +539,21 @@ sub is_fast_fwd ($$) {
     }
 }
 
+sub git_reflog_action_msg ($) {
+    my ($msg) = @_;
+    my $rla = $ENV{GIT_REFLOG_ACTION};
+    $msg = "$rla: $msg" if length $rla;
+    return $msg;
+}
+
+sub git_update_ref_cmd {
+    # returns  qw(git update-ref), qw(-m), @_
+    # except that message may be modified to honour GIT_REFLOG_ACTION
+    my $msg = shift @_;
+    $msg = git_reflog_action_msg $msg;
+    return qw(git update-ref -m), $msg, @_;
+}
+
 sub changedir ($) {
     my ($newdir) = @_;
     printdebug "CD $newdir\n";
@@ -460,12 +584,102 @@ sub git_slurp_config_src ($) {
     return $r;
 }
 
+sub gdr_ffq_prev_branchinfo ($) {
+    my ($symref) = @_;
+    # => ('status', "message", [$symref, $ffq_prev, $gdrlast])
+    # 'status' may be
+    #    branch         message is undef
+    #    weird-symref   } no $symref,
+    #    notbranch      }  no $ffq_prev
+    return ('detached', 'detached HEAD') unless defined $symref;
+    return ('weird-symref', 'HEAD symref is not to refs/')
+       unless $symref =~ m{^refs/};
+    my $ffq_prev = "refs/$ffq_refprefix/$'";
+    my $gdrlast = "refs/$gdrlast_refprefix/$'";
+    printdebug "ffq_prev_branchinfo branch current $symref\n";
+    return ('branch', undef, $symref, $ffq_prev, $gdrlast);
+}
+
+sub parsecontrolfh ($$;$) {
+    my ($fh, $desc, $allowsigned) = @_;
+    our $dpkgcontrolhash_noissigned;
+    my $c;
+    for (;;) {
+       my %opts = ('name' => $desc);
+       $opts{allow_pgp}= $allowsigned || !$dpkgcontrolhash_noissigned;
+       $c = Dpkg::Control::Hash->new(%opts);
+       $c->parse($fh,$desc) or die "parsing of $desc failed";
+       last if $allowsigned;
+       last if $dpkgcontrolhash_noissigned;
+       my $issigned= $c->get_option('is_pgp_signed');
+       if (!defined $issigned) {
+           $dpkgcontrolhash_noissigned= 1;
+           seek $fh, 0,0 or die "seek $desc: $!";
+       } elsif ($issigned) {
+           fail "control file $desc is (already) PGP-signed. ".
+               " Note that dgit push needs to modify the .dsc and then".
+               " do the signature itself";
+       } else {
+           last;
+       }
+    }
+    return $c;
+}
+
+sub parsecontrol {
+    my ($file, $desc, $allowsigned) = @_;
+    my $fh = new IO::Handle;
+    open $fh, '<', $file or die "$file: $!";
+    my $c = parsecontrolfh($fh,$desc,$allowsigned);
+    $fh->error and die $!;
+    close $fh;
+    return $c;
+}
+
+sub parsechangelog {
+    my $c = Dpkg::Control::Hash->new(name => 'parsed changelog');
+    my $p = new IO::Handle;
+    my @cmd = (qw(dpkg-parsechangelog), @_);
+    open $p, '-|', @cmd or die $!;
+    $c->parse($p);
+    $?=0; $!=0; close $p or failedcmd @cmd;
+    return $c;
+}
+
+sub getfield ($$) {
+    my ($dctrl,$field) = @_;
+    my $v = $dctrl->{$field};
+    return $v if defined $v;
+    fail "missing field $field in ".$dctrl->get_option('name');
+}
+
+sub parsechangelog_loop ($$$) {
+    my ($clogcmd, $descbase, $fn) = @_;
+    # @$clogcmd is qw(dpkg-parsechangelog ...some...options...)
+    # calls $fn->($thisstanza, $desc);
+    debugcmd "|",@$clogcmd;
+    open CLOGS, "-|", @$clogcmd or die $!;
+    for (;;) {
+       my $stanzatext = do { local $/=""; <CLOGS>; };
+       printdebug "clogp stanza ".Dumper($stanzatext) if $debuglevel>1;
+       last if !defined $stanzatext;
+
+       my $desc = "$descbase, entry no.$.";
+       open my $stanzafh, "<", \$stanzatext or die;
+       my $thisstanza = parsecontrolfh $stanzafh, $desc, 1;
+
+       $fn->($thisstanza, $desc);
+    }
+    die $! if CLOGS->error;
+    close CLOGS or $?==SIGPIPE or failedcmd @$clogcmd;
+}      
+
 # ========== playground handling ==========
 
 # terminology:
 #
 #   $maindir      user's git working tree
-#   $playground   area in .git/ where we can make files, unpack, etc. etc.
+#   playground    area in .git/ where we can make files, unpack, etc. etc.
 #   playtree      git working tree sharing object store with the user's
 #                 inside playground, or identical to it
 #
@@ -485,28 +699,26 @@ sub git_slurp_config_src ($) {
 #
 #    fresh_playground SUBDIR_PATH_COMPONENTS
 #      e.g fresh_playground 'dgit/unpack' ('.git/' is implied)
-#      default SUBDIR_PATH_COMPONENTS is $playground_subdir
+#      default SUBDIR_PATH_COMPONENTS is playground_subdir
 #      calls record_maindir
 #      sets up a new playground (destroying any old one)
-#      assigns to $playground and returns the same pathname
+#      returns playground pathname
 #      caller may call multiple times with different subdir paths
-#       createing different playgrounds; but $playground global can
-#       refer only to one, obv.
+#       createing different playgrounds
 #
 #    ensure_a_playground SUBDIR_PATH_COMPONENTS
 #      like fresh_playground except:
 #      merely ensures the directory exists; does not delete an existing one
-#      never sets global $playground
 #
 #  then can use
 #
-#    changedir $playground
+#    changedir playground
 #    changedir $maindir
 #
 #    playtree_setup $local_git_cfg
-#            # ^ call in some (perhaps trivial) subdir of $playground
+#            # ^ call in some (perhaps trivial) subdir of playground
 #
-#    rmtree $playground
+#    rmtree playground
 
 # ----- maindir -----
 
@@ -538,12 +750,10 @@ sub record_maindir () {
 
 # ----- playgrounds -----
 
-our $playground;
-
 sub ensure_a_playground_parent ($) {
     my ($spc) = @_;
     record_maindir();
-    $spc = ".git/$spc";
+    $spc = "$maindir_gitdir/$spc";
     my $parent = dirname $spc;
     mkdir $parent or $!==EEXIST
        or fail "failed to mkdir playground parent $parent: $!";
@@ -561,8 +771,8 @@ sub fresh_playground ($) {
     my ($spc) = @_;
     $spc = ensure_a_playground_parent $spc;
     rmtree $spc;
-    mkdir $spc or die "$spc $!";
-    return $playground = "$maindir/$spc";
+    mkdir $spc or fail "failed to mkdir the playground $spc: $!";
+    return $spc;
 }
 
 # ----- playtrees -----
@@ -582,8 +792,13 @@ sub playtree_setup (;$) {
        next unless $v;
        runcmd qw(git config), $copy, $_ foreach @$v;
     }
+    # this is confusing: we have
+    #   .                   playtree, not a worktree, has .git/, our cwd
+    #   $maindir            might be a worktree so
+    #   $maindir_gitdir     contains our main working "dgit", HEAD, etc.
+    #   $maindir_gitcommon  the shared stuff, including .objects
     rmtree('.git/objects');
-    symlink "$maindir/.git/objects",'.git/objects' or die $!;
+    symlink "$maindir_gitcommon/objects",'.git/objects' or die $!;
     ensuredir '.git/info';
     open GA, "> .git/info/attributes" or die $!;
     print GA "* $negate_harmful_gitattrs\n" or die $!;