chiark / gitweb /
changelog: start 9.14
[dgit.git] / Debian / Dgit.pm
index 892ebf9b1cb021e9ffcdbe52afc1e6c0315dece9..4059e2b02372388d8c4107beda3a7e757bc9ff00 100644 (file)
@@ -2,7 +2,7 @@
 # dgit
 # Debian::Dgit: functions common to dgit and its helpers and servers
 #
-# Copyright (C) 2015-2016  Ian Jackson
+# Copyright (C) 2015-2019  Ian Jackson
 #
 #    This program is free software; you can redistribute it and/or modify
 #    it under the terms of the GNU General Public License as published by
@@ -29,7 +29,7 @@ use Config;
 use Digest::SHA;
 use Data::Dumper;
 use IPC::Open2;
-use File::Path;
+use File::Path qw(:DEFAULT make_path);
 use File::Basename;
 use Dpkg::Control::Hash;
 use Debian::Dgit::ExitStatus;
@@ -45,25 +45,31 @@ BEGIN {
                      dep14_version_mangle
                       debiantags debiantag_new
                      debiantag_maintview
-                     upstreamversion upstream_commitish_search
+                     upstreamversion
+                     upstream_commitish_search resolve_upstream_version
                      stripepoch source_file_leafname is_orig_file_of_p_v
                      server_branch server_ref
                       stat_exists link_ltarget rename_link_xf
                      hashfile
-                      fail failmsg ensuredir must_getcwd executable_on_path
+                      fail failmsg ensuredir ensurepath
+                     must_getcwd executable_on_path
                       waitstatusmsg failedcmd_waitstatus
                      failedcmd_report_cmd failedcmd
                       runcmd shell_cmd cmdoutput cmdoutput_errok
+                     @git
                       git_rev_parse changedir_git_toplevel git_cat_file
                      git_get_ref git_get_symref git_for_each_ref
                       git_for_each_tag_referring is_fast_fwd
                      git_check_unmodified
                      git_reflog_action_msg  git_update_ref_cmd
-                     make_commit_text
+                     rm_subdir_cached read_tree_subdir
+                     read_tree_debian read_tree_upstream
+                     make_commit hash_commit hash_commit_text
                      reflog_cache_insert reflog_cache_lookup
-                      $package_re $component_re $deliberately_re
+                      $package_re $component_re $suite_re $deliberately_re
                      $distro_re $versiontag_re $series_filename_re
-                     $orig_f_comp_re $orig_f_sig_re $orig_f_tail_re
+                     $orig_f_comp_re $orig_f_sig_re
+                     $tarball_f_ext_re $orig_f_tail_re
                      $extra_orig_namepart_re
                      $git_null_obj
                       $branchprefix
@@ -93,6 +99,7 @@ our @EXPORT_OK;
 
 our $package_re = '[0-9a-z][-+.0-9a-z]*';
 our $component_re = '[0-9a-zA-Z][-+.0-9a-zA-Z]*';
+our $suite_re = '[-+.0-9a-z]+';
 our $deliberately_re = "(?:TEST-)?$package_re";
 our $distro_re = $component_re;
 our $versiontag_re = qr{[-+.\%_0-9a-zA-Z/]+};
@@ -101,13 +108,16 @@ our $series_filename_re = qr{(?:^|\.)series(?!\n)$}s;
 our $extra_orig_namepart_re = qr{[-0-9a-zA-Z]+};
 our $orig_f_comp_re = qr{orig(?:-$extra_orig_namepart_re)?};
 our $orig_f_sig_re = '\\.(?:asc|gpg|pgp)';
-our $orig_f_tail_re = "$orig_f_comp_re\\.tar(?:\\.\\w+)?(?:$orig_f_sig_re)?";
+our $tarball_f_ext_re = "\\.tar(?:\\.\\w+)?(?:$orig_f_sig_re)?";
+our $orig_f_tail_re = "$orig_f_comp_re$tarball_f_ext_re";
 our $git_null_obj = '0' x 40;
 our $ffq_refprefix = 'ffq-prev';
 our $gdrlast_refprefix = 'debrebase-last';
 our $printdebug_when_debuglevel = 1;
 our $debugcmd_when_debuglevel = 1;
 
+our (@git) = qw(git);
+
 # these three all go together, only valid after record_maindir
 our $maindir;
 our $maindir_gitdir;
@@ -214,9 +224,7 @@ sub shellquote {
 sub printcmd {
     my $fh = shift @_;
     my $intro = shift @_;
-    print $fh $intro," " or confess "$!";
-    print $fh shellquote @_ or confess "$!";
-    print $fh "\n" or confess "$!";
+    print $fh $intro." ".(join '', shellquote @_)."\n" or confess "$!";
 }
 
 sub debugcmd {
@@ -305,6 +313,12 @@ sub ensuredir ($) {
     confess "mkdir $dir: $!";
 }
 
+sub ensurepath ($$) {
+    my ($firsttocreate, $subdir) = @_; # creates necessary bits of $subidr
+    ensuredir $firsttocreate;
+    make_path "$firsttocreate/$subdir";
+}
+
 sub must_getcwd () {
     my $d = getcwd();
     defined $d or fail f_ "getcwd failed: %s\n", $!;
@@ -620,12 +634,42 @@ sub git_check_unmodified () {
 sub upstream_commitish_search ($$) {
     my ($upstream_version, $tried) = @_;
     # todo: at some point maybe use git-deborig to do this
+    my @found;
     foreach my $tagpfx ('', 'v', 'upstream/') {
        my $tag = $tagpfx.(dep14_version_mangle $upstream_version);
        my $new_upstream = git_get_ref "refs/tags/$tag";
        push @$tried, $tag;
-       return $new_upstream if length $new_upstream;
+       push @found, [ $tag, $new_upstream ] if $new_upstream;
     }
+    return @{ $found[0] } if @found == 1;
+    return ();
+}
+
+sub resolve_upstream_version ($$) {
+    my ($new_upstream, $upstream_version) = @_;
+
+    my $used = $new_upstream;
+    my $message = __ 'using specified upstream commitish';
+    if (!defined $new_upstream) {
+       my @tried;
+       ($used, $new_upstream) =
+           upstream_commitish_search $upstream_version, \@tried;
+       if (!length $new_upstream) {
+           fail f_
+               "Could not determine appropriate upstream commitish.\n".
+               " (Tried these tags: %s)\n".
+               " Check version, and specify upstream commitish explicitly.",
+               "@tried";
+       }
+       $message = f_ 'using upstream from git tag %s', $used;
+    } elsif ($new_upstream =~ m{^refs/tags/($versiontag_re)$}s) {
+       $message = f_ 'using upstream from git tag %s', $1;
+       $used = $1;
+    }  
+    $new_upstream = git_rev_parse $new_upstream;
+
+    return ($new_upstream, $used, $message);
+    # used is a human-readable idea of what we found
 }
 
 sub is_fast_fwd ($$) {
@@ -655,6 +699,39 @@ sub git_update_ref_cmd {
     return qw(git update-ref -m), $msg, @_;
 }
 
+sub rm_subdir_cached ($) {
+    my ($subdir) = @_;
+    runcmd qw(git rm --quiet -rf --cached --ignore-unmatch), $subdir;
+}
+
+sub read_tree_subdir ($$) {
+    my ($subdir, $new_tree_object) = @_;
+    # If $new_tree_object is '', the subtree is deleted.
+    confess unless defined $new_tree_object;
+    rm_subdir_cached $subdir;
+    runcmd qw(git read-tree), "--prefix=$subdir/", $new_tree_object
+       if length $new_tree_object;
+}
+
+sub read_tree_debian ($) {
+    my ($treeish) = @_;
+    read_tree_subdir 'debian', "$treeish:debian";
+    rm_subdir_cached 'debian/patches';
+}
+
+sub read_tree_upstream ($;$$) {
+    my ($treeish, $keep_patches, $tree_with_debian) = @_;
+    # if $tree_with_debian is supplied, will use that for debian/
+    # otherwise will save and restore it.  If $tree_with_debian
+    # is '' then debian/ is deleted.
+    my $debian =
+       defined $tree_with_debian ? "$tree_with_debian:debian"
+       : cmdoutput qw(git write-tree --prefix=debian/);
+    runcmd qw(git read-tree), $treeish;
+    read_tree_subdir 'debian', $debian;
+    rm_subdir_cached 'debian/patches' unless $keep_patches;
+}
+
 sub changedir ($) {
     my ($newdir) = @_;
     printdebug "CD $newdir\n";
@@ -777,7 +854,21 @@ sub parsechangelog_loop ($$$) {
     close CLOGS or $?==SIGPIPE or failedcmd @$clogcmd;
 }      
 
-sub make_commit_text ($) {
+sub make_commit ($$) {
+    my ($parents, $message_paras) = @_;
+    my $tree = cmdoutput qw(git write-tree);
+    my @cmd = (qw(git commit-tree), $tree);
+    push @cmd, qw(-p), $_ foreach @$parents;
+    push @cmd, qw(-m), $_ foreach @$message_paras;
+    return cmdoutput @cmd;
+}
+
+sub hash_commit ($) {
+    my ($file) = @_;
+    return cmdoutput qw(git hash-object -w -t commit), $file;
+}
+
+sub hash_commit_text ($) {
     my ($text) = @_;
     my ($out, $in);
     my @cmd = (qw(git hash-object -w -t commit --stdin));
@@ -807,7 +898,7 @@ sub reflog_cache_insert ($$$) {
     # When we no longer need to support squeeze, use --create-reflog
     # instead of this:
     my $parent = $ref; $parent =~ s{/[^/]+$}{};
-    ensuredir "$maindir_gitcommon/logs/$parent";
+    ensurepath "$maindir_gitcommon/logs", "$parent";
     my $makelogfh = new IO::File "$maindir_gitcommon/logs/$ref", '>>'
       or confess "$!";
 
@@ -818,7 +909,7 @@ sub reflog_cache_insert ($$$) {
        # git update-ref doesn't always update, in this case.  *sigh*
        my $authline = (ucfirst _us()).
            ' <'._us().'@example.com> 1000000000 +0000';
-       my $dummy = make_commit_text <<ENDU.(__ <<END);
+       my $dummy = hash_commit_text <<ENDU.(__ <<END);
 tree $tree
 parent $value
 author $authline
@@ -901,7 +992,7 @@ sub reflog_cache_lookup ($$) {
 #    changedir playground
 #    changedir $maindir
 #
-#    playtree_setup $local_git_cfg
+#    playtree_setup
 #            # ^ call in some (perhaps trivial) subdir of playground
 #
 #    rmtree playground
@@ -960,28 +1051,28 @@ sub fresh_playground ($) {
 
 # ----- playtrees -----
 
-sub playtree_setup (;$) {
-    my ($t_local_git_cfg) = @_;
-    $t_local_git_cfg //= $local_git_cfg;
+sub playtree_setup () {
     # for use in the playtree
     # $maindir must be set, eg by calling record_maindir or fresh_playground
-    runcmd qw(git init -q);
-    runcmd qw(git config gc.auto 0);
-    foreach my $copy (qw(user.email user.name user.useConfigOnly
-                         core.sharedRepository
-                         core.compression core.looseCompression
-                         core.bigFileThreshold core.fsyncObjectFiles)) {
-       my $v = $t_local_git_cfg->{$copy};
-       next unless $v;
-       runcmd qw(git config), $copy, $_ foreach @$v;
-    }
     # this is confusing: we have
     #   .                   playtree, not a worktree, has .git/, our cwd
     #   $maindir            might be a worktree so
     #   $maindir_gitdir     contains our main working "dgit", HEAD, etc.
     #   $maindir_gitcommon  the shared stuff, including .objects
-    rmtree('.git/objects');
-    symlink "$maindir_gitcommon/objects",'.git/objects' or confess "$!";
+
+    # we need to invoke git-playtree-setup via git because
+    # there may be config options it needs which are only available
+    # to us, sensibly, in @git
+
+    # And, we look for it in @INC too.  This is a bit perverse.
+    # We do this because in the Debian packages we want to have
+    # a copy of this script in each binary package, rather than
+    # making yet another .deb or tangling the dependencies.
+    # @INC is conveniently available.
+    my $newpath = join ':', +(grep { !m/:/ } @INC),
+                 '/usr/share/dgit', $ENV{PATH};
+    runcmd qw(env), "PATH=$newpath", @git, qw(playtree-setup .);
+
     ensuredir '.git/info';
     open GA, "> .git/info/attributes" or confess "$!";
     print GA "* $negate_harmful_gitattrs\n" or confess "$!";