chiark / gitweb /
test suite: lib-gdr: Break out t-gdr-prep-new-upstream
[dgit.git] / git-debrebase
index 13ca472d47881b34361a8c4dc160bc0113d0f47c..f56ec32e12a9833a15c69c53120d0f3708fc6011 100755 (executable)
@@ -36,6 +36,18 @@ use Dpkg::Version;
 use File::FnMatch qw(:fnmatch);
 use File::Copy;
 
+our ($usage_message) = <<'END';
+usages:
+  git-debrebase [<options>] [--|-i <git rebase options...>]
+  git-debrebase [<options>] status
+  git-debrebase [<options>] prepush [--prose=...]
+  git-debrebase [<options>] quick|conclude
+  git-debrebase [<options>] new-upstream <new-version> [<details ...>]
+  git-debrebase [<options>] convert-from-gbp [<upstream-commitish>]
+  ...
+See git-debrebase(1), git-debrebase(5), dgit-maint-debrebase(7) (in dgit).
+END
+
 our ($opt_force, $opt_noop_ok, @opt_anchors);
 our ($opt_defaultcmd_interactive);
 
@@ -49,11 +61,15 @@ sub badusage ($) {
     finish 8;
 }
 
-sub getoptions {
+sub getoptions_main {
     my $m = shift;
     local $SIG{__WARN__}; # GetOptions calls `warn' to print messages
     GetOptions @_ or badusage $m;
 }
+sub getoptions {
+    my $sc = shift;
+    getoptions_main "bad options follow \`git-debrebase $sc'", @_;
+}
 
 sub cfg ($;$) {
     my ($k, $optional) = @_;
@@ -98,6 +114,7 @@ our $rd;
 our $workarea;
 
 our @git = qw(git);
+our @dgit = qw(dgit);
 
 sub in_workarea ($) {
     my ($sub) = @_;
@@ -293,6 +310,22 @@ sub any_snags () {
     return $snags_forced || $snags_tripped;
 }
 
+sub gbp_pq_export ($$$) {
+    my ($bname, $base, $tip) = @_;
+    # must be run in a workarea.  $bname and patch-queue/$bname
+    # ought not to exist.  Leaves you on patch-queue/$bname with
+    # the patches staged but not committed.
+    runcmd @git, qw(checkout -q -b), $bname, $base;
+    runcmd @git, qw(checkout -q -b), "patch-queue/$bname", $tip;
+    my @gbp_cmd = (qw(gbp pq export));
+    my $r = system shell_cmd 'exec >../gbp-pq-err 2>&1', @gbp_cmd;
+    if ($r) {
+       { local ($!,$?); copy('../gbp-pq-err', \*STDERR); }
+       failedcmd @gbp_cmd;
+    }
+    runcmd @git, qw(add -f debian/patches);
+}
+
 # classify returns an info hash like this
 #   CommitId => $objid
 #   Hdr => # commit headers, including 1 final newline
@@ -579,6 +612,7 @@ sub keycommits ($;$$$$) {
     my ($anchor, $breakwater);
     my $clogonly;
     my $cl;
+    my $found_pm;
     $fatal //= sub { fail $_[1]; };
     my $x = sub {
        my ($cb, $tagsfx, $mainwhy, $xwhy) = @_;
@@ -618,12 +652,20 @@ sub keycommits ($;$$$$) {
            $breakwater = undef;
        } elsif ($ty eq 'Pseudomerge' or
                 $ty eq 'AddPatches') {
+           my $found_pm = 1;
            $x->($furniture, (lc $ty),
                 "found interchange bureaucracy commit ($ty)"," ($head)");
        } elsif ($ty eq 'DgitImportUnpatched') {
-           $x->($trouble, 'dgitimport',
-                "found dgit dsc import ($head)");
-           return (undef,undef);
+           if ($found_pm) {
+               $x->($trouble, 'dgitimport',
+                    "found dgit dsc import"," ($head)");
+               return (undef,undef);
+           } else {
+               $x->($fatal, 'unprocessable',
+                    "found bare dgit dsc import with no prior history",
+                    " ($head)");
+               return (undef,undef);
+           }
        } else {
            $x->($fatal, 'unprocessable',
                 "found unprocessable commit, cannot cope: $cl->{Why}",
@@ -635,14 +677,15 @@ sub keycommits ($;$$$$) {
     return ($anchor, $breakwater);
 }
 
-sub walk ($;$$);
-sub walk ($;$$) {
+sub walk ($;$$$);
+sub walk ($;$$$) {
     my ($input,
-       $nogenerate,$report) = @_;
+       $nogenerate,$report, $report_lprefix) = @_;
     # => ($tip, $breakwater_tip, $last_anchor)
     # (or nothing, if $nogenerate)
 
     printdebug "*** WALK $input ".($nogenerate//0)." ".($report//'-')."\n";
+    $report_lprefix //= '';
 
     # go through commits backwards
     # we generate two lists of commits to apply:
@@ -674,7 +717,7 @@ sub walk ($;$$) {
 
     my $prline = sub {
        return unless $report;
-       print $report $prdelim, @_;
+       print $report $prdelim, $report_lprefix, @_;
        $prdelim = "\n";
     };
 
@@ -685,8 +728,8 @@ sub walk ($;$$) {
        if ($nogenerate) {
            return (undef,undef);
        }
-       fail "found unprocessable commit, cannot cope:".
-           (defined $cl->{Why} ? "; $cl->{Why}": '').
+       fail "found unprocessable commit, cannot cope".
+           (defined $cl->{Why} ? "; $cl->{Why}:": ':').
            " (commit $cur) (d.".
            (join ' ', map { sprintf "%#x", $_->{Differs} }
             @{ $cl->{Parents} }).
@@ -798,13 +841,12 @@ sub walk ($;$$) {
                next;
            } else {
                # Everything is from this import.  This kind of import
-               # is already in valid breakwater format, with the
-               # patches as commits.
-               printf $report " NoPM" if $report;
-               # last thing we processed will have been the first patch,
-               # if there is one; which is fine, so no need to rewrite
-               # on account of this import
-               $build_start->("ImportOrigin", $cur);
+               # is already nearly in valid breakwater format, with the
+               # patches as commits.  Unfortunately it contains
+               # debian/patches/.
+               printdebug "*** WALK BOMB bare dgit import\n";
+               $cl->{Why} = "bare dgit dsc import";
+               return $bomb->();
            }
            die "$ty ?";
         } else {
@@ -950,6 +992,18 @@ sub update_head_postlaunder ($$$) {
     runcmd @git, qw(rm --quiet --ignore-unmatch -rf debian/patches);
 }
 
+sub currently_rebasing() {
+    foreach (qw(rebase-merge rebase-apply)) {
+       return 1 if stat_exists "$maindir_gitdir/$_";
+    }
+    return 0;
+}
+
+sub bail_if_rebasing() {
+    fail "you are in the middle of a git-rebase already"
+       if currently_rebasing();
+}
+
 sub do_launder_head ($) {
     my ($reflogmsg) = @_;
     my $old = get_head();
@@ -1089,6 +1143,7 @@ sub record_ffq_prev_deferred () {
     # if "deferred", will have added something about that to
     #   @deferred_update_messages, and also maybe printed (already)
     #   some messages about ff checks
+    bail_if_rebasing();
     my $currentval = get_head();
 
     my ($status,$message, $ffq_prev,$gdrlast) = ffq_check $currentval;
@@ -1112,6 +1167,7 @@ sub record_ffq_auto () {
 }
 
 sub ffq_prev_info () {
+    bail_if_rebasing();
     # => ($ffq_prev, $gdrlast, $ffq_prev_commitish)
     my ($status, $message, $current, $ffq_prev, $gdrlast)
        = ffq_prev_branchinfo();
@@ -1168,21 +1224,23 @@ sub do_stitch ($;$) {
     stitch($dangling_head, $ffq_prev, $gdrlast, $ffq_prev_commitish, $prose);
 }
 
-sub resolve_upstream_version ($$) {
-    my ($new_upstream, $version) = @_;
+sub upstream_commitish_search ($$) {
+    my ($upstream_version, $tried) = @_;
+    # todo: at some point maybe use git-deborig to do this
+    foreach my $tagpfx ('', 'v', 'upstream/') {
+       my $tag = $tagpfx.(dep14_version_mangle $upstream_version);
+       my $new_upstream = git_get_ref "refs/tags/$tag";
+       push @$tried, $tag;
+       return $new_upstream if length $new_upstream;
+    }
+}
 
-    my $new_upstream_version = "$version";
-    $new_upstream_version =~ s/-.*?$//;;
+sub resolve_upstream_version ($$) {
+    my ($new_upstream, $upstream_version) = @_;
 
     if (!defined $new_upstream) {
        my @tried;
-       # todo: at some point maybe use git-deborig to do this
-       foreach my $tagpfx ('', 'v', 'upstream/') {
-           my $tag = $tagpfx.(dep14_version_mangle $new_upstream_version);
-           $new_upstream = git_get_ref "refs/tags/$tag";
-           last if length $new_upstream;
-           push @tried, $tag;
-       }
+       $new_upstream = upstream_commitish_search $upstream_version, \@tried;
        if (!length $new_upstream) {
            fail "Could not determine appropriate upstream commitish.\n".
                " (Tried these tags: @tried)\n".
@@ -1191,7 +1249,7 @@ sub resolve_upstream_version ($$) {
     }
     $new_upstream = git_rev_parse $new_upstream;
 
-    return ($new_upstream, $new_upstream_version);
+    return $new_upstream;
 }
 
 sub cmd_new_upstream () {
@@ -1211,9 +1269,9 @@ sub cmd_new_upstream () {
     }
 
     my $new_upstream = shift @ARGV;
-    my $new_upstream_version;
-    ($new_upstream, $new_upstream_version) =
-       resolve_upstream_version $new_upstream, $new_version;
+    my $new_upstream_version = upstreamversion  $new_version;
+    $new_upstream =
+       resolve_upstream_version $new_upstream, $new_upstream_version;
 
     record_ffq_auto();
 
@@ -1520,11 +1578,12 @@ sub cmd_status () {
            print "  not git-debrebase (diverged since last stitch)\n"
        }
     }
+    print "you are currently rebasing\n" if currently_rebasing();
 }
 
 sub cmd_stitch () {
     my $prose = 'stitch';
-    getoptions("bad options follow \`git-debrebase stitch'",
+    getoptions("stitch",
               'prose=s', \$prose);
     badusage "no arguments allowed" if @ARGV;
     do_stitch $prose, 0;
@@ -1550,6 +1609,24 @@ sub cmd_conclude () {
     do_stitch 'quick';
 }
 
+sub cmd_scrap () {
+    if (currently_rebasing()) {
+       runcmd @git, qw(rebase --abort);
+    }
+    my ($ffq_prev, $gdrlast, $ffq_prev_commitish) = ffq_prev_info();
+    if (!$ffq_prev_commitish) {
+       fail "No ongoing git-debrebase session." unless $opt_noop_ok;
+       finish 0;
+    }
+    my $scrapping_head = get_head();
+    badusage "no arguments allowed" if @ARGV;
+    push @deferred_updates,
+       "update $gdrlast $ffq_prev_commitish $git_null_obj",
+       "update $ffq_prev $git_null_obj $ffq_prev_commitish";
+    snags_maybe_bail();
+    update_head_checkout $scrapping_head, $ffq_prev_commitish, "scrap";
+}
+
 sub make_patches_staged ($) {
     my ($head) = @_;
     # Produces the patches that would result from $head if it were
@@ -1557,15 +1634,7 @@ sub make_patches_staged ($) {
     my ($secret_head, $secret_bw, $last_anchor) = walk $head;
     fresh_workarea();
     in_workarea sub {
-       runcmd @git, qw(checkout -q -b bw), $secret_bw;
-       runcmd @git, qw(checkout -q -b patch-queue/bw), $secret_head;
-       my @gbp_cmd = (qw(gbp pq export));
-       my $r = system shell_cmd 'exec >../gbp-pq-err 2>&1', @gbp_cmd;
-       if ($r) {
-           { local ($!,$?); copy('../gbp-pq-err', \*STDERR); }
-           failedcmd @gbp_cmd;
-       }
-       runcmd @git, qw(add -f debian/patches);
+       gbp_pq_export 'bw', $secret_bw, $secret_head;
     };
 }
 
@@ -1588,9 +1657,10 @@ sub make_patches ($) {
 
 sub cmd_make_patches () {
     my $opt_quiet_would_amend;
-    getoptions("bad options follow \`git-debrebase make-patches'",
+    getoptions("make-patches",
               'quiet-would-amend!', \$opt_quiet_would_amend);
     badusage "no arguments allowed" if @ARGV;
+    bail_if_rebasing();
     my $old_head = get_head();
     my $new = make_patches $old_head;
     my $d = get_differs $old_head, $new;
@@ -1620,8 +1690,9 @@ sub cmd_convert_from_gbp () {
 
     my ($upstream_spec) = @ARGV;
 
-    my ($upstream, $upstream_version) =
-       resolve_upstream_version($upstream_spec, $version);
+    my $upstream_version = upstreamversion $version;
+    my $upstream =
+       resolve_upstream_version($upstream_spec, $upstream_version);
 
     my $old_head = get_head();
 
@@ -1760,6 +1831,194 @@ git-debrebase: WARNING: doing so would drop all upstream patches!
 END
 }
 
+sub cmd_convert_from_dgit_view () { 
+    my $clogp = parsechangelog();
+
+    my $bpd = (cfg 'dgit.default.build-products-dir',1) // '..';
+    my $do_origs = 1;
+    my $do_tags = 1;
+    my $always = 0;
+    my $diagnose = 0;
+
+    getoptions("convert-from-dgit-view",
+              'diagnose!', \$diagnose,
+              'build-products-dir:s', \$bpd,
+              'origs!', \$do_origs,
+              'tags!', \$do_tags,
+              'always-convert-anyway!', \$always);
+    fail "takes 1 optional argument, the upstream commitish" if @ARGV>1;
+
+    my @upstreams;
+
+    if (@ARGV) {
+       my $spec = shift @ARGV;
+       my $commit = git_rev_parse "$spec^{commit}";
+       push @upstreams, { Commit => $commit,
+                          Source => "$ARGV[0], from command line",
+                          Only => 1,
+                        };
+    }
+
+    my $head = get_head();
+
+    if (!$always) {
+       my $troubles = 0;
+       my $trouble = sub { $troubles++; };
+       keycommits $head, sub{}, sub{}, $trouble, $trouble;
+       printdebug "troubles=$troubles\n";
+       if (!$troubles) {
+           print STDERR <<END;
+$us: Branch already seems to be in git-debrebase format!
+$us: --always-convert-anyway would do the conversion operation anyway
+$us: but is probably a bad idea.  Probably, you wanted to do nothing.
+END
+           fail "Branch already in git-debrebase format." unless $opt_noop_ok;
+           finish 0;
+       }
+    }
+
+    snags_maybe_bail_early();
+
+    my $version = upstreamversion $clogp->{Version};
+    print STDERR "Considering possible commits corresponding to upstream:\n";
+
+    if (!@upstreams) {
+       if ($do_tags) {
+           my @tried;
+           my $ups_tag = upstream_commitish_search $version, \@tried;
+           if ($ups_tag) {
+               my $this = "git tag $tried[-1]";
+               push @upstreams, { Commit => $ups_tag,
+                                  Source => $this,
+                                };
+           } else {
+               printf STDERR
+                   " git tag: no suitable tag found (tried %s)\n",
+                   "@tried";
+           }
+       }
+       if ($do_origs) {
+           my $p = $clogp->{'Source'};
+           # we do a quick check to see if there are plausible origs
+           my $something=0;
+           if (!opendir BPD, $bpd) {
+               die "$bpd: opendir: $!" unless $!==ENOENT;
+           } else {
+               while ($!=0, my $f = readdir BPD) {
+                   next unless is_orig_file_of_p_v $f, $p, $version;
+                   printf STDERR
+                       " orig: found what looks like a .orig, %s\n",
+                       "$bpd/$f";
+                   $something=1;
+                   last;
+               }
+               die "read $bpd: $!" if $!;
+               closedir BPD;
+           }
+           if ($something) {
+               my $tree = cmdoutput
+                   @dgit, qw(--build-products-dir), $bpd,
+                   qw(print-unapplied-treeish);
+               fresh_workarea();
+               in_workarea sub {
+                   runcmd @git, qw(reset --quiet), $tree, qw(-- .);
+                   rm_subdir_cached 'debian';
+                   $tree = cmdoutput @git, qw(write-tree);
+                   my $ups_synth = make_commit [], [ <<END, <<END,
+Import effective orig tree for upstream version $version
+END
+This includes the contents of the .orig(s), minus any debian/ directory.
+
+[git-debrebase import-from-dgit-view upstream-import-convert: $version]
+END
+                                                   ];
+                   push @upstreams, { Commit => $ups_synth,
+                                      Source => "orig(s) imported via dgit",
+                                    };
+               }
+           } else {
+               printf STDERR
+                   " orig: no suitable origs found (looked for %s in %s)\n",
+                   "${p}_".(stripeoch $version)."...", $bpd;
+           }
+       }
+    }
+
+    my $some_patches = stat_exists 'debian/patches/series';
+
+    print STDERR "Evaluating possible commits corresponding to upstream:\n";
+
+    my $result;
+    foreach my $u (@upstreams) {
+       my $work = $head;
+       fresh_workarea();
+       in_workarea sub {
+           runcmd @git, qw(reset --quiet), $u->{Commit}, qw(-- .);
+           runcmd @git, qw(checkout), $u->{Commit}, qw(-- .);
+           runcmd @git, qw(clean -xdff);
+           runcmd @git, qw(checkout), $head, qw(-- debian);
+           if ($some_patches) {
+               rm_subdir_cached 'debian/patches';
+               $work = make_commit [ $work ], [
+ 'git-debrebase convert-from-dgit-view: drop upstream changes from breakwater',
+ "Drop upstream changes, and delete debian/patches, as part of converting\n".
+ "to git-debrebase format.  Upstream changes will appear as commits.",
+ '[git-debrebase convert-from-dgit-view: drop patches from tree]'
+                                          ];
+           }
+           $work = make_commit [ $work, $u->{Commit} ], [
+ 'git-debrebase convert-from-dgit-view: declare upstream',
+ '(Re)constructed breakwater merge.',
+ '[git-debrebase anchor: declare upstream]'
+                                                        ];
+           runcmd @git, qw(checkout --quiet -b mk), $work;
+           if ($some_patches) {
+               runcmd @git, qw(checkout), $head, qw(-- debian/patches);
+               runcmd @git, qw(reset --quiet);
+               my @gbp_cmd = (qw(gbp pq import));
+               if (!$diagnose) {
+                   my $gbp_err = "../gbp-pq-err";
+                   @gbp_cmd = shell_cmd "exec >$gbp_err 2>&1", @gbp_cmd;
+               }
+               my $r = system @gbp_cmd;
+               if ($r) {
+                   printf STDERR
+                       " %s: couldn't apply patches: gbp pq %s",
+                       $u->{Source}, waitstatusmsg();
+                   return;
+               }
+           }
+           my $work = git_rev_parse qw(HEAD);
+           my $diffout = cmdoutput @git, qw(diff-tree --stat HEAD), $work;
+           if (length $diffout) {
+               print STDERR
+                   " $u->{Source}: applying patches gives different tree\n";
+               print STDERR $diffout if $diagnose;
+               return;
+           }
+           # OMG!
+           $u->{Result} = $work;
+           $result = $u;
+       };
+       last if $result;
+    }
+
+    if (!$result) {
+       fail <<END;
+Could not find or construct a suitable upstream commit.
+Rerun adding --diagnose after convert-from-dgit-view, or pass a
+upstream commmit explicitly or provide suitable origs.
+END
+    }
+
+    printf STDERR "Yes, will base new branch on %s\n", $result->{Source};
+
+    ffq_check $result->{Result};
+    snags_maybe_bail();
+    update_head_checkout $head, $result->{Result},
+       'convert-from-dgit-view';
+}
+
 sub cmd_downstream_rebase_launder_v0 () {
     badusage "needs 1 argument, the baseline" unless @ARGV==1;
     my ($base) = @ARGV;
@@ -1809,11 +2068,13 @@ sub cmd_downstream_rebase_launder_v0 () {
     }
 }
 
-getoptions("bad options\n",
+getoptions_main
+          ("bad options\n",
           "D+" => \$debuglevel,
           'noop-ok', => \$opt_noop_ok,
           'f=s' => \@snag_force_opts,
           'anchor=s' => \@opt_anchors,
+          '--dgit=s' => \($dgit[0]),
           'force!',
           '-i:s' => sub {
               my ($opt,$val) = @_;
@@ -1826,7 +2087,9 @@ getoptions("bad options\n",
               # approach.  '-i=s{0,}' does not work with bundling.
               push @$opt_defaultcmd_interactive, @ARGV;
               @ARGV=();
-          });
+          },
+          'help' => sub { print $usage_message or die $!; finish 0; },
+          );
 
 initdebug('git-debrebase ');
 enabledebug if $debuglevel;