git-debrebase

   1 #!/usr/bin/perl -w
   2 # git-debrebase
   3 # Script helping make fast-forwarding histories while still rebasing
   4 # upstream deltas when working on Debian packaging
   5 #
   6 # Copyright (C)2017 Ian Jackson
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  20
  21 # usages:
  22 #    git-debrebase status
  23 #    git-debrebase start       # like ffqrebase start + debrebase launder
  24 #    git-debrebase new-upstream [stuff]  # see below
  25 #    git-debrebase <git-rebase options>  # does debrebase start if necessary
  26 #
  27 #    git-debrebase analyse
  28 #    git-debrebase launder     # prints breakwater tip
  29 #    git-debrebase create-new-upstream-breakwater [-f] <upstreaminfo>...
  30 #
  31 # <upstreaminfo> is
  32 #    [,][<subdir>:][+]<commitid>[,...]
  33 #
  34 # if initial comma is supplied, entries are not positional.  Unspecified
  35 # <subdir> means root (and there may be only one).
  36 # xxx want auto branch names
  37 # xxx too complicated
  38 # how about for now
  39 #    [+]<commit> [<subdir/> [+]<commit>...]
  40 # ?  plus options
  41 #     --new-upstream-different-subtrees
  42 #
  43 #  automatic case
  44 #       git-debrebase new-upstream
  45 #             - previous breakwater merge must be gdr-generated
  46 #             - orig set is the same as before
  47 #             - implicitly uses upstream branches according to orig set
  48 #             - not all upstream branches need be updated
  49 #             - insists on fast-forward of each branch, unless
  50 #                  --force (or --force=<subdir>[/])
  51 #  branch set adjustments
  52 #       git-debrebase new-upstream --add <subdir>/
  53 #       git-debrebase new-upstream --rm <subdir>/
  54 #       git-debrebase new-upstream / [<subdir>/ ...]
  55 #             - orig set is adjusted
  56 #             - otherwise like auto (--add is not checked for ffness, obv)
  57 #             - multiple --add and --rm may be specified
  58 #             - --add makes new upstream the last contributor
  59 #  explicit
  60 #       git-debrebase / [<rootcommitid>] [<subdir>/ [<commitid>] ...]
  61 #             - orig set is precisely as specified now
  62 #             - previous breakwater merge is irrelevant
  63 #             - no fast forward checks
  64 #  for now only explicit with commitids
  65
  66 #         implicitly uses `upstream'
  67 #                                     # (or multiple other branches)
  68 #       git-debrebase new-upstream \
  69 #             [<subdir>/]=<commitid>
  70
  71 #    UPSTREAM[,[[SUBDIR:]SUBUPSTREAM]
  72 #    default for SUBDIR: is from previous upstream merge[xxx terminology]
  73 #
  74 #
  75 #xxx
  76 # when starting must record original start (for ff)
  77 # and new rebase basis
  78 #
  79 #    git-ffqrebase start [BASE]
  80 #                # records previous HEAD so it can be overwritten
  81 #                # records base for future git-ffqrebase
  82 #    git-ffqrebase set-base BASE
  83 #    git-ffqrebase <git-rebase options>
  84 #    git-ffqrebase finish
  85 #    git-ffqrebase status [BRANCH]
  86 #
  87 #  refs/ffqrebase-prev/BRANCH    BRANCH may be refs/...; if not it means
  88 #  refs/ffqrebase-base/BRANCH      refs/heads/BRANCH
  89 #                               zero, one, or both of these may exist
  90 #
  91 # git-debrebase without start, if already started, is willing
  92 # to strip pseudomerges provided that they overwrite exactly
  93 # the previous HEAD
  94 #  xxxx is this right ?  what matters is have we pushed
  95 #    I think in fact the right answer is:
  96 #       git-debrebase always strips out pseudomerges from its branch
  97 #       a pseudomerge is put in at the time we want to push
  98 #       at that time, we make a pseudomerge of the remote tracking
  99 #           branch (if raw git) or the dgit view (if dgit)
 100 #       for raw git git-ffqrebase, do want preciseley to record
 101 #           value of remote tracking branch or our branch, on start, so we
 102 #           overwrite only things we intend to
 103 #  the previous pseudomerge    check for tags and remote branches ?
 104
 105 use strict;
 106
 107 use Memoize;
 108 use Carp;
 109 use Data::Dumper;
 110
 111 use Debian::Dgit qw(:DEFAULT $wa);
 112
 113 sub badusage ($) {
 114     my ($m) = @_;
 115     die "bad usage: $m\n";
 116 }
 117
 118 sub cfg ($) {
 119     my ($k) = @_;
 120     $/ = "\0";
 121     my @cmd = qw(git config -z);
 122     push @cmd, qw(--get-all) if wantarray;
 123     push @cmd, $k;
 124     my $out = cmdoutput @cmd;
 125     return split /\0/, $out;
 126 }
 127
 128 memoize('cfg');
 129
 130 sub get_commit ($) {
 131     my ($objid) = @_;
 132     my ($type,$data) = git_cat_file $objid;
 133     die unless $type eq 'commit';
 134     $data =~ m/(?<=\n)\n/;
 135     return ($`,$');
 136 }
 137
 138 sub D_DEB ()     { return 0x1; } # debian/ (not including debian/patches/)
 139 sub D_UPS ()     { return 0x2; } # upstream files
 140 sub D_PAT_ADD () { return 0x4; } # debian/patches/ extra patches at end
 141 sub D_PAT_OTH () { return 0x8; } # debian/patches other changes
 142
 143 our $rd = ".git/git-debrebase";
 144 our $ud = "$rd/work";
 145 our @git = qw(git);
 146
 147 sub commit_pr_info ($) {
 148     my ($r) = @_;
 149     return Data::Dumper->dump([$r], [qw(commit)]);
 150 }
 151
 152 sub calculate_committer_authline () {
 153     my $c = cmdoutput @git, qw(commit-tree --no-gpg-sign -m),
 154         'DUMMY COMMIT (git-debrebase)', "HEAD:";
 155     my ($h,$m) = get_commit $c;
 156     $h =~ m/^committer .*$/m or confess "($h) ?";
 157     return $&;
 158 }
 159
 160 # classify returns an info hash like this
 161 #   CommitId => $objid
 162 #   Hdr => # commit headers, including 1 final newline
 163 #   Msg => # commit message (so one newline is dropped)
 164 #   Tree => $treeobjid
 165 #   Type => (see below)
 166 #   Parents = [ {
 167 #       Ix => $index # ie 0, 1, 2, ...
 168 #       CommitId
 169 #       Differs => return value from get_differs
 170 #       IsOrigin
 171 #       IsDggitImport => 'orig' 'tarball' 'unpatched' 'package' (as from dgit)
 172 #     } ...]
 173 #   NewMsg => # commit message, but with any [dgit import ...] edited
 174 #             # to say "[was: ...]"
 175 #
 176 # Types:
 177 #   Packaging
 178 #   Upstream
 179 #   AddPatches
 180 #   Mixed
 181 #   Unknown
 182 #
 183 #   Pseudomerge
 184 #     has additional entres in classification result
 185 #       Overwritten = [ subset of Parents ]
 186 #       Contributor = $the_remaining_Parent
 187 #
 188 #   DgitImportUnpatched
 189 #     has additional entry in classification result
 190 #       OrigParents = [ subset of Parents ]
 191 #
 192 #   BreakwaterUpstreamMerge
 193 #     has additional entry in classification result
 194 #       OrigParents = [ subset of Parents ]
 195
 196 sub classify ($) {
 197     my ($objid) = @_;
 198
 199     my ($h,$m) = get_commit $objid;
 200
 201     my ($t) = $h =~ m/^tree (\w+)$/m or die $objid;
 202     my (@ph) = $h =~ m/^parent (\w+)$/m;
 203     my @p;
 204
 205     my $r = {
 206         CommitId => $objid,
 207         Hdr => $h,
 208         Msg => $m,
 209         Tree => $t,
 210         Parents => \@p,
 211     };
 212
 213     foreach my $ph (@ph) {
 214         push @p, {
 215             Ix => $#p,
 216             CommitId => $ph,
 217             Differs => (get_differs $t, $ph),
 218         };
 219     }
 220
 221     my $classify = sub {
 222         my ($type, @rest) = @_;
 223         $r = { %$r, Type => $type, @rest };
 224         return $r;
 225     };
 226     my $unknown = sub {
 227         my ($why) = @_;
 228         $r = { %$r, Type => qw(Unknown) };
 229         return $r;
 230     };
 231
 232     if (@p == 1) {
 233         my $d = $r->{Parents}[0]{Differs};
 234         if ($d == D_PAT_ADD) {
 235             return $classify->(qw(AddPatches));
 236         } elsif ($d & (D_PAT_ADD|D_PAT_OTH)) {
 237             return $unknown->("edits debian/patches");
 238         } elsif ($d == D_DEB) {
 239             return $classify->(qw(Packaging));
 240         } elsif ($d == D_UPS) {
 241             return $classify->(qw(Upstream));
 242         } elsif ($d == (D_DEB|D_UPS)) {
 243             return $classify->(qw(Mixed));
 244         } elsif ($d == 0) {
 245             return $unknown->("no changes");
 246         } else {
 247             confess "internal error $objid ?";
 248         }
 249     }
 250     if (!@p) {
 251         return $unknown->("origin commit");
 252     }
 253
 254     my @identical = grep { !$_->{Differs} } @p;
 255     if (@p == 2 && @identical == 1) {
 256         my @overwritten = grep { $_->{Differs} } @p;
 257         confess "internal error $objid ?" unless @overwritten==1;
 258         return $classify->(qw(Pseudomerge),
 259                            Overwritten => $overwritten[0],
 260                            Contributor => $identical[0]);
 261     }
 262     if (@p == 2 && @identical == 2) {
 263         my @bytime = nsort_by {
 264             my ($ph,$pm) = get_commit $_->{CommitId};
 265             $ph =~ m/^committer .* (\d+) [-+]\d+$/m or die "$_->{CommitId} ?";
 266             $1;
 267         } @p;
 268         return $classify->(qw(Pseudomerge),
 269                            SubType => qw(Ambiguous),
 270                            Overwritten => $bytime[0],
 271                            Contributor => $bytime[1]);
 272     }
 273     foreach my $p (@p) {
 274         my ($p_h, $p_m) = get_commit $p;
 275         $p->{IsOrigin} = $p_h !~ m/^parent \w+$/m;
 276         ($p->{IsDgitImport},) = $p_m =~ m/^\[dgit import ([0-9a-z]+) .*\]$/m;
 277     }
 278     my @orig_ps = grep { ($_->{IsDgitImport}//'X') eq 'orig' } @p;
 279     my $m2 = $m;
 280     if (!(grep { !$_->{IsOrigin} } @p) and
 281         (@orig_ps >= @p - 1) and
 282         $m2 =~ s{^\[(dgit import unpatched .*)\]$}{[was: $1]}m) {
 283         $r->{NewMsg} = $m2;
 284         return $classify->(qw(DgitImportUnpatched),
 285                            OrigParents => \@orig_ps);
 286     }
 287
 288     my ($stype, $series) = git_cat_file "$t:debian/patches/series";
 289     my $haspatches = $stype ne 'missing' && $series =~ m/^\s*[^#\n\t ]/m;
 290
 291     # How to decide about l/r ordering of breakwater merges ?  git
 292     # --topo-order prefers to expand 2nd parent first.  There's
 293     # already an easy rune to look for debian/ history anyway (git log
 294     # debian/) so debian breakwater branch should be 1st parent; that
 295     # way also there's also an easy rune to look for the upstream
 296     # patches (--topo-order).
 297     if (@p == 2 &&
 298         !$haspatches &&
 299         !$p[0]{IsOrigin} && # breakwater merge never starts with an origin
 300         !($p[0]{Differs} & ~D_DEB) &&
 301         !($p[1]{Differs} & ~D_UPS)) {
 302         return $classify->(qw(BreakwaterUpstreamMerge),
 303                            OrigParents => [ $p[1] ]);
 304     }
 305     # xxx multi-.orig upstreams
 306
 307     return $unknown->("complex merge");
 308 }
 309
 310 sub walk ($;$$$$);
 311 sub walk {
 312     my ($input,
 313         $nogenerate,$report,
 314         $wantdebonly,$depth) = @_;
 315     # go through commits backwards
 316     # we generate two lists of commits to apply
 317     # => ($tip, $breakwater_tip)
 318     my (@deb_cl, @ups_cl, @processed);
 319     my %found;
 320     my @pseudomerges;
 321
 322     $depth //= 0;
 323
 324     my $cl;
 325     my $xmsg = sub {
 326         my ($appendinfo) = @_;
 327         my $ms = $cl->{Msg};
 328         chomp $ms;
 329         $ms .= "\n\n[git-debrebase $appendinfo]\n";
 330         return (Msg => $ms);
 331     };
 332     my $rewrite_from_here = sub {
 333         push @processed, { SpecialMethod => 'StartRewrite' };
 334     };
 335     my $bomb = sub { # usage: return $bomb->();
 336             print $report " Unprocessable" if $report;
 337             $prprdelim->();
 338             if ($nogenerate) {
 339                 return (undef,undef);
 340             }
 341             die "commit $cur: Cannot cope with this commit";
 342     };
 343
 344     my $cur = $input;
 345     my $basis;
 346
 347     my $prdelim = "";
 348     my $prprdelim = sub { print $report $prdelim if $report; $prdelim=""; };
 349
 350     for (;;) {
 351         if (!defined $cur) {
 352             if ($report) {
 353                 print $report $predelim, "Origin";
 354                 $prdelim = "\n";
 355             }
 356             $basis = undef;
 357             last;
 358         }
 359         $cl = classify $cur;
 360         my $ty = $cl->{Type};
 361         my $st = $cl->{SubType};
 362         if ($report) {
 363             print $report $prdelim, "$cl->{CommitId} $cl->{Type}";
 364             $prdelim = "\n";
 365         }
 366         $found{$ty. ( defined($st) ? "-$st" : '' )}++;
 367         push @processed, $cl;
 368         my $p0 = @[ $cl->{Parents} }==1 ? $cl->{Parents}[0]{CommitId} : undef;
 369         if ($ty eq 'AddPatches') {
 370             $cur = $p0;
 371             $rewrite_from_here->();
 372             next;
 373         } elsif ($ty eq 'Packaging') {
 374             push @deb_cl, $cl;
 375             $cur = $p0;
 376             next;
 377         } elsif ($ty eq 'Upstream') {
 378             push @ups_cl, $cl;
 379             $cur = $p0;
 380             next;
 381         } elsif ($ty eq 'Mixed') {
 382             my $queue = sub {
 383                 my ($q, $wh) = @_;
 384                 my $cls = { $cl, $xmsg->("split mixed commit: $wh part") };
 385                 push @$q, $cls;
 386             };
 387             $queue->(\@deb_cl, "debian");
 388             $queue->(\@ups_cl, "upstream");
 389             $rewrite_from_here->();
 390             next;
 391         } elsif ($ty eq 'Pseudomerge') {
 392             print $report " Contributor=$ty->{Contributor}" if $report;
 393             push @pseudomerges, $cl;
 394             $rewrite_from_here->();
 395             $cur = $ty->{Contributor};
 396             next;
 397         } elsif ($ty eq 'BreakwaterUpstreamMerge') {
 398             $basis = $cur;
 399             last;
 400         } elsif ($ty eq 'DgitImportUnpatched') {
 401             # This import has a tree which is just like a breakwater
 402             # tree, but it has the wrong history.  Its ought to have
 403             # the previous breakwater (which dgit ought to have
 404             # generated a pseudomerge to overwrite) as an ancestor.
 405             # That will make the history of the debian/ files correct.
 406             # As for the upstream version: either it's the same upstream
 407             # as the previous breakwater, in which case that history is
 408             # precisely right.  Otherwise, it was a non-gitish upload
 409             # of a new upstream version.  We can tell these apart
 410             # by looking at the tree of the supposed upstream.
 411             my $differs = get_differs $previous_breakwater, $cl->{Tree};
 412             printf $report " Differs=%#x", $differs if $report;
 413             if ($differs & D_UPS) {
 414                 printf $report " D_UPS" if $report;
 415                 # This will also trigger if a non-dgit git-based NMU
 416                 # deleted .gitignore (which is a thing that some of
 417                 # the existing git tools do if the user doesn't
 418                 # somehow tell them not to).  Ah well.
 419                 push @deb_cl, {
 420                     %$cl,
 421                     SpecialMethod => 'DgitImportUpstreamUpdate',
 422                     $xmsg->("convert dgit import: debian changes")
 423                 };
 424             }
 425             push @deb_cl, {
 426                 %$cl,
 427                 SpecialMethod => 'DgitImportDebianUpdate',
 428                 $xmsg->("convert dgit import: upstream changes")
 429             };
 430             my $pm = $pseudomerges[-1];
 431             if (defined $pm) {
 432                 # To an extent, this is heurstic.  Imports don't have
 433                 # a useful history of the debian/ branch.  We assume
 434                 # that the first pseudomerge after an import has a
 435                 # useful history or debian/, and ignore the histories
 436                 # from later pseudomerge.  Often the first pseudomerge
 437                 # will be the dgit import of the upload to the actual
 438                 # suite intended by the non-dgit NMUer, and later
 439                 # pseudomerges may represent in-archive copies.
 440                 my $ovwr = $pm->{Overwritten};
 441                 printf $report " PM=%s \@Ovewritten:%d", $pm, (scalar @$ovwr)
 442                     if $report;
 443                 if (@$ovwr != 1) {
 444                     return $bomb->();
 445                 }
 446                 $basis = walk
 447                     $ovwr->[0]{CommitId},
 448                     $nogenerate, $report,
 449                     1, $depth+1;
 450             } else {
 451                 # Everything is from this import.
 452                 printf $report " NoPM" if $report;
 453
 454                 xxx set basis to undef or something to mean make origin
 455             }
 456             $rewrite_from_here->();
 457             last;
 458         } else {
 459             return $bomb->();
 460         }
 461     }
 462     $prprdelim->();
 463     if ($nogenerate) {
 464         return (undef, $basis);
 465     }
 466
 467     # Now we build it back up again
 468
 469     workarea_fresh();
 470
 471     my $rewriting = 0;
 472
 473     my $build = $basis;
 474
 475     my $rm_tree_cached = sub {
 476         my ($subdir) = @_;
 477         runcmd @git, qw(rm --quiet -rf --cached), $subdir;
 478     };
 479     my $read_tree_debian = sub {
 480         my ($treeish) = @_;
 481         $rm_tree_cached->(qw(debian));
 482         runcmd @git, qw(read-tree --prefix=debian/), "$treeish:debian";
 483     };
 484     my $read_tree_upstream = sub {
 485         my ($treeish) = @_;
 486         runcmd @git, qw(read-tree), $treeish;
 487         $read_tree_debian->($build);
 488     };
 489
 490     my $committer_authline = calculate_committer_authline();
 491
 492     in_workarea sub {
 493         mkdir $rd or $!==EEXIST or die $!;
 494         my $current_method;
 495         foreach my $cl (qw(Debian), (reverse @deb_cl),
 496                         { SpecialMethod => 'RecordBreakwaterTip' },
 497                         qw(Upstream), (reverse @ups_cl)) {
 498             if (!ref $cl) {
 499                 $current_method = $cl;
 500                 next;
 501             }
 502             my $method = $cl->{SpecialMethod} // $current_method;
 503             my @parents = ($build);
 504             my $cltree = $cl->{CommitId};
 505             if ($method eq 'Debian') {
 506                 $read_tree_debian->($cltree);
 507             } elsif ($method eq 'Upstream') {
 508                 $read_tree_upstream->($cltree);
 509             } elsif ($method eq 'StartRewrite') {
 510                 $rewriting = 1;
 511                 next;
 512             } elsif ($method eq 'RecordBreakwaterTip') {
 513                 last if $wantdebonly;
 514                 $breakwater = $build;
 515                 next;
 516             } elsif ($method eq 'DgitImportDebianUpdate') {
 517                 $read_tree_debian->($cltree);
 518                 $rm_tree_cached->(qw(debian/patches));
 519             } elsif ($method eq 'DgitImportUpstreamUpdate') {
 520                 $read_tree_upstream->($cltree);
 521                 push @parents, map { $_->{CommitId} } @{ $cl->{OrigParents} };
 522             } else {
 523                 confess "$method ?";
 524             }
 525             $rewriting ||= $cl ne pop @processed;
 526             my $newtree = cmdoutput @git, qw(write-tree);
 527             my $ch = $cl->{Hdr};
 528             $ch =~ s{^tree .*}{tree $newtree}m or confess "$ch ?";
 529             $ch =~ s{^parent .*\n}{}m;
 530             $ch =~ s{(?=^author)}{
 531                 map { "parent $_\n" } @parents
 532             }me or confess "$ch ?";
 533             if ($rewriting) {
 534                 $ch =~ s{^committer .*$}{$committer_authline}m
 535                     or confess "$ch ?";
 536             }
 537             my $cf = "$rd/m$rewriting";
 538             open CD, ">", $cf or die $!;
 539             print CD $ch, "\n", $cl->{Msg} or die $!;
 540             close CD or die $!;
 541             my @cmd = (@git, qw(hash-object));
 542             push @cmd, qw(-w) if $rewriting;
 543             push @cmd, qw(-t commit), $cf;
 544             my $newcommit = cmdoutput @cmd;
 545             confess "$ch ?" unless $rewriting or $newcommit eq $cl->{CommitId};
 546             $build = $newcommit;
 547         }
 548     };
 549
 550     runcmd @git, qw(diff-tree --quiet),
 551         map { $wantdebonly ? "$_:debian" : $_ }
 552         $input, $build;
 553
 554     return ($build, $breakwater);
 555 }
 556
 557 sub get_head () { return git_rev_parse qw(HEAD); }
 558
 559 sub update_head ($$) {
 560     my ($old, $new, $mrest) = @_;
 561     runcmd @git, qw(update-ref -m), "git-debrebase $mrest", $new, $old;
 562 }
 563
 564 sub cmd_launder () {
 565     badusage "no arguments to launder allowed";
 566     my $old = get_head();
 567     my ($tip,$breakwater) = walk $old;
 568     update_head $old, $tip, 'launder';
 569     # no tree changes except debian/patches
 570     runcmd @git, qw(rm --quiet -rf debian/patches);
 571     printf "# breakwater tip\n%s\n", $breakwater;
 572 }
 573
 574 sub cmd_analyse () {
 575     die if ($ARGV[0]//'') =~ m/^-/;
 576     badusage "too many arguments to analyse" if @ARGV>1;
 577     my ($old) = @ARGV;
 578     if (defined $old) {
 579         $old = git_rev_parse $old;
 580     } else {
 581         $old = get_head();
 582     }
 583     my ($dummy,$breakwater) = walk $old, 1,*STDOUT;
 584     print "$breakwater BREAKWATER\n";
 585     STDOUT->error and die $!;
 586 }
 587
 588 my $toplevel = runcmd @git, qw(rev-parse --show-toplevel);
 589 chdir $toplevel or die "chdir $toplevel: $!";
 590
 591 my $cmd = shift @ARGV;
 592 my $cmdfn = $cmd;
 593 $cmdfn =~ y/-/_/;
 594 $cmdfn = ${*::}{"cmd_$cmdfn"};
 595
 596 $cmdfn or badusage "unknown git-debrebase sub-operation $cmd";
 597 $cmdfn->();