git-debrebase

   1 #!/usr/bin/perl -w
   2 # git-debrebase
   3 # Script helping make fast-forwarding histories while still rebasing
   4 # upstream deltas when working on Debian packaging
   5 #
   6 # Copyright (C)2017 Ian Jackson
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  20
  21 # usages:
  22 #    git-debrebase status
  23 #    git-debrebase start       # like ffqrebase start + debrebase launder
  24 #    git-debrebase new-upstream [stuff]  # see below
  25 #    git-debrebase <git-rebase options>  # does debrebase start if necessary
  26 #
  27 #    git-debrebase analyse
  28 #    git-debrebase launder     # prints breakwater tip
  29 #    git-debrebase create-new-upstream-breakwater [-f] <upstreaminfo>...
  30 #
  31 # <upstreaminfo> is
  32 #    [,][<subdir>:][+]<commitid>[,...]
  33 #
  34 # if initial comma is supplied, entries are not positional.  Unspecified
  35 # <subdir> means root (and there may be only one).
  36 # xxx want auto branch names
  37 # xxx too complicated
  38 # how about for now
  39 #    [+]<commit> [<subdir/> [+]<commit>...]
  40 # ?  plus options
  41 #     --new-upstream-different-subtrees
  42 #
  43 #  automatic case
  44 #       git-debrebase new-upstream
  45 #             - previous breakwater merge must be gdr-generated
  46 #             - orig set is the same as before
  47 #             - implicitly uses upstream branches according to orig set
  48 #             - not all upstream branches need be updated
  49 #             - insists on fast-forward of each branch, unless
  50 #                  --force (or --force=<subdir>[/])
  51 #  branch set adjustments
  52 #       git-debrebase new-upstream --add <subdir>/
  53 #       git-debrebase new-upstream --rm <subdir>/
  54 #       git-debrebase new-upstream / [<subdir>/ ...]
  55 #             - orig set is adjusted
  56 #             - otherwise like auto (--add is not checked for ffness, obv)
  57 #             - multiple --add and --rm may be specified
  58 #             - --add makes new upstream the last contributor
  59 #  explicit
  60 #       git-debrebase / [<rootcommitid>] [<subdir>/ [<commitid>] ...]
  61 #             - orig set is precisely as specified now
  62 #             - previous breakwater merge is irrelevant
  63 #             - no fast forward checks
  64 #  for now only explicit with commitids
  65
  66 #         implicitly uses `upstream'
  67 #                                     # (or multiple other branches)
  68 #       git-debrebase new-upstream \
  69 #             [<subdir>/]=<commitid>
  70
  71 #    UPSTREAM[,[[SUBDIR:]SUBUPSTREAM]
  72 #    default for SUBDIR: is from previous upstream merge[xxx terminology]
  73 #
  74 #
  75 #xxx
  76 # when starting must record original start (for ff)
  77 # and new rebase basis
  78 #
  79 #    git-ffqrebase start [BASE]
  80 #                # records previous HEAD so it can be overwritten
  81 #                # records base for future git-ffqrebase
  82 #    git-ffqrebase set-base BASE
  83 #    git-ffqrebase <git-rebase options>
  84 #    git-ffqrebase finish
  85 #    git-ffqrebase status [BRANCH]
  86 #
  87 #  refs/ffqrebase-prev/BRANCH    BRANCH may be refs/...; if not it means
  88 #  refs/ffqrebase-base/BRANCH      refs/heads/BRANCH
  89 #                               zero, one, or both of these may exist
  90 s
  91 # git-debrebase without start, if already started, is willing
  92 # to strip pseudomerges provided that they overwrite exactly
  93 # the previous HEAD
  94 #  xxxx is this right ?  what matters is have we pushed
  95 #  the previous pseudomerge    check for tags and remote branches ?
  96
  97 use strict;
  98
  99 use Memoize;
 100 use Data::Dumper;
 101
 102 use Debian::Dgit qw(:DEFAULT $wa);
 103
 104 sub cfg ($) {
 105     my ($k) = @_;
 106     $/ = "\0";
 107     my @cmd = qw(git config -z);
 108     push @cmd, qw(--get-all) if wantarray;
 109     push @cmd, $k;
 110     my $out = cmdoutput @cmd;
 111     return split /\0/, $out;
 112 }
 113
 114 memoize('cfg');
 115
 116 sub get_commit ($) {
 117     my ($objid) = @_;
 118     my ($type,$data) = git_cat_file $objid;
 119     die unless $type eq 'commit';
 120     $data =~ m/(?<=\n)\n/;
 121     return ($`,$');
 122 }
 123
 124 sub D_DEB ()     { return 0x1; } # debian/ (not including debian/patches/)
 125 sub D_UPS ()     { return 0x2; } # upstream files
 126 sub D_PAT_ADD () { return 0x4; } # debian/patches/ extra patches at end
 127 sub D_PAT_OTH () { return 0x8; } # debian/patches other changes
 128
 129 our $rd = ".git/git-debrebase";
 130 our $ud = "$rd/work";
 131
 132 sub commit_pr_info ($) {
 133     my ($r) = @_;
 134     return Data::Dumper->dump([$r], [qw(commit)]);
 135 }
 136
 137 sub calculate_committer_authline () {
 138     my $c = cmdoutput @git, qw(commit-tree --no-gpg-sign -m),
 139         'DUMMY COMMIT (git-debrebase)', "$basis:";
 140     my ($h,$m) = get_commit $c;
 141     $h =~ m/^committer .*$/m or confess "($h) ?";
 142     return $&;
 143 }
 144
 145 # classify returns an info hash like this
 146 #   CommitId => $objid
 147 #   Hdr => # commit headers, including 1 final newline
 148 #   Msg => # commit message (so one newline is dropped)
 149 #   Tree => $treeobjid
 150 #   Type => (see below)
 151 #   Parents = [ {
 152 #       Ix => $index # ie 0, 1, 2, ...
 153 #       CommitId
 154 #       Differs => return value from get_differs
 155 #       IsOrigin
 156 #       IsDggitImport => 'orig' 'tarball' 'unpatched' 'package' (as from dgit)
 157 #     } ...]
 158 #   NewMsg => # commit message, but with any [dgit import ...] edited
 159 #             # to say "[was: ...]"
 160 #
 161 # Types:
 162 #   Packaging
 163 #   Upstream
 164 #   AddPatches
 165 #   Mixed
 166 #   Unknown
 167 #
 168 #   Pseudomerge
 169 #     has additional entres in classification result
 170 #       Overwritten = [ subset of Parents ]
 171 #       Contributor = $the_remaining_Parent
 172 #
 173 #   DgitImportUnpatched
 174 #     has additional entry in classification result
 175 #       OrigParents = [ subset of Parents ]
 176 #
 177 #   BreakwaterUpstreamMerge
 178 #     has additional entry in classification result
 179 #       OrigParents = [ subset of Parents ]
 180
 181 sub classify ($) {
 182     my ($objid) = @_;
 183
 184     my ($h,$m) = get_commit $objid;
 185
 186     my ($t) = $h =~ m/^tree (\w+)$/m or die $cur;
 187     my (@ph) = $h =~ m/^parent (\w+)$/m;
 188     my @p;
 189
 190     my $r = {
 191         CommitId => $objid,
 192         Hdr => $hdr,
 193         Msg => $m,
 194         Tree => $t,
 195         Parents => \@p,
 196     };
 197
 198     foreach my $ph (@ph) {
 199         push @p, {
 200             Ix => $#p,
 201             CommitId => $ph,
 202             Differs => (get_differs $t, $ph),
 203         };
 204     }
 205
 206     my $classify = sub {
 207         my ($type, @rest) = @_;
 208         $r = { %r, Type => $type, @rest };
 209         return $r;
 210     };
 211     my $unknown = sub {
 212         my ($why) = @_;
 213         $r = { %r, Type => Unknown };
 214         return $r;
 215     }
 216
 217     if (@p == 1) {
 218         my $d = $r->{Parents}[0]{Differs};
 219         if ($d == D_DPAT_ADD) {
 220             return $classify->(qw(AddPatches));
 221         } elsif ($d & (D_DPAT_ADD|D_DPAT_OTH)) {
 222             return $unknown->("edits debian/patches");
 223         } elsif ($d == D_DEB) {
 224             return $classify->(qw(Packaging));
 225         } elsif ($d == D_UPS) {
 226             return $classify->(qw(Upstream));
 227         } elsif ($d == D_DEB|D_UPS) {
 228             return $classify->(qw(Mixed));
 229         } elsif ($d == 0) {
 230             return $unknown->("no changes");
 231         } else {
 232             confess "internal error $objid ?";
 233         }
 234     }
 235     if (!@p) {
 236         return $unknown->("origin commit");
 237     }
 238
 239     my @identical = grep { !$_->{Differs} } @p;
 240     if (@p == 2 && @identical == 1) {
 241         my @overwritten = grep { $_->{Differs} } @p;
 242         confess "internal error $objid ?" unless @overwritten==1;
 243         return $classify->(qw(Pseudomerge),
 244                            Overwritten => $overwritten[0],
 245                            Contributor => $identical[0]);
 246     }
 247     if (@p == 2 && @identical == 2) {
 248         my @bytime = nsort_by {
 249             my ($ph,$pm) = get_commit $_->{CommitId};
 250             $ph =~ m/^committer .* (\d+) [-+]\d+$/m or die "$_->{CommitId} ?";
 251             $1;
 252         } @p;
 253         return $classify->(qw(Pseudomerge),
 254                            SubType => qw(Ambiguous),
 255                            Overwritten => $bytime[0],
 256                            Contributor => $bytime[1]);
 257     }!
 258     foreach my $p (@p) {
 259         my ($p_h, $p_m) = get_commit $p;
 260         $p->{IsOrigin} = $p_h !~ m/^parent \w+$/m;
 261         ($p->{IsDgitImport},) = $p_m =~ m/^\[dgit import ([0-9a-z]+) .*\]$/m;
 262     }
 263     my @orig_ps = grep { ($_->{IsDgitImport}//'X') eq 'orig' };
 264     my $m2 = $m;
 265     if (!(grep { !$_->{IsOrigin} } @p) and
 266         (@origs >= @p - 1) and
 267         $m2 =~ s{^\[(dgit import unpatched .*)\]$}{[was: $1]}m) {
 268         $r->{NewMsg} = $m2;
 269         return $classify->(qw(DgitImportUnpatched),
 270                            OrigParents => \@orig_ps);
 271     }
 272
 273     my ($stype, $series) = git_cat_file "$t:debian/patches/series";
 274     my $haspatches = $stype ne 'missing' && $series =~ m/^\s*[^#\n\t ]/m;
 275
 276     # How to decide about l/r ordering of breakwater merges ?  git
 277     # --topo-order prefers to expand 2nd parent first.  There's
 278     # already an easy rune to look for debian/ history anyway (git log
 279     # debian/) so debian breakwater branch should be 1st parent; that
 280     # way also there's also an easy rune to look for the upstream
 281     # patches (--topo-order).
 282     if (@p == 2 &&
 283         !$haspatches &&
 284         !$p[0]{IsOrigin} && # breakwater merge never starts with an origin
 285         !($p[0]{Differs} & ~D_DEB) &&
 286         !($p[1]{Differs} & ~D_UPS)) {
 287         return $classify->(qw(BreakwaterUpstreamMerge),
 288                            OrigParents => [ $p[1] ]);
 289     }
 290     # xxx multi-.orig upstreams
 291
 292     return $unknown->("complex merge");
 293 }
 294
 295 sub walk ($$$;$$$) {
 296     my ($input, $pseudos_must_overwrite_this, $wantdebonly,
 297         $report, $depth, $report_anomaly, $report_only) = @_;
 298     # go through commits backwards
 299     # we generate two lists of commits to apply
 300     # => ($tip, $breakwater_tip)
 301     my (@deb_cl, @ups_cl, @processed);
 302     my %found;
 303     my @pseudomerges;
 304
 305     $report //= sub { };
 306     $report_anomaly //= sub {
 307         my ($cl, $msg) = @_;
 308         die "commit $cl: $msg\n";
 309     };
 310     $depth //= 0;
 311
 312     my $cl;
 313     my $xmsg = sub {
 314         my ($appendinfo) = @_;
 315         my $ms = $cl->{Msg};
 316         chomp $ms;
 317         $ms .= "\n\n[git-debrebase $appendinfo]\n";
 318         return (Msg => $ms);
 319     };
 320     my $rewrite_from_here = sub {
 321         push @processed, { SpecialMethod => 'StartRewrite' };
 322     };
 323
 324     my $cur = $input;
 325
 326     for (;;) {
 327         $cl = classify $cur;
 328         my $ty = $cl->{Type};
 329         my $st = $cl->{SubType};
 330         $report->($cl);
 331         $found{$ty. ( defined($st) ? "-$st" : '' )}++;
 332         push @processed, $cl;
 333         my $p0 = $cl->{Parents}[0]{CommitId};
 334         if ($ty eq 'AddPatches') {
 335             $cur = $p0;
 336             $rewrite_from_here->();
 337             next;
 338         } elsif ($ty eq 'Packaging') {
 339             push @deb_cl, $cl;
 340             $cur = $p0;
 341             next;
 342         } elsif ($ty eq 'Upstream') {
 343             push @ups_cl, $cl;
 344             $cur = $p0;
 345             next;
 346         } elsif ($ty eq 'Mixed') {
 347             my $queue = sub {
 348                 my ($q, $wh) = @_;
 349                 my $cls = { $cl, $xmsg->("split mixed commit: $wh part") };
 350                 push @$q, $cls;
 351             };
 352             $queue->(\@deb_cl, "debian");
 353             $queue->(\@ups_cl, "upstream");
 354             $rewrite_from_here->();
 355             next;
 356         } elsif ($ty eq 'Pseudomerge') {
 357             if (defined $pseudos_must_overwrite_this &&
 358                 !grep {
 359                     is_fast_fwd $pseudos_must_overwrite_this, $_->{CommitId}
 360                 },
 361                 @{ $cl->{Overwritten} }) {
 362                 $report_anomaly->($cl,
 363                                   "Pseudomerge should overwrite".
 364                                   " $pseudos_must_overwrite_this".
 365                                   " but does not do so");
 366             }
 367             push @pseudomerges, $cl;
 368             $rewrite_from_here->();
 369             $cur = $ty->{Contributor};
 370             next;
 371         } elsif ($ty eq 'BreakwaterUpstreamMerge') {
 372             $basis = $cur;
 373             last;
 374         } elsif ($ty eq 'DgitImportUnpatched' &&
 375                  @pseudomerges == 1) {
 376             # This import has a tree which is just like a breakwater
 377             # tree, but it has the wrong history.  Its ought to have
 378             # the previous breakwater (which dgit ought to have
 379             # generated a pseudomerge to overwrite) as an ancestor.
 380             # That will make the history of the debian/ files correct.
 381             # As for the upstream version: either it's the same upstream
 382             # as the previous breakwater, in which case that history is
 383             # precisely right.  Otherwise, it was a non-gitish upload
 384             # of a new upstream version.  We can tell these apart
 385             # by looking at the tree of the supposed upstream.
 386             my $differs = get_differs $previous_breakwater, $cl->{Tree};
 387             if ($differs & D_UPS) {
 388                 push @deb_cl, {
 389                     %r,
 390                     SpecialMethod => 'DgitImportUpstreamUpdate',
 391                     $xmsg->("convert dgit import: debian changes")
 392                 };
 393             }
 394             push @deb_cl, {
 395                 %r,
 396                 SpecialMethod => 'DgitImportDebianUpdate',
 397                 $xmsg->("convert dgit import: upstream changes")
 398             };
 399             $basis = launder $pseudomerges[0]{Overwritten}, undef, 1,
 400                 $report, $depth+1, $nogenerate;
 401             $rewrite_from_here->();
 402             last;
 403         } else {
 404             $report_anomaly->($cl, "Cannot cope with this commit");
 405         }
 406     }
 407     # Now we build it back up again
 408
 409     if ($nogenerate) {
 410         return (undef, $basis);
 411     }
 412
 413     workarea_fresh();
 414
 415     my $rewriting = 0;
 416
 417     my $build = $basis;
 418
 419     my $rm_tree_cached = sub {
 420         my ($subdir) = @_;
 421         runcmd @git, qw(rm --quiet -rf --cached), $subdir;
 422     };
 423     my $read_tree_debian = sub {
 424         my ($treeish) = @_;
 425         $rm_tree_cached->(qw(debian));
 426         runcmd @git, qw(read-tree --prefix=debian/), "$treeish:debian";
 427     };
 428     my $read_tree_upstream = sub {
 429         my ($treeish) = @_;
 430         runcmd @git, qw(read-tree), $treeish;
 431         $read_tree_debian->($build);
 432     };
 433
 434     my $committer_authline = calculate_committer_authline();
 435
 436     in_workarea sub {
 437         mkdir $rd or $!==EEXIST or die $!;
 438         my $current_method;
 439         foreach my $cl (qw(Debian), (reverse @deb_cl),
 440                         { SpecialMethod => 'RecordBreakwaterTip' },
 441                         qw(Upstream), (reverse @ups_cl)) {
 442             if (!ref $cl) {
 443                 $current_method = $cl;
 444                 next;
 445             }
 446             $method = $cl->{SpecialMethod} // $current_method;
 447             my @parents = ($build);
 448             my $cltree = $cl->{CommitId}
 449             if ($method eq 'Debian') {
 450                 $read_tree_debian->($cltree);
 451             } elsif ($method eq 'Upstream') {
 452                 $read_tree_upstream->($cltree);
 453             } elsif ($method eq 'StartRewrite') {
 454                 $rewriting = 1;
 455                 next;
 456             } elsif ($method eq 'RecordBreakwaterTip') {
 457                 last if $wantdebonly;
 458                 $breakwater = $build;
 459                 next;
 460             } elsif ($method eq 'DgitImportDebianUpdate') {
 461                 $read_tree_debian->($cltree);
 462                 $rm_tree_cached(qw(debian/patches));
 463             } elsif ($method eq 'DgitImportUpstreamUpdate') {
 464                 $read_tree_upstream->($cltree);
 465                 push @parents, map { $_->{CommitId} } @{ $cl->{OrigParents} };
 466             } else {
 467                 confess "$method ?";
 468             }
 469             $rewriting ||= $cl ne pop @processed;
 470             my $newtree = cmdoutput @git, qw(write-tree);
 471             my $ch = $cl->{Hdr};
 472             $ch =~ s{^tree .*}{tree $newtree}m or confess "$ch ?";
 473             $ch =~ s{^parent .*\n}{}m;
 474             $ch =~ s{(?=^author}{
 475                 map { "parent $_\n" } @parents
 476             }me or confess "$ch ?";
 477             if ($rewrite) {
 478                 $ch =~ s{^committer .*$}{$committer_authline}m
 479                     or confess "$ch ?";
 480             }
 481             my $cf = "$rd/m$rewrite"
 482                 open CD, ">", $cf or die $!;
 483             print CD $ch, "\n", $cl->{Msg}; or die $!;
 484             close CD or die $!;
 485             my @cmd = (@git, qw(hash-object));
 486             push @cmd, qw(-w) if $rewrite;
 487             push @cmd, qw(-t commit), $cf;
 488             my $newcommit = cmdoutput @cmd;
 489             confess "$ch ?" unless $rewrite or $newcommit eq $cl->{CommitId};
 490             $build = $newcommit;
 491         }
 492     };
 493
 494     runcmd @git, qw(diff-tree --quiet),
 495         map { $wantdebonly ? "$_:debian" : $_ },
 496         $input, $build;
 497
 498     return ($build, $breakwater);
 499 }
 500
 501 sub get_head () { return git_rev_parse qw(HEAD); }
 502
 503 sub update_head ($$) {
 504     my ($old, $new, $mrest) = @_;
 505     runcmd @git, qw(update-ref -m), "git-debrebase $mrest", $new, $old;
 506 }
 507
 508 sub cmd_analyse () {
 509
 510
 511 sub cmd_launder () {
 512     my $old = get_head();
 513     my ($tip,$breakwater) = launder $old, 0, undef, 0;
 514     update_head $old, $tip, 'launder';
 515     # no tree changes except debian/patches
 516     runcmd @git, qw(rm --quiet -rf debian/patches);
 517     printf "# breakwater tip:\n%s\n", $breakwater;
 518 }
 519
 520 my $toplevel = runcmd @git, qw(rev-parse --show-toplevel);
 521 chdir $toplevel or die "chdir $toplevel: $!";
 522
 523 my $cmd = shift @ARGV;
 524 my $cmdfn = $cmd;
 525 $cmdfn =~ y/-/_/;
 526 $cmdfn = ${*::}{"cmd_$cmdfn"};
 527
 528 $cmdfn or badusage "unknown git-debrebase sub-operation $cmd";
 529 $cmdfn->();