git-debrebase

   1 #!/usr/bin/perl -w
   2 # git-debrebase
   3 # Script helping make fast-forwarding histories while still rebasing
   4 # upstream deltas when working on Debian packaging
   5 #
   6 # Copyright (C)2017 Ian Jackson
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  20
  21 # usages:
  22 #    git-debrebase status
  23 #    git-debrebase start       # like ffqrebase start + debrebase launder
  24 #    git-debrebase new-upstream [stuff]  # see below
  25 #    git-debrebase <git-rebase options>  # does debrebase start if necessary
  26 #
  27 #    git-debrebase analyse
  28 #    git-debrebase launder     # prints breakwater tip
  29 #    git-debrebase create-new-upstream-breakwater [-f] <upstreaminfo>...
  30 #
  31 # <upstreaminfo> is
  32 #    [,][<subdir>:][+]<commitid>[,...]
  33 #
  34 # if initial comma is supplied, entries are not positional.  Unspecified
  35 # <subdir> means root (and there may be only one).
  36 # xxx want auto branch names
  37 # xxx too complicated
  38 # how about for now
  39 #    [+]<commit> [<subdir/> [+]<commit>...]
  40 # ?  plus options
  41 #     --new-upstream-different-subtrees
  42 #
  43 #  automatic case
  44 #       git-debrebase new-upstream
  45 #             - previous breakwater merge must be gdr-generated
  46 #             - orig set is the same as before
  47 #             - implicitly uses upstream branches according to orig set
  48 #             - not all upstream branches need be updated
  49 #             - insists on fast-forward of each branch, unless
  50 #                  --force (or --force=<subdir>[/])
  51 #  branch set adjustments
  52 #       git-debrebase new-upstream --add <subdir>/
  53 #       git-debrebase new-upstream --rm <subdir>/
  54 #       git-debrebase new-upstream / [<subdir>/ ...]
  55 #             - orig set is adjusted
  56 #             - otherwise like auto (--add is not checked for ffness, obv)
  57 #             - multiple --add and --rm may be specified
  58 #             - --add makes new upstream the last contributor
  59 #  explicit
  60 #       git-debrebase / [<rootcommitid>] [<subdir>/ [<commitid>] ...]
  61 #             - orig set is precisely as specified now
  62 #             - previous breakwater merge is irrelevant
  63 #             - no fast forward checks
  64 #  for now only explicit with commitids
  65
  66 #         implicitly uses `upstream'
  67 #                                     # (or multiple other branches)
  68 #       git-debrebase new-upstream \
  69 #             [<subdir>/]=<commitid>
  70
  71 #    UPSTREAM[,[[SUBDIR:]SUBUPSTREAM]
  72 #    default for SUBDIR: is from previous upstream merge[xxx terminology]
  73 #
  74 #
  75 #xxx
  76 # when starting must record original start (for ff)
  77 # and new rebase basis
  78 #
  79 #    git-ffqrebase start [BASE]
  80 #                # records previous HEAD so it can be overwritten
  81 #                # records base for future git-ffqrebase
  82 #    git-ffqrebase set-base BASE
  83 #    git-ffqrebase <git-rebase options>
  84 #    git-ffqrebase finish
  85 #    git-ffqrebase status [BRANCH]
  86 #
  87 #  refs/ffqrebase-prev/BRANCH    BRANCH may be refs/...; if not it means
  88 #  refs/ffqrebase-base/BRANCH      refs/heads/BRANCH
  89 #                               zero, one, or both of these may exist
  90 #
  91 # git-debrebase without start, if already started, is willing
  92 # to strip pseudomerges provided that they overwrite exactly
  93 # the previous HEAD
  94 #  xxxx is this right ?  what matters is have we pushed
  95 #    I think in fact the right answer is:
  96 #       git-debrebase always strips out pseudomerges from its branch
  97 #       a pseudomerge is put in at the time we want to push
  98 #       at that time, we make a pseudomerge of the remote tracking
  99 #           branch (if raw git) or the dgit view (if dgit)
 100 #       for raw git git-ffqrebase, do want preciseley to record
 101 #           value of remote tracking branch or our branch, on start, so we
 102 #           overwrite only things we intend to
 103 #  the previous pseudomerge    check for tags and remote branches ?
 104
 105 use strict;
 106
 107 use Memoize;
 108 use Carp;
 109 use Data::Dumper;
 110
 111 use Debian::Dgit qw(:DEFAULT $wa);
 112
 113 sub badusage ($) {
 114     my ($m) = @_;
 115     die "bad usage: $m\n";
 116 }
 117
 118 sub cfg ($) {
 119     my ($k) = @_;
 120     $/ = "\0";
 121     my @cmd = qw(git config -z);
 122     push @cmd, qw(--get-all) if wantarray;
 123     push @cmd, $k;
 124     my $out = cmdoutput @cmd;
 125     return split /\0/, $out;
 126 }
 127
 128 memoize('cfg');
 129
 130 sub get_commit ($) {
 131     my ($objid) = @_;
 132     my ($type,$data) = git_cat_file $objid;
 133     die unless $type eq 'commit';
 134     $data =~ m/(?<=\n)\n/;
 135     return ($`,$');
 136 }
 137
 138 sub D_DEB ()     { return 0x1; } # debian/ (not including debian/patches/)
 139 sub D_UPS ()     { return 0x2; } # upstream files
 140 sub D_PAT_ADD () { return 0x4; } # debian/patches/ extra patches at end
 141 sub D_PAT_OTH () { return 0x8; } # debian/patches other changes
 142
 143 our $rd = ".git/git-debrebase";
 144 our $ud = "$rd/work";
 145 our @git = qw(git);
 146
 147 sub commit_pr_info ($) {
 148     my ($r) = @_;
 149     return Data::Dumper->dump([$r], [qw(commit)]);
 150 }
 151
 152 sub calculate_committer_authline () {
 153     my $c = cmdoutput @git, qw(commit-tree --no-gpg-sign -m),
 154         'DUMMY COMMIT (git-debrebase)', "HEAD:";
 155     my ($h,$m) = get_commit $c;
 156     $h =~ m/^committer .*$/m or confess "($h) ?";
 157     return $&;
 158 }
 159
 160 # classify returns an info hash like this
 161 #   CommitId => $objid
 162 #   Hdr => # commit headers, including 1 final newline
 163 #   Msg => # commit message (so one newline is dropped)
 164 #   Tree => $treeobjid
 165 #   Type => (see below)
 166 #   Parents = [ {
 167 #       Ix => $index # ie 0, 1, 2, ...
 168 #       CommitId
 169 #       Differs => return value from get_differs
 170 #       IsOrigin
 171 #       IsDggitImport => 'orig' 'tarball' 'unpatched' 'package' (as from dgit)
 172 #     } ...]
 173 #   NewMsg => # commit message, but with any [dgit import ...] edited
 174 #             # to say "[was: ...]"
 175 #
 176 # Types:
 177 #   Packaging
 178 #   Upstream
 179 #   AddPatches
 180 #   Mixed
 181 #   Unknown
 182 #
 183 #   Pseudomerge
 184 #     has additional entres in classification result
 185 #       Overwritten = [ subset of Parents ]
 186 #       Contributor = $the_remaining_Parent
 187 #
 188 #   DgitImportUnpatched
 189 #     has additional entry in classification result
 190 #       OrigParents = [ subset of Parents ]
 191 #
 192 #   BreakwaterUpstreamMerge
 193 #     has additional entry in classification result
 194 #       OrigParents = [ subset of Parents ]
 195
 196 sub classify ($) {
 197     my ($objid) = @_;
 198
 199     my ($h,$m) = get_commit $objid;
 200
 201     my ($t) = $h =~ m/^tree (\w+)$/m or die $objid;
 202     my (@ph) = $h =~ m/^parent (\w+)$/m;
 203     my @p;
 204
 205     my $r = {
 206         CommitId => $objid,
 207         Hdr => $h,
 208         Msg => $m,
 209         Tree => $t,
 210         Parents => \@p,
 211     };
 212
 213     foreach my $ph (@ph) {
 214         push @p, {
 215             Ix => $#p,
 216             CommitId => $ph,
 217             Differs => (get_differs $t, $ph),
 218         };
 219     }
 220
 221     my $classify = sub {
 222         my ($type, @rest) = @_;
 223         $r = { %$r, Type => $type, @rest };
 224         return $r;
 225     };
 226     my $unknown = sub {
 227         my ($why) = @_;
 228         $r = { %$r, Type => qw(Unknown) };
 229         return $r;
 230     };
 231
 232     if (@p == 1) {
 233         my $d = $r->{Parents}[0]{Differs};
 234         if ($d == D_PAT_ADD) {
 235             return $classify->(qw(AddPatches));
 236         } elsif ($d & (D_PAT_ADD|D_PAT_OTH)) {
 237             return $unknown->("edits debian/patches");
 238         } elsif ($d == D_DEB) {
 239             check if there were any deb before, is not this is
 240                 a packaging introduction (ie breakwater root)
 241             return $classify->(qw(Packaging));
 242         } elsif ($d == D_UPS) {
 243             return $classify->(qw(Upstream));
 244         } elsif ($d == (D_DEB|D_UPS)) {
 245             return $classify->(qw(Mixed));
 246         } elsif ($d == 0) {
 247             return $unknown->("no changes");
 248         } else {
 249             confess "internal error $objid ?";
 250         }
 251     }
 252     if (!@p) {
 253         return $unknown->("origin commit");
 254     }
 255
 256     my @identical = grep { !$_->{Differs} } @p;
 257     if (@p == 2 && @identical == 1) {
 258         my @overwritten = grep { $_->{Differs} } @p;
 259         confess "internal error $objid ?" unless @overwritten==1;
 260         return $classify->(qw(Pseudomerge),
 261                            Overwritten => $overwritten[0],
 262                            Contributor => $identical[0]);
 263     }
 264     if (@p == 2 && @identical == 2) {
 265         my @bytime = nsort_by {
 266             my ($ph,$pm) = get_commit $_->{CommitId};
 267             $ph =~ m/^committer .* (\d+) [-+]\d+$/m or die "$_->{CommitId} ?";
 268             $1;
 269         } @p;
 270         return $classify->(qw(Pseudomerge),
 271                            SubType => qw(Ambiguous),
 272                            Overwritten => $bytime[0],
 273                            Contributor => $bytime[1]);
 274     }
 275     foreach my $p (@p) {
 276         my ($p_h, $p_m) = get_commit $p;
 277         $p->{IsOrigin} = $p_h !~ m/^parent \w+$/m;
 278         ($p->{IsDgitImport},) = $p_m =~ m/^\[dgit import ([0-9a-z]+) .*\]$/m;
 279     }
 280     my @orig_ps = grep { ($_->{IsDgitImport}//'X') eq 'orig' } @p;
 281     my $m2 = $m;
 282     if (!(grep { !$_->{IsOrigin} } @p) and
 283         (@orig_ps >= @p - 1) and
 284         $m2 =~ s{^\[(dgit import unpatched .*)\]$}{[was: $1]}m) {
 285         $r->{NewMsg} = $m2;
 286         return $classify->(qw(DgitImportUnpatched),
 287                            OrigParents => \@orig_ps);
 288     }
 289
 290     my ($stype, $series) = git_cat_file "$t:debian/patches/series";
 291     my $haspatches = $stype ne 'missing' && $series =~ m/^\s*[^#\n\t ]/m;
 292
 293     # How to decide about l/r ordering of breakwater merges ?  git
 294     # --topo-order prefers to expand 2nd parent first.  There's
 295     # already an easy rune to look for debian/ history anyway (git log
 296     # debian/) so debian breakwater branch should be 1st parent; that
 297     # way also there's also an easy rune to look for the upstream
 298     # patches (--topo-order).
 299     if (@p == 2 &&
 300         !$haspatches &&
 301         !$p[0]{IsOrigin} && # breakwater merge never starts with an origin
 302         !($p[0]{Differs} & ~D_DEB) &&
 303         !($p[1]{Differs} & ~D_UPS)) {
 304         return $classify->(qw(BreakwaterUpstreamMerge),
 305                            OrigParents => [ $p[1] ]);
 306     }
 307     # xxx multi-.orig upstreams
 308
 309     return $unknown->("complex merge");
 310 }
 311
 312 sub walk ($;$$$$);
 313 sub walk {
 314     my ($input,
 315         $nogenerate,$report,
 316         $wantdebonly,$depth) = @_;
 317     # => ($tip, $breakwater_tip)
 318
 319     # go through commits backwards
 320     # we generate two lists of commits to apply
 321     my (@deb_cl, @ups_cl, @processed);
 322     my %found;
 323     my @pseudomerges;
 324
 325     $depth //= 0;
 326
 327     my $cl;
 328     my $xmsg = sub {
 329         my ($appendinfo) = @_;
 330         my $ms = $cl->{Msg};
 331         chomp $ms;
 332         $ms .= "\n\n[git-debrebase $appendinfo]\n";
 333         return (Msg => $ms);
 334     };
 335     my $rewrite_from_here = sub {
 336         push @processed, { SpecialMethod => 'StartRewrite' };
 337     };
 338     my $bomb = sub { # usage: return $bomb->();
 339             print $report " Unprocessable" if $report;
 340             $prprdelim->();
 341             if ($nogenerate) {
 342                 return (undef,undef);
 343             }
 344             die "commit $cur: Cannot cope with this commit";
 345     };
 346
 347     my $cur = $input;
 348
 349     my $prdelim = "";
 350     my $prprdelim = sub { print $report $prdelim if $report; $prdelim=""; };
 351
 352     my $prline = sub {
 353         return unless $report;
 354         print $report $prdelim, @_;
 355         $prdelim = "\n";
 356     };
 357
 358     for (;;) {
 359         if (!defined $cur) {
 360             push @deb_cl, { ExactlyParents => [] };
 361             $prline->("Origin");
 362             last;
 363         }
 364         $cl = classify $cur;
 365         my $ty = $cl->{Type};
 366         my $st = $cl->{SubType};
 367         $prline->("$cl->{CommitId} $cl->{Type}");
 368         $found{$ty. ( defined($st) ? "-$st" : '' )}++;
 369         push @processed, $cl;
 370         my $p0 = @[ $cl->{Parents} }==1 ? $cl->{Parents}[0]{CommitId} : undef;
 371         if ($ty eq 'AddPatches') {
 372             $cur = $p0;
 373             $rewrite_from_here->();
 374             next;
 375         } elsif ($ty eq 'Packaging') {
 376             push @deb_cl, $cl;
 377             $cur = $p0;
 378             next;
 379         } elsif ($ty eq 'Upstream') {
 380             push @ups_cl, $cl;
 381             $cur = $p0;
 382             next;
 383         } elsif ($ty eq 'Mixed') {
 384             my $queue = sub {
 385                 my ($q, $wh) = @_;
 386                 my $cls = { $cl, $xmsg->("split mixed commit: $wh part") };
 387                 push @$q, $cls;
 388             };
 389             $queue->(\@deb_cl, "debian");
 390             $queue->(\@ups_cl, "upstream");
 391             $rewrite_from_here->();
 392             next;
 393         } elsif ($ty eq 'Pseudomerge') {
 394             print $report " Contributor=$ty->{Contributor}" if $report;
 395             push @pseudomerges, $cl;
 396             $rewrite_from_here->();
 397             $cur = $ty->{Contributor};
 398             next;
 399         } elsif ($ty eq 'BreakwaterUpstreamMerge') {
 400             push @deb_cl, { ExactlyParents -> [$cur] };
 401             $prline->("PreviousBreakwater");
 402             last;
 403         } elsif ($ty eq 'DgitImportUnpatched') {
 404             my $pm = $pseudomerges[-1];
 405             if (defined $pm) {
 406                 # To an extent, this is heurstic.  Imports don't have
 407                 # a useful history of the debian/ branch.  We assume
 408                 # that the first pseudomerge after an import has a
 409                 # useful history or debian/, and ignore the histories
 410                 # from later pseudomerge.  Often the first pseudomerge
 411                 # will be the dgit import of the upload to the actual
 412                 # suite intended by the non-dgit NMUer, and later
 413                 # pseudomerges may represent in-archive copies.
 414                 my $ovwrs = $pm->{Overwritten};
 415                 printf $report " PM=%s \@Overwr:%d", $pm, (scalar @$ovwrs)
 416                     if $report;
 417                 if (@$ovwrs != 1) {
 418                     return $bomb->();
 419                 }
 420                 my $ovwr = $ovwr->[0]{CommitId};
 421                 printf $report " Overwr=%s", $ovwr if $report;
 422                 # This import has a tree which is just like a
 423                 # breakwater tree, but it has the wrong history.  It
 424                 # ought to have the previous breakwater (which the
 425                 # pseudomerge overwrote) as an ancestor.  That will
 426                 # make the history of the debian/ files correct.  As
 427                 # for the upstream version: either it's the same as
 428                 # was ovewritten (ie, same as the previous
 429                 # breakwater), in which case that history is precisely
 430                 # right; or, otherwise, it was a non-gitish upload of a
 431                 # new upstream version.  We can tell these apart by
 432                 # looking at the tree of the supposed upstream.
 433                 push @deb_cl, {
 434                     %$cl,
 435                     SpecialMethod => 'DgitImportDebianUpdate',
 436                     $xmsg->("convert dgit import: debian changes")
 437                 };
 438                 my $differs = get_differs $ovwr, $cl->{Tree};
 439                 printf $report " Differs=%#x", $differs if $report;
 440                 if ($differs & D_UPS) {
 441                     printf $report " D_UPS" if $report;
 442                     # This will also trigger if a non-dgit git-based NMU
 443                     # deleted .gitignore (which is a thing that some of
 444                     # the existing git tools do if the user doesn't
 445                     # somehow tell them not to).  Ah well.
 446                     push @deb_cl, {
 447                         %$cl,
 448                         SpecialMethod => 'DgitImportUpstreamUpdate',
 449                         $xmsg->("convert dgit import: upstream changes")
 450                     };
 451                 }
 452                 $prline->("Import");
 453                 $prprdelim->();
 454                 my ($basis,$dummy) = walk
 455                     $ovwr,
 456                     $nogenerate, $report,
 457                     1, $depth+1;
 458                 push @deb_cl, { ExactlyParents => [$basis] };
 459                 $rewrite_from_here->();
 460                 last
 461             } else {
 462                 # Everything is from this import.  This kind of import
 463                 # is already in valid breakwater format, with the
 464                 # patches as commits.
 465                 printf $report " NoPM" if $report;
 466                 push @deb_cl, { ExactlyParents => [$cur] };
 467                 # last thing we processed will have been the first patch,
 468                 # if there is one; which is fine, so no need to rewrite
 469                 # on account of this import
 470                 $prline->("ImportOrigin");
 471                 last;
 472             }
 473             die "$ty ?";
 474         } else {
 475             return $bomb->();
 476         }
 477     }
 478     $prprdelim->();
 479     if ($nogenerate) {
 480         return (undef, $basis);
 481     }
 482
 483     # Now we build it back up again
 484
 485     workarea_fresh();
 486
 487     my $rewriting = 0;
 488
 489     my $build = $basis;
 490
 491     my $rm_tree_cached = sub {
 492         my ($subdir) = @_;
 493         runcmd @git, qw(rm --quiet -rf --cached), $subdir;
 494     };
 495     my $read_tree_debian = sub {
 496         my ($treeish) = @_;
 497         $rm_tree_cached->(qw(debian));
 498         runcmd @git, qw(read-tree --prefix=debian/), "$treeish:debian";
 499     };
 500     my $read_tree_upstream = sub {
 501         my ($treeish) = @_;
 502         runcmd @git, qw(read-tree), $treeish;
 503         $read_tree_debian->($build);
 504     };
 505
 506     my $committer_authline = calculate_committer_authline();
 507
 508     in_workarea sub {
 509         mkdir $rd or $!==EEXIST or die $!;
 510         my $current_method;
 511         foreach my $cl (qw(Debian), (reverse @deb_cl),
 512                         { SpecialMethod => 'RecordBreakwaterTip' },
 513                         qw(Upstream), (reverse @ups_cl)) {
 514             if (!ref $cl) {
 515                 $current_method = $cl;
 516                 next;
 517             }
 518             my $method = $cl->{SpecialMethod} // $current_method;
 519             my @parents = ($build);
 520             my $cltree = $cl->{CommitId};
 521             if ($method eq 'Debian') {
 522                 $read_tree_debian->($cltree);
 523             } elsif ($method eq 'Upstream') {
 524                 $read_tree_upstream->($cltree);
 525             } elsif ($method eq 'StartRewrite') {
 526                 $rewriting = 1;
 527                 next;
 528             } elsif ($method eq 'RecordBreakwaterTip') {
 529                 last if $wantdebonly;
 530                 $breakwater = $build;
 531                 next;
 532             } elsif ($method eq 'DgitImportDebianUpdate') {
 533                 $read_tree_debian->($cltree);
 534                 $rm_tree_cached->(qw(debian/patches));
 535             } elsif ($method eq 'DgitImportUpstreamUpdate') {
 536                 $read_tree_upstream->($cltree);
 537                 push @parents, map { $_->{CommitId} } @{ $cl->{OrigParents} };
 538             } else {
 539                 confess "$method ?";
 540             }
 541             $rewriting ||= $cl ne pop @processed;
 542             my $newtree = cmdoutput @git, qw(write-tree);
 543             my $ch = $cl->{Hdr};
 544             $ch =~ s{^tree .*}{tree $newtree}m or confess "$ch ?";
 545             $ch =~ s{^parent .*\n}{}m;
 546             $ch =~ s{(?=^author)}{
 547                 map { "parent $_\n" } @parents
 548             }me or confess "$ch ?";
 549             if ($rewriting) {
 550                 $ch =~ s{^committer .*$}{$committer_authline}m
 551                     or confess "$ch ?";
 552             }
 553             my $cf = "$rd/m$rewriting";
 554             open CD, ">", $cf or die $!;
 555             print CD $ch, "\n", $cl->{Msg} or die $!;
 556             close CD or die $!;
 557             my @cmd = (@git, qw(hash-object));
 558             push @cmd, qw(-w) if $rewriting;
 559             push @cmd, qw(-t commit), $cf;
 560             my $newcommit = cmdoutput @cmd;
 561             confess "$ch ?" unless $rewriting or $newcommit eq $cl->{CommitId};
 562             $build = $newcommit;
 563         }
 564     };
 565
 566     runcmd @git, qw(diff-tree --quiet),
 567         map { $wantdebonly ? "$_:debian" : $_ }
 568         $input, $build;
 569
 570     return ($build, $breakwater);
 571 }
 572
 573 sub get_head () { return git_rev_parse qw(HEAD); }
 574
 575 sub update_head ($$) {
 576     my ($old, $new, $mrest) = @_;
 577     runcmd @git, qw(update-ref -m), "git-debrebase $mrest", $new, $old;
 578 }
 579
 580 sub cmd_launder () {
 581     badusage "no arguments to launder allowed";
 582     my $old = get_head();
 583     my ($tip,$breakwater) = walk $old;
 584     update_head $old, $tip, 'launder';
 585     # no tree changes except debian/patches
 586     runcmd @git, qw(rm --quiet -rf debian/patches);
 587     printf "# breakwater tip\n%s\n", $breakwater;
 588 }
 589
 590 sub cmd_analyse () {
 591     die if ($ARGV[0]//'') =~ m/^-/;
 592     badusage "too many arguments to analyse" if @ARGV>1;
 593     my ($old) = @ARGV;
 594     if (defined $old) {
 595         $old = git_rev_parse $old;
 596     } else {
 597         $old = get_head();
 598     }
 599     my ($dummy,$breakwater) = walk $old, 1,*STDOUT;
 600     print "$breakwater BREAKWATER\n";
 601     STDOUT->error and die $!;
 602 }
 603
 604 my $toplevel = runcmd @git, qw(rev-parse --show-toplevel);
 605 chdir $toplevel or die "chdir $toplevel: $!";
 606
 607 my $cmd = shift @ARGV;
 608 my $cmdfn = $cmd;
 609 $cmdfn =~ y/-/_/;
 610 $cmdfn = ${*::}{"cmd_$cmdfn"};
 611
 612 $cmdfn or badusage "unknown git-debrebase sub-operation $cmd";
 613 $cmdfn->();