chiark / gitweb /
2a6aea7a85d671fc01299a330e1e98aeab632bb7
[dgit.git] / git-debrebase
1 #!/usr/bin/perl -w
2 # git-debrebase
3 # Script helping make fast-forwarding histories while still rebasing
4 # upstream deltas when working on Debian packaging
5 #
6 # Copyright (C)2017 Ian Jackson
7 #
8 # This program is free software: you can redistribute it and/or modify
9 # it under the terms of the GNU General Public License as published by
10 # the Free Software Foundation, either version 3 of the License, or
11 # (at your option) any later version.
12 #
13 # This program is distributed in the hope that it will be useful,
14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 # GNU General Public License for more details.
17 #
18 # You should have received a copy of the GNU General Public License
19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
20
21 # usages:
22 #    git-debrebase status
23 #    git-debrebase start       # like ffqrebase start + debrebase launder
24 #    git-debrebase new-upstream [stuff]  # see below
25 #    git-debrebase <git-rebase options>  # does debrebase start if necessary
26 #
27 #    git-debrebase analyse
28 #    git-debrebase launder     # prints breakwater tip
29 #    git-debrebase create-new-upstream-breakwater [-f] <upstreaminfo>...
30 #
31 # <upstreaminfo> is
32 #    [,][<subdir>:][+]<commitid>[,...]
33 #
34 # if initial comma is supplied, entries are not positional.  Unspecified
35 # <subdir> means root (and there may be only one).
36 # xxx want auto branch names
37 # xxx too complicated
38 # how about for now
39 #    [+]<commit> [<subdir/> [+]<commit>...]
40 # ?  plus options
41 #     --new-upstream-different-subtrees
42 #
43 #  automatic case
44 #       git-debrebase new-upstream
45 #             - previous breakwater merge must be gdr-generated
46 #             - orig set is the same as before
47 #             - implicitly uses upstream branches according to orig set
48 #             - not all upstream branches need be updated
49 #             - insists on fast-forward of each branch, unless
50 #                  --force (or --force=<subdir>[/])
51 #  branch set adjustments
52 #       git-debrebase new-upstream --add <subdir>/
53 #       git-debrebase new-upstream --rm <subdir>/
54 #       git-debrebase new-upstream / [<subdir>/ ...]
55 #             - orig set is adjusted
56 #             - otherwise like auto (--add is not checked for ffness, obv)
57 #             - multiple --add and --rm may be specified
58 #             - --add makes new upstream the last contributor
59 #  explicit
60 #       git-debrebase / [<rootcommitid>] [<subdir>/ [<commitid>] ...]
61 #             - orig set is precisely as specified now
62 #             - previous breakwater merge is irrelevant
63 #             - no fast forward checks
64 #  for now only explicit with commitids
65
66 #         implicitly uses `upstream'
67 #                                     # (or multiple other branches)
68 #       git-debrebase new-upstream \
69 #             [<subdir>/]=<commitid>
70
71 #    UPSTREAM[,[[SUBDIR:]SUBUPSTREAM]
72 #    default for SUBDIR: is from previous upstream merge[xxx terminology]
73 #    
74 #
75 #xxx
76 # when starting must record original start (for ff)
77 # and new rebase basis
78 #
79 #    git-ffqrebase start [BASE]
80 #                # records previous HEAD so it can be overwritten
81 #                # records base for future git-ffqrebase
82 #    git-ffqrebase set-base BASE
83 #    git-ffqrebase <git-rebase options>
84 #    git-ffqrebase finish
85 #    git-ffqrebase status [BRANCH]
86 #
87 #  refs/ffqrebase-prev/BRANCH    BRANCH may be refs/...; if not it means
88 #  refs/ffqrebase-base/BRANCH      refs/heads/BRANCH
89 #                               zero, one, or both of these may exist
90 #
91 # git-debrebase without start, if already started, is willing
92 # to strip pseudomerges provided that they overwrite exactly
93 # the previous HEAD
94 #  xxxx is this right ?  what matters is have we pushed
95 #    I think in fact the right answer is:
96 #       git-debrebase always strips out pseudomerges from its branch
97 #       a pseudomerge is put in at the time we want to push
98 #       at that time, we make a pseudomerge of the remote tracking
99 #           branch (if raw git) or the dgit view (if dgit)
100 #       for raw git git-ffqrebase, do want preciseley to record
101 #           value of remote tracking branch or our branch, on start, so we
102 #           overwrite only things we intend to
103 #  the previous pseudomerge    check for tags and remote branches ?
104
105 use strict;
106
107 use Memoize;
108 use Carp;
109 use Data::Dumper;
110
111 use Debian::Dgit qw(:DEFAULT $wa);
112
113 sub badusage ($) {
114     my ($m) = @_;
115     die "bad usage: $m\n";
116 }
117
118 sub cfg ($) {
119     my ($k) = @_;
120     $/ = "\0";
121     my @cmd = qw(git config -z);
122     push @cmd, qw(--get-all) if wantarray;
123     push @cmd, $k;
124     my $out = cmdoutput @cmd;
125     return split /\0/, $out;
126 }
127
128 memoize('cfg');
129
130 sub get_commit ($) {
131     my ($objid) = @_;
132     my ($type,$data) = git_cat_file $objid;
133     die unless $type eq 'commit';
134     $data =~ m/(?<=\n)\n/;
135     return ($`,$');
136 }
137
138 sub D_DEB ()     { return 0x1; } # debian/ (not including debian/patches/)
139 sub D_UPS ()     { return 0x2; } # upstream files
140 sub D_PAT_ADD () { return 0x4; } # debian/patches/ extra patches at end
141 sub D_PAT_OTH () { return 0x8; } # debian/patches other changes
142
143 our $rd = ".git/git-debrebase";
144 our $ud = "$rd/work";
145 our @git = qw(git);
146
147 sub commit_pr_info ($) {
148     my ($r) = @_;
149     return Data::Dumper->dump([$r], [qw(commit)]);
150 }
151
152 sub calculate_committer_authline () {
153     my $c = cmdoutput @git, qw(commit-tree --no-gpg-sign -m),
154         'DUMMY COMMIT (git-debrebase)', "HEAD:";
155     my ($h,$m) = get_commit $c;
156     $h =~ m/^committer .*$/m or confess "($h) ?";
157     return $&;
158 }
159
160 # classify returns an info hash like this
161 #   CommitId => $objid
162 #   Hdr => # commit headers, including 1 final newline
163 #   Msg => # commit message (so one newline is dropped)
164 #   Tree => $treeobjid
165 #   Type => (see below)
166 #   Parents = [ {
167 #       Ix => $index # ie 0, 1, 2, ...
168 #       CommitId
169 #       Differs => return value from get_differs
170 #       IsOrigin
171 #       IsDggitImport => 'orig' 'tarball' 'unpatched' 'package' (as from dgit)
172 #     } ...]
173 #   NewMsg => # commit message, but with any [dgit import ...] edited
174 #             # to say "[was: ...]"
175 #
176 # Types:
177 #   Packaging
178 #   Upstream
179 #   AddPatches
180 #   Mixed
181 #   Unknown
182 #
183 #   Pseudomerge
184 #     has additional entres in classification result
185 #       Overwritten = [ subset of Parents ]
186 #       Contributor = $the_remaining_Parent
187 #
188 #   DgitImportUnpatched
189 #     has additional entry in classification result
190 #       OrigParents = [ subset of Parents ]
191 #
192 #   BreakwaterUpstreamMerge
193 #     has additional entry in classification result
194 #       OrigParents = [ subset of Parents ]
195
196 sub classify ($) {
197     my ($objid) = @_;
198
199     my ($h,$m) = get_commit $objid;
200
201     my ($t) = $h =~ m/^tree (\w+)$/m or die $objid;
202     my (@ph) = $h =~ m/^parent (\w+)$/m;
203     my @p;
204
205     my $r = {
206         CommitId => $objid,
207         Hdr => $h,
208         Msg => $m,
209         Tree => $t,
210         Parents => \@p,
211     };
212
213     foreach my $ph (@ph) {
214         push @p, {
215             Ix => $#p,
216             CommitId => $ph,
217             Differs => (get_differs $t, $ph),
218         };
219     }
220
221     my $classify = sub {
222         my ($type, @rest) = @_;
223         $r = { %$r, Type => $type, @rest };
224         return $r;
225     };
226     my $unknown = sub {
227         my ($why) = @_;
228         $r = { %$r, Type => qw(Unknown) };
229         return $r;
230     };
231
232     if (@p == 1) {
233         my $d = $r->{Parents}[0]{Differs};
234         if ($d == D_PAT_ADD) {
235             return $classify->(qw(AddPatches));
236         } elsif ($d & (D_PAT_ADD|D_PAT_OTH)) {
237             return $unknown->("edits debian/patches");
238         } elsif ($d == D_DEB) {
239             my ($ty,$dummy) = git_cat_file "$ph[0]:debian";
240             if ($ty eq 'tree') {
241                 return $classify->(qw(Packaging));
242             } elsif ($ty eq 'missing') {
243                 return $classify->(qw(BreakwaterStart));
244             } else {
245                 return $unknown->("parent's debian is not a directory");
246             }
247         } elsif ($d == D_UPS) {
248             return $classify->(qw(Upstream));
249         } elsif ($d == (D_DEB|D_UPS)) {
250             return $classify->(qw(Mixed));
251         } elsif ($d == 0) {
252             return $unknown->("no changes");
253         } else {
254             confess "internal error $objid ?";
255         }
256     }
257     if (!@p) {
258         return $unknown->("origin commit");
259     }
260
261     my @identical = grep { !$_->{Differs} } @p;
262     if (@p == 2 && @identical == 1) {
263         my @overwritten = grep { $_->{Differs} } @p;
264         confess "internal error $objid ?" unless @overwritten==1;
265         return $classify->(qw(Pseudomerge),
266                            Overwritten => $overwritten[0],
267                            Contributor => $identical[0]);
268     }
269     if (@p == 2 && @identical == 2) {
270         my @bytime = nsort_by {
271             my ($ph,$pm) = get_commit $_->{CommitId};
272             $ph =~ m/^committer .* (\d+) [-+]\d+$/m or die "$_->{CommitId} ?";
273             $1;
274         } @p;
275         return $classify->(qw(Pseudomerge),
276                            SubType => qw(Ambiguous),
277                            Overwritten => $bytime[0],
278                            Contributor => $bytime[1]);
279     }
280     foreach my $p (@p) {
281         my ($p_h, $p_m) = get_commit $p;
282         $p->{IsOrigin} = $p_h !~ m/^parent \w+$/m;
283         ($p->{IsDgitImport},) = $p_m =~ m/^\[dgit import ([0-9a-z]+) .*\]$/m;
284     }
285     my @orig_ps = grep { ($_->{IsDgitImport}//'X') eq 'orig' } @p;
286     my $m2 = $m;
287     if (!(grep { !$_->{IsOrigin} } @p) and
288         (@orig_ps >= @p - 1) and
289         $m2 =~ s{^\[(dgit import unpatched .*)\]$}{[was: $1]}m) {
290         $r->{NewMsg} = $m2;
291         return $classify->(qw(DgitImportUnpatched),
292                            OrigParents => \@orig_ps);
293     }
294
295     my ($stype, $series) = git_cat_file "$t:debian/patches/series";
296     my $haspatches = $stype ne 'missing' && $series =~ m/^\s*[^#\n\t ]/m;
297
298     # How to decide about l/r ordering of breakwater merges ?  git
299     # --topo-order prefers to expand 2nd parent first.  There's
300     # already an easy rune to look for debian/ history anyway (git log
301     # debian/) so debian breakwater branch should be 1st parent; that
302     # way also there's also an easy rune to look for the upstream
303     # patches (--topo-order).
304     if (@p == 2 &&
305         !$haspatches &&
306         !$p[0]{IsOrigin} && # breakwater merge never starts with an origin
307         !($p[0]{Differs} & ~D_DEB) &&
308         !($p[1]{Differs} & ~D_UPS)) {
309         return $classify->(qw(BreakwaterUpstreamMerge),
310                            OrigParents => [ $p[1] ]);
311     }
312     # xxx multi-.orig upstreams
313
314     return $unknown->("complex merge");
315 }
316
317 sub walk ($;$$$$);
318 sub walk {
319     my ($input,
320         $nogenerate,$report,
321         $wantbrwonly,$depth) = @_;
322     # => ($tip, $breakwater_tip)
323
324     # go through commits backwards
325     # we generate two lists of commits to apply:
326     # breakwater branch and upstream patches
327     my (@brw_cl, @upp_cl, @processed);
328     my %found;
329     my @pseudomerges;
330
331     $depth //= 0;
332
333     my $cl;
334     my $xmsg = sub {
335         my ($appendinfo) = @_;
336         my $ms = $cl->{Msg};
337         chomp $ms;
338         $ms .= "\n\n[git-debrebase $appendinfo]\n";
339         return (Msg => $ms);
340     };
341     my $rewrite_from_here = sub {
342         push @processed, { SpecialMethod => 'StartRewrite' };
343     };
344
345     my $cur = $input;
346
347     my $prdelim = "";
348     my $prprdelim = sub { print $report $prdelim if $report; $prdelim=""; };
349
350     my $prline = sub {
351         return unless $report;
352         print $report $prdelim, @_;
353         $prdelim = "\n";
354     };
355
356     my $bomb = sub { # usage: return $bomb->();
357         print $report " Unprocessable" if $report;
358         $prprdelim->();
359         if ($nogenerate) {
360             return (undef,undef);
361         }
362         die "commit $cur: Cannot cope with this commit";
363     };
364
365     for (;;) {
366         if (!defined $cur) {
367             push @brw_cl, { ExactlyParents => [] };
368             $prline->("Origin");
369             last;
370         }
371         $cl = classify $cur;
372         my $ty = $cl->{Type};
373         my $st = $cl->{SubType};
374         $prline->("$cl->{CommitId} $cl->{Type}");
375         $found{$ty. ( defined($st) ? "-$st" : '' )}++;
376         push @processed, $cl;
377         my $p0 = @{ $cl->{Parents} }==1 ? $cl->{Parents}[0]{CommitId} : undef;
378         if ($ty eq 'AddPatches') {
379             $cur = $p0;
380             $rewrite_from_here->();
381             next;
382         } elsif ($ty eq 'Packaging') {
383             push @brw_cl, $cl;
384             $cur = $p0;
385             next;
386         } elsif ($ty eq 'Packaging') {
387             push @brw_cl, $cl;
388             $cur = $p0;
389             next;
390         } elsif ($ty eq 'Upstream') {
391             push @upp_cl, $cl;
392             $cur = $p0;
393             next;
394         } elsif ($ty eq 'Mixed') {
395             my $queue = sub {
396                 my ($q, $wh) = @_;
397                 my $cls = { $cl, $xmsg->("split mixed commit: $wh part") };
398                 push @$q, $cls;
399             };
400             $queue->(\@brw_cl, "debian");
401             $queue->(\@upp_cl, "upstream");
402             $rewrite_from_here->();
403             next;
404         } elsif ($ty eq 'Pseudomerge') {
405             print $report " Contributor=$ty->{Contributor}" if $report;
406             push @pseudomerges, $cl;
407             $rewrite_from_here->();
408             $cur = $ty->{Contributor};
409             next;
410         } elsif ($ty eq 'BreakwaterUpstreamMerge') {
411             push @brw_cl, { ExactlyParents => [$cur] };
412             $prline->("PreviousBreakwater");
413             last;
414         } elsif ($ty eq 'DgitImportUnpatched') {
415             my $pm = $pseudomerges[-1];
416             if (defined $pm) {
417                 # To an extent, this is heuristic.  Imports don't have
418                 # a useful history of the debian/ branch.  We assume
419                 # that the first pseudomerge after an import has a
420                 # useful history of debian/, and ignore the histories
421                 # from later pseudomerges.  Often the first pseudomerge
422                 # will be the dgit import of the upload to the actual
423                 # suite intended by the non-dgit NMUer, and later
424                 # pseudomerges may represent in-archive copies.
425                 my $ovwrs = $pm->{Overwritten};
426                 printf $report " PM=%s \@Overwr:%d", $pm, (scalar @$ovwrs)
427                     if $report;
428                 if (@$ovwrs != 1) {
429                     return $bomb->();
430                 }
431                 my $ovwr = $ovwrs->[0]{CommitId};
432                 printf $report " Overwr=%s", $ovwr if $report;
433                 # This import has a tree which is just like a
434                 # breakwater tree, but it has the wrong history.  It
435                 # ought to have the previous breakwater (which the
436                 # pseudomerge overwrote) as an ancestor.  That will
437                 # make the history of the debian/ files correct.  As
438                 # for the upstream version: either it's the same as
439                 # was ovewritten (ie, same as the previous
440                 # breakwater), in which case that history is precisely
441                 # right; or, otherwise, it was a non-gitish upload of a
442                 # new upstream version.  We can tell these apart by
443                 # looking at the tree of the supposed upstream.
444                 push @brw_cl, {
445                     %$cl,
446                     SpecialMethod => 'DgitImportDebianUpdate',
447                     $xmsg->("convert dgit import: debian changes")
448                 };
449                 my $differs = (get_differs $ovwr, $cl->{Tree});
450                 printf $report " Differs=%#x", $differs if $report;
451                 if ($differs & D_UPS) {
452                     printf $report " D_UPS" if $report;
453                     # This will also trigger if a non-dgit git-based NMU
454                     # deleted .gitignore (which is a thing that some of
455                     # the existing git tools do if the user doesn't
456                     # somehow tell them not to).  Ah well.
457                     push @brw_cl, {
458                         %$cl,
459                         SpecialMethod => 'DgitImportUpstreamUpdate',
460                         $xmsg->("convert dgit import: upstream changes")
461                     };
462                 }
463                 $prline->("Import");
464                 $prprdelim->();
465                 my ($dummy,$basis) = walk
466                     $ovwr,
467                     $nogenerate, $report,
468                     1, $depth+1;
469                 push @brw_cl, { ExactlyParents => [$basis] };
470                 $rewrite_from_here->();
471                 last;
472             } else {
473                 # Everything is from this import.  This kind of import
474                 # is already in valid breakwater format, with the
475                 # patches as commits.
476                 printf $report " NoPM" if $report;
477                 push @brw_cl, { ExactlyParents => [$cur] };
478                 # last thing we processed will have been the first patch,
479                 # if there is one; which is fine, so no need to rewrite
480                 # on account of this import
481                 $prline->("ImportOrigin");
482                 last;
483             }
484             die "$ty ?";
485         } else {
486             return $bomb->();
487         }
488     }
489     $prprdelim->();
490     return () if $nogenerate;
491
492     # Now we build it back up again
493
494     workarea_fresh();
495
496     my $rewriting = 0;
497
498     my $build = $basis;
499
500     my $rm_tree_cached = sub {
501         my ($subdir) = @_;
502         runcmd @git, qw(rm --quiet -rf --cached), $subdir;
503     };
504     my $read_tree_debian = sub {
505         my ($treeish) = @_;
506         $rm_tree_cached->(qw(debian));
507         runcmd @git, qw(read-tree --prefix=debian/), "$treeish:debian";
508     };
509     my $read_tree_upstream = sub {
510         my ($treeish) = @_;
511         runcmd @git, qw(read-tree), $treeish;
512         $read_tree_debian->($build);
513     };
514  
515     my $committer_authline = calculate_committer_authline();
516
517     in_workarea sub {
518         mkdir $rd or $!==EEXIST or die $!;
519         my $current_method;
520         foreach my $cl (qw(Debian), (reverse @brw_cl),
521                         { SpecialMethod => 'RecordBreakwaterTip' },
522                         qw(Upstream), (reverse @upp_cl)) {
523             if (!ref $cl) {
524                 $current_method = $cl;
525                 next;
526             }
527             my $method = $cl->{SpecialMethod} // $current_method;
528             my @parents = ($build);
529             my $cltree = $cl->{CommitId};
530             if ($method eq 'Debian') {
531                 $read_tree_debian->($cltree);
532             } elsif ($method eq 'Upstream') {
533                 $read_tree_upstream->($cltree);
534             } elsif ($method eq 'StartRewrite') {
535                 $rewriting = 1;
536                 next;
537             } elsif ($method eq 'RecordBreakwaterTip') {
538                 last if $wantbrwonly;
539                 $breakwater = $build;
540                 next;
541             } elsif ($method eq 'DgitImportDebianUpdate') {
542                 $read_tree_debian->($cltree);
543                 $rm_tree_cached->(qw(debian/patches));
544             } elsif ($method eq 'DgitImportUpstreamUpdate') {
545                 $read_tree_upstream->($cltree);
546                 push @parents, map { $_->{CommitId} } @{ $cl->{OrigParents} };
547             } else {
548                 confess "$method ?";
549             }
550             $rewriting ||= $cl ne pop @processed;
551             my $newtree = cmdoutput @git, qw(write-tree);
552             my $ch = $cl->{Hdr};
553             $ch =~ s{^tree .*}{tree $newtree}m or confess "$ch ?";
554             $ch =~ s{^parent .*\n}{}m;
555             $ch =~ s{(?=^author)}{
556                 map { "parent $_\n" } @parents
557             }me or confess "$ch ?";
558             if ($rewriting) {
559                 $ch =~ s{^committer .*$}{$committer_authline}m
560                     or confess "$ch ?";
561             }
562             my $cf = "$rd/m$rewriting";
563             open CD, ">", $cf or die $!;
564             print CD $ch, "\n", $cl->{Msg} or die $!;
565             close CD or die $!;
566             my @cmd = (@git, qw(hash-object));
567             push @cmd, qw(-w) if $rewriting;
568             push @cmd, qw(-t commit), $cf;
569             my $newcommit = cmdoutput @cmd;
570             confess "$ch ?" unless $rewriting or $newcommit eq $cl->{CommitId};
571             $build = $newcommit;
572         }
573     };
574
575     runcmd @git, qw(diff-tree --quiet),
576         map { $wantdebonly ? "$_:debian" : $_ }
577         $input, $build;
578
579     return ($build, $breakwater);
580 }
581
582 sub get_head () { return git_rev_parse qw(HEAD); }
583
584 sub update_head ($$) {
585     my ($old, $new, $mrest) = @_;
586     runcmd @git, qw(update-ref -m), "git-debrebase $mrest", $new, $old;
587 }
588
589 sub cmd_launder () {
590     badusage "no arguments to launder allowed";
591     my $old = get_head();
592     my ($tip,$breakwater) = walk $old;
593     update_head $old, $tip, 'launder';
594     # no tree changes except debian/patches
595     runcmd @git, qw(rm --quiet -rf debian/patches);
596     printf "# breakwater tip\n%s\n", $breakwater;
597 }
598
599 sub cmd_analyse () {
600     die if ($ARGV[0]//'') =~ m/^-/;
601     badusage "too many arguments to analyse" if @ARGV>1;
602     my ($old) = @ARGV;
603     if (defined $old) {
604         $old = git_rev_parse $old;
605     } else {
606         $old = get_head();
607     }
608     my ($dummy,$breakwater) = walk $old, 1,*STDOUT;
609     print "$breakwater BREAKWATER\n";
610     STDOUT->error and die $!;
611 }
612
613 my $toplevel = runcmd @git, qw(rev-parse --show-toplevel);
614 chdir $toplevel or die "chdir $toplevel: $!";
615
616 my $cmd = shift @ARGV;
617 my $cmdfn = $cmd;
618 $cmdfn =~ y/-/_/;
619 $cmdfn = ${*::}{"cmd_$cmdfn"};
620
621 $cmdfn or badusage "unknown git-debrebase sub-operation $cmd";
622 $cmdfn->();