chiark / gitweb /
dgit: clone-dgit-repos-server: Set $access_forpush
[dgit.git] / dgit-badcommit-fixup
1 #!/usr/bin/perl -w
2 #
3 # Script to help with fallout from #849041.
4 #
5 # usage:
6 #   dgit-badcommit-fixup --check
7 #   dgit-badcommit-fixup --test
8 #   dgit-badcommit-fixup --real
9
10 # Update procedure, from server operator's point of view:
11 #
12 # 1. Test in an offline tree that this DTRT
13 #
14 # 2. Announce a transition time.  Tell everyone that between
15 #    the transition time and their next upload, they must
16 #    run this script.
17 #
18 # 3. At the transition time, run this script in every repo.
19 #
20 # 4. Run the mirror script to push changes, if necessary.
21
22
23 use strict;
24
25 use POSIX;
26 use IPC::Open2;
27 use Data::Dumper;
28
29 our $our_version = 'UNRELEASED'; ###substituted###
30
31 my $real;
32
33 foreach my $a (@ARGV) {
34     if ($a eq '--test') {
35         $real = 0;
36     } elsif ($a eq '--real') {
37         $real = 1;
38     } elsif ($a eq '--check') {
39         $real = -1;
40     } else {
41         die "$a ?";
42     }
43 }
44
45 die unless defined $real;
46
47 my $gcfpid = open2 \*GCFO, \*GCFI, 'git cat-file --batch' or die $!;
48
49 our %count;
50
51 no warnings qw(recursion);
52
53 sub runcmd {
54     system @_ and die "@_ $! $?";
55 }
56
57 $!=0; $?=0;
58 my $bare = `git rev-parse --is-bare-repository`;
59 die "$? $!" if $?;
60 chomp $bare or die;
61
62 sub getobj ($$) {
63     my ($obj, $type) = @_;
64     print GCFI $obj, "\n" or die $!;
65     my $x = <GCFO>;
66     my ($gtype, $gsize) = $x =~ m/^\w+ (\w+) (\d+)\n/ or die "$obj ?";
67     $gtype eq $type or die "$obj $gtype != $type ?";
68     my $gdata;
69     (read GCFO, $gdata, $gsize) == $gsize or die "$obj $!";
70     $x = <GCFO>;
71     $x eq "\n" or die "$obj ($_) $!";
72     $count{inspected}++;
73     return $gdata;
74 }
75
76 sub hashobj ($$) {
77     my ($data,$type) = @_;
78     my $gwopid = open2 \*GWO, \*GWI,
79         "git hash-object -w -t $type --stdin"
80         or die $!;
81     print GWI $data or die $!;
82     close GWI or die $!;
83     $_ = <GWO>;
84     close GWO or die $!;
85     waitpid $gwopid,0 == $gwopid or die $!;
86     die $? if $?;
87     m/^(\w+)\n/ or die "$_ ?";
88     $count{"rewritten $type"}++;
89     return $1;
90 }
91
92 our %memo;
93
94 sub rewrite_commit ($);
95 sub rewrite_commit ($) {
96     my ($obj) = @_;
97     my $m = \ $memo{$obj};
98     return $$m if defined $$m;
99     my $olddata = getobj $obj, 'commit';
100     $olddata =~ m/(?<=\n)(?=\n)/ or die "$obj ?";
101     my $msg = $';
102     local $_ = $`;
103     s{^(parent )(\w+)$}{ $1 . rewrite_commit($2) }gme;
104     $count{'fix overwrite'} += s{^commiter }{committer }gm;
105     if (!m{^author }m && !m{^committer }m) {
106         m{^parent (\w+)}m or die "$obj ?";
107         my $parent = getobj $1, 'commit';
108         $parent =~ m/^(?:.+\n)+(author .*\ncommitter .*\n)/;
109         m/\n$/ or die "$obj ?";
110         $_ .= $1;
111         $count{'fix import'}++;
112     }
113     my $newdata = $_.$msg;
114     my $newobj;
115     if ($newdata eq $olddata) {
116         $newobj = $obj;
117         $count{unchanged}++;
118 #print STDERR "UNCHANGED $obj\n";
119     } else {
120         $newobj = hashobj $newdata, 'commit';
121 #print STDERR "REWRITTEN $obj $newobj\n";
122     }
123     $$m= $newobj;
124     return $newobj;
125 }
126
127 our @updates;
128
129 sub filter_updates () {
130     @updates = grep { $_->[1] ne $_->[2] } @updates;
131 }
132
133 sub rewrite_tag ($) {
134     my ($obj) = @_;
135     $_ = getobj $obj, 'tag';
136     m/^type (\w+)\n/m or die "$obj ?";
137     if ($1 ne 'commit') {
138         $count{"oddtags $1"}++;
139         return $obj;
140     }
141     m/^object (\w+)\n/m or die "$obj ?";
142     my $oldref = $1;
143     my $newref = rewrite_commit $oldref;
144     if ($oldref eq $newref) {
145         return $obj;
146     }
147     s/^(object )\w+$/ $1.$newref /me or die "$obj ($_) ?";
148     s/^-----BEGIN PGP SIGNATURE-----\n.*^-----END PGP SIGNATURE-----\n$//sm;
149     return hashobj $_, 'tag';
150 }
151
152 sub edit_rewrite_map ($) {
153     my ($old) = @_;
154
155     filter_updates();
156     return $old unless @updates;
157
158     my $td = 'dgit-broken-fixup.tmp';
159     runcmd qw(rm -rf), $td;
160     mkdir $td, 0700 or die "$td $!";
161     chdir $td or die $!;
162     runcmd qw(git init -q);
163     runcmd qw(git config gc.auto 0);
164     runcmd qw(rm -rf .git/objects);
165     symlink "../../objects", ".git/objects" or die $!;
166
167     my %map;
168
169     if ($old) {
170         runcmd qw(git checkout -q), $old;
171         open M, "map" or die $!;
172         while (<M>) {
173             m/^(\w+)(?:\s+(\w+))?$/ or die;
174             $map{$1} = $2;
175             $count{rewrite_map_previous}++;
176         }
177         M->error and die $!;
178         close M or die $!;
179     }
180
181     foreach my $oldc (keys %memo) {
182         my $newc = $memo{$oldc};
183         next if $oldc eq $newc;
184         $map{$oldc} = $newc;
185     }
186     foreach my $up (@updates) { # catches tags
187         $map{ $up->[1] } = $up->[2];
188     }
189
190     open M, ">", "map" or die $!;
191     printf M "%s%s\n",
192         $_, (defined $map{$_} ? " $map{$_}" : "")
193         or die $!
194         foreach keys %map;
195     close M or die $!;
196
197     if (!$old) {
198         runcmd qw(git add map);
199     }
200
201     runcmd qw(git commit -q), qw(-m), <<END, qw(map);
202 dgit-badcommit-fixup
203
204 [dgit-badcommit-fixup $our_version]
205 END
206
207     $!=0; $?=0;
208     my $new = `git rev-parse HEAD`;
209     die "$? $!" if $?;
210     chomp $new or die;
211
212     chdir '..' or die $!;
213     runcmd qw(rm -rf), $td;
214
215     $count{rewrite_map_updated}++;
216
217     return $new;
218 }
219
220 $!=0; $?=0;
221 my $refs=`git for-each-ref`;
222 die "$? $!" if $?;
223
224 chomp $refs;
225
226 our $org_rewrite_map;
227
228 foreach my $rline (split /\n/, $refs) {
229     my ($obj, $type, $refname) = 
230         $rline =~ m/^(\w+)\s+(\w+)\s+(\S.*)/
231         or die "$_ ?";
232     if ($refname eq 'refs/dgit-rewrite/map') {
233         $org_rewrite_map = $obj;
234         next;
235     }
236     next if $refname =~ m{^refs/dgit-(?:badcommit|badfixuptest)/};
237
238     $!=0; $?=0;
239     system qw(sh -ec),
240         'exec >/dev/null git symbolic-ref -q "$1"', qw(x),
241         $refname;
242     if ($?==0) {
243         $count{symrefs_ignored}++;
244         next;
245     }
246     die "$? $!" unless $?==256;
247
248     my $rewrite;
249     if ($type eq 'commit') {
250         $rewrite = rewrite_commit($obj);
251     } elsif ($type eq 'tag') {
252         $rewrite = rewrite_tag($obj);
253     } else {
254         warn "ref $refname refers to $type\n";
255         next;
256     }
257     push @updates, [ $refname, $obj, $rewrite ];
258 }
259
260 if ($bare eq 'true') {
261     my $new_rewrite_map = edit_rewrite_map($org_rewrite_map);
262     push @updates, [ 'refs/dgit-rewrite/map',
263                      ($org_rewrite_map // '0'x40),
264                      ($new_rewrite_map // '0'x40),
265                      1 ];
266 }
267
268 filter_updates();
269
270 if (!@updates) {
271     print Dumper(\%count), "all is well - nothing to do\n";
272     exit 0;
273 }
274
275 #print Dumper(\@updates);
276
277 open U, "|git update-ref -m 'dgit bad commit fixup' --stdin" or die $!
278     if $real >= 0;
279
280 for my $up (@updates) {
281     my ($ref, $old, $new, $nobackup) = @$up;
282     my $otherref = $ref;
283     $otherref =~ s{^refs/}{};
284     if ($real > 0) {
285         print U <<END or die $! unless $nobackup;
286 create refs/dgit-badcommit/$otherref $old
287 END
288         print U <<END or die $!;
289 update $ref $new $old
290 END
291     } elsif ($real==0) {
292         print U <<END or die $!;
293 update refs/dgit-badfixuptest/$otherref $new
294 END
295     } else {
296         print "found trouble in history of $ref\n" or die $!;
297     }
298 }
299
300 if ($real >= 0) {
301     $?=0; $!=0;
302     close U or die "$? $!";
303     die $? if $?;
304 }
305
306 print Dumper(\%count);
307
308 if ($real >= 0) {
309     print "old values saved in refs/dgit-badcommit/\n" or die $!;
310 } elsif ($real == 0) {
311     print "testing output saved in refs/dgit-badfixuptest/\n" or die $!;
312 } else {
313     print STDERR "found work to do, exiting status 2\n";
314     exit 2;
315 }