dgit-badcommit-fixup

   1 #!/usr/bin/perl -w
   2 #
   3 # Script to help with fallout from #849041.
   4 #
   5 # usage:
   6 #   dgit-badcommit-fixup --test
   7 #   dgit-badcommit-fixup --real
   8
   9 # Update procedure, from server operator's point of view:
  10 #
  11 # 1. Test in an offline tree that this DTRT
  12 #
  13 # 2. Announce a transition time.  Tell everyone that between
  14 #    the transition time and their next upload, they must
  15 #    run this script.
  16 #
  17 # 3. At the transition time, run this script in every repo.
  18 #
  19 # 4. Run the mirror script to push changes, if necessary.
  20
  21
  22 use strict;
  23
  24 use POSIX;
  25 use IPC::Open2;
  26 use Data::Dumper;
  27
  28 my $real;
  29
  30 foreach my $a (@ARGV) {
  31     if ($a eq '--test') {
  32         $real = 0;
  33     } elsif ($a eq '--real') {
  34         $real = 1;
  35     } else {
  36         die "$a ?";
  37     }
  38 }
  39
  40 die unless defined $real;
  41
  42 my $gcfpid = open2 \*GCFO, \*GCFI, 'git cat-file --batch' or die $!;
  43
  44 our %count;
  45
  46 no warnings qw(recursion);
  47
  48 sub runcmd {
  49     system @_ and die "@_ $! $?";
  50 }
  51
  52 $!=0; $?=0;
  53 my $bare = `git rev-parse --is-bare-repository`;
  54 die "$? $!" if $?;
  55 chomp $bare or die;
  56
  57 sub getobj ($$) {
  58     my ($obj, $type) = @_;
  59     print GCFI $obj, "\n" or die $!;
  60     my $x = <GCFO>;
  61     my ($gtype, $gsize) = $x =~ m/^\w+ (\w+) (\d+)\n/ or die "$obj ?";
  62     $gtype eq $type or die "$obj $gtype != $type ?";
  63     my $gdata;
  64     (read GCFO, $gdata, $gsize) == $gsize or die "$obj $!";
  65     $x = <GCFO>;
  66     $x eq "\n" or die "$obj ($_) $!";
  67     $count{inspected}++;
  68     return $gdata;
  69 }
  70
  71 sub hashobj ($$) {
  72     my ($data,$type) = @_;
  73     my $gwopid = open2 \*GWO, \*GWI,
  74         "git hash-object -w -t $type --stdin"
  75         or die $!;
  76     print GWI $data or die $!;
  77     close GWI or die $!;
  78     $_ = <GWO>;
  79     close GWO or die $!;
  80     waitpid $gwopid,0 == $gwopid or die $!;
  81     die $? if $?;
  82     m/^(\w+)\n/ or die "$_ ?";
  83     $count{"rewritten $type"}++;
  84     return $1;
  85 }
  86
  87 our %memo;
  88
  89 sub rewrite_commit ($);
  90 sub rewrite_commit ($) {
  91     my ($obj) = @_;
  92     my $m = \ $memo{$obj};
  93     return $$m if defined $$m;
  94     my $olddata = getobj $obj, 'commit';
  95     $olddata =~ m/(?<=\n)(?=\n)/ or die "$obj ?";
  96     my $msg = $';
  97     local $_ = $`;
  98     s{^(parent )(\w+)$}{ $1 . rewrite_commit($2) }gme;
  99     $count{'fix overwrite'} += s{^commiter }{committer }gm;
 100     if (!m{^author }m && !m{^committer }m) {
 101         m{^parent (\w+)}m or die "$obj ?";
 102         my $parent = getobj $1, 'commit';
 103         $parent =~ m/^(?:.+\n)+(author .*\ncommitter .*\n)/;
 104         m/\n$/ or die "$obj ?";
 105         $_ .= $1;
 106         $count{'fix import'}++;
 107     }
 108     my $newdata = $_.$msg;
 109     my $newobj;
 110     if ($newdata eq $olddata) {
 111         $newobj = $obj;
 112         $count{unchanged}++;
 113 #print STDERR "UNCHANGED $obj\n";
 114     } else {
 115         $newobj = hashobj $newdata, 'commit';
 116 #print STDERR "REWRITTEN $obj $newobj\n";
 117     }
 118     $$m= $newobj;
 119     return $newobj;
 120 }
 121
 122 our @updates;
 123
 124 sub filter_updates () {
 125     @updates = grep { $_->[1] ne $_->[2] } @updates;
 126 }
 127
 128 sub rewrite_tag ($) {
 129     my ($obj) = @_;
 130     $_ = getobj $obj, 'tag';
 131     m/^type (\w+)\n/m or die "$obj ?";
 132     if ($1 ne 'commit') {
 133         $count{"oddtags $1"}++;
 134         return $obj;
 135     }
 136     m/^object (\w+)\n/m or die "$obj ?";
 137     my $oldref = $1;
 138     my $newref = rewrite_commit $oldref;
 139     if ($oldref eq $newref) {
 140         return $obj;
 141     }
 142     s/^(object )\w+$/ $1.$newref /me or die "$obj ($_) ?";
 143     s/^-----BEGIN PGP SIGNATURE-----\n.*^-----END PGP SIGNATURE-----\n$//sm;
 144     return hashobj $_, 'tag';
 145 }
 146
 147 sub edit_rewrite_map ($) {
 148     my ($old) = @_;
 149
 150     filter_updates();
 151     return $old unless @updates;
 152
 153     my $td = 'dgit-broken-fixup.tmp';
 154     runcmd qw(rm -rf), $td;
 155     mkdir $td, 0700 or die "$td $!";
 156     chdir $td or die $!;
 157     runcmd qw(git init -q);
 158     runcmd qw(git config gc.auto 0);
 159     runcmd qw(rm -rf .git/objects);
 160     symlink "../../objects", ".git/objects" or die $!;
 161
 162     my %map;
 163
 164     if ($old) {
 165         runcmd qw(git checkout -q), $old;
 166         open M, "map" or die $!;
 167         while (<M>) {
 168             m/^(\w+)(?:\s+(\w+))?$/ or die;
 169             $map{$1} = $2;
 170             $count{rewrite_map_previous}++;
 171         }
 172         M->error and die $!;
 173         close M or die $!;
 174     }
 175
 176     foreach my $oldc (keys %memo) {
 177         my $newc = $memo{$oldc};
 178         next if $oldc eq $newc;
 179         $map{$oldc} = $newc;
 180     }
 181     foreach my $up (@updates) { # catches tags
 182         $map{ $up->[1] } = $up->[2];
 183     }
 184
 185     open M, ">", "map" or die $!;
 186     printf M "%s%s\n",
 187         $_, (defined $map{$_} ? " $map{$_}" : "")
 188         or die $!
 189         foreach keys %map;
 190     close M or die $!;
 191
 192     if (!$old) {
 193         runcmd qw(git add map);
 194     }
 195
 196     runcmd qw(git commit -q),
 197         qw(-m), 'dgit-badcommit-fixup',
 198         qw(map);
 199
 200     $!=0; $?=0;
 201     my $new = `git rev-parse HEAD`;
 202     die "$? $!" if $?;
 203     chomp $new or die;
 204
 205     chdir '..' or die $!;
 206     runcmd qw(rm -rf), $td;
 207
 208     $count{rewrite_map_updated}++;
 209
 210     return $new;
 211 }
 212
 213 $!=0; $?=0;
 214 my $refs=`git for-each-ref`;
 215 die "$? $!" if $?;
 216
 217 chomp $refs;
 218
 219 our $org_rewrite_map;
 220
 221 foreach my $rline (split /\n/, $refs) {
 222     my ($obj, $type, $refname) =
 223         $rline =~ m/^(\w+)\s+(\w+)\s+(\S.*)/
 224         or die "$_ ?";
 225     if ($refname eq 'refs/dgit-rewrite/map') {
 226         $org_rewrite_map = $obj;
 227         continue;
 228     }
 229     next if $refname =~ m{^refs/dgit-(?:badcommit|badfixuptest)/};
 230     my $rewrite;
 231     if ($type eq 'commit') {
 232         $rewrite = rewrite_commit($obj);
 233     } elsif ($type eq 'tag') {
 234         $rewrite = rewrite_tag($obj);
 235     } else {
 236         warn "ref $refname refers to $type\n";
 237         next;
 238     }
 239     push @updates, [ $refname, $obj, $rewrite ];
 240 }
 241
 242 if ($bare eq 'true') {
 243     my $new_rewrite_map = edit_rewrite_map($org_rewrite_map);
 244     push @updates, [ 'refs/dgit-rewrite/map',
 245                      ($org_rewrite_map // '0'x40),
 246                      ($new_rewrite_map // '0'x40),
 247                      1 ];
 248 }
 249
 250 filter_updates();
 251
 252 if (!@updates) {
 253     print Dumper(\%count), "nothing to do\n";
 254     exit 0;
 255 }
 256
 257 #print Dumper(\@updates);
 258
 259 open U, "|git update-ref -m 'dgit bad commit fixup' --stdin" or die $!;
 260
 261 for my $up (@updates) {
 262     my ($ref, $old, $new, $nobackup) = @$up;
 263     my $otherref = $ref;
 264     $otherref =~ s{^refs/}{};
 265     if ($real) {
 266         print U <<END or die $! unless $nobackup;
 267 create refs/dgit-badcommit/$otherref $old
 268 END
 269         print U <<END or die $!;
 270 update $ref $new $old
 271 END
 272     } else {
 273         print U <<END or die $!;
 274 update refs/dgit-badfixuptest/$otherref $new
 275 END
 276     }
 277 }
 278
 279 $?=0; $!=0;
 280 close U or die "$? $!";
 281 die $? if $?;
 282
 283 print Dumper(\%count);
 284
 285 if ($real) {
 286     print "old values saved in refs/dgit-badcommit/\n" or die $!;
 287 } else {
 288     print "testing output saved in refs/dgit-badfixuptest/\n" or die $!;
 289 }