dgit-badcommit-fixup

   1 #!/usr/bin/perl -w
   2 #
   3 # Script to help with fallout from #849041.
   4 #
   5 # usage:
   6 #   dgit-badcommit-fixup --check
   7 #   dgit-badcommit-fixup --test
   8 #   dgit-badcommit-fixup --real
   9
  10 # Update procedure, from server operator's point of view:
  11 #
  12 # 1. Test in an offline tree that this DTRT
  13 #
  14 # 2. Announce a transition time.  Tell everyone that between
  15 #    the transition time and their next upload, they must
  16 #    run this script.
  17 #
  18 # 3. At the transition time, run this script in every repo.
  19 #
  20 # 4. Run the mirror script to push changes, if necessary.
  21
  22
  23 use strict;
  24
  25 use POSIX;
  26 use IPC::Open2;
  27 use Data::Dumper;
  28
  29 our $our_version = 'UNRELEASED'; ###substituted###
  30
  31 my $real;
  32
  33 foreach my $a (@ARGV) {
  34     if ($a eq '--test') {
  35         $real = 0;
  36     } elsif ($a eq '--real') {
  37         $real = 1;
  38     } elsif ($a eq '--check') {
  39         $real = -1;
  40     } else {
  41         die "$a ?";
  42     }
  43 }
  44
  45 die unless defined $real;
  46
  47 my $gcfpid = open2 \*GCFO, \*GCFI, 'git cat-file --batch' or die $!;
  48
  49 our %count;
  50
  51 no warnings qw(recursion);
  52
  53 sub runcmd {
  54     system @_ and die "@_ $! $?";
  55 }
  56
  57 $!=0; $?=0;
  58 my $bare = `git rev-parse --is-bare-repository`;
  59 die "$? $!" if $?;
  60 chomp $bare or die;
  61
  62 sub getobj ($$) {
  63     my ($obj, $type) = @_;
  64     print GCFI $obj, "\n" or die $!;
  65     my $x = <GCFO>;
  66     my ($gtype, $gsize) = $x =~ m/^\w+ (\w+) (\d+)\n/ or die "$obj ?";
  67     $gtype eq $type or die "$obj $gtype != $type ?";
  68     my $gdata;
  69     (read GCFO, $gdata, $gsize) == $gsize or die "$obj $!";
  70     $x = <GCFO>;
  71     $x eq "\n" or die "$obj ($_) $!";
  72     $count{inspected}++;
  73     return $gdata;
  74 }
  75
  76 sub hashobj ($$) {
  77     my ($data,$type) = @_;
  78     my $gwopid = open2 \*GWO, \*GWI,
  79         "git hash-object -w -t $type --stdin"
  80         or die $!;
  81     print GWI $data or die $!;
  82     close GWI or die $!;
  83     $_ = <GWO>;
  84     close GWO or die $!;
  85     waitpid $gwopid,0 == $gwopid or die $!;
  86     die $? if $?;
  87     m/^(\w+)\n/ or die "$_ ?";
  88     $count{"rewritten $type"}++;
  89     return $1;
  90 }
  91
  92 our %memo;
  93
  94 sub rewrite_commit ($);
  95 sub rewrite_commit ($) {
  96     my ($obj) = @_;
  97     my $m = \ $memo{$obj};
  98     return $$m if defined $$m;
  99     my $olddata = getobj $obj, 'commit';
 100     $olddata =~ m/(?<=\n)(?=\n)/ or die "$obj ?";
 101     my $msg = $';
 102     local $_ = $`;
 103     s{^(parent )(\w+)$}{ $1 . rewrite_commit($2) }gme;
 104     $count{'fix overwrite'} += s{^commiter }{committer }gm;
 105     if (!m{^author }m && !m{^committer }m) {
 106         m{^parent (\w+)}m or die "$obj ?";
 107         my $parent = getobj $1, 'commit';
 108         $parent =~ m/^(?:.+\n)+(author .*\ncommitter .*\n)/;
 109         m/\n$/ or die "$obj ?";
 110         $_ .= $1;
 111         $count{'fix import'}++;
 112     }
 113     my $newdata = $_.$msg;
 114     my $newobj;
 115     if ($newdata eq $olddata) {
 116         $newobj = $obj;
 117         $count{unchanged}++;
 118 #print STDERR "UNCHANGED $obj\n";
 119     } else {
 120         $newobj = hashobj $newdata, 'commit';
 121 #print STDERR "REWRITTEN $obj $newobj\n";
 122     }
 123     $$m= $newobj;
 124     return $newobj;
 125 }
 126
 127 our @updates;
 128
 129 sub filter_updates () {
 130     @updates = grep { $_->[1] ne $_->[2] } @updates;
 131 }
 132
 133 sub rewrite_tag ($) {
 134     my ($obj) = @_;
 135     $_ = getobj $obj, 'tag';
 136     m/^type (\w+)\n/m or die "$obj ?";
 137     if ($1 ne 'commit') {
 138         $count{"oddtags $1"}++;
 139         return $obj;
 140     }
 141     m/^object (\w+)\n/m or die "$obj ?";
 142     my $oldref = $1;
 143     my $newref = rewrite_commit $oldref;
 144     if ($oldref eq $newref) {
 145         return $obj;
 146     }
 147     s/^(object )\w+$/ $1.$newref /me or die "$obj ($_) ?";
 148     s/^-----BEGIN PGP SIGNATURE-----\n.*^-----END PGP SIGNATURE-----\n$//sm;
 149     return hashobj $_, 'tag';
 150 }
 151
 152 sub edit_rewrite_map ($) {
 153     my ($old) = @_;
 154
 155     filter_updates();
 156     return $old unless @updates;
 157
 158     my $td = 'dgit-broken-fixup.tmp';
 159     runcmd qw(rm -rf), $td;
 160     mkdir $td, 0700 or die "$td $!";
 161     chdir $td or die $!;
 162     runcmd qw(git init -q);
 163     runcmd qw(git config gc.auto 0);
 164     runcmd qw(rm -rf .git/objects);
 165     symlink "../../objects", ".git/objects" or die $!;
 166
 167     my %map;
 168
 169     if ($old) {
 170         runcmd qw(git checkout -q), $old;
 171         open M, "map" or die $!;
 172         while (<M>) {
 173             m/^(\w+)(?:\s+(\w+))?$/ or die;
 174             $map{$1} = $2;
 175             $count{rewrite_map_previous}++;
 176         }
 177         M->error and die $!;
 178         close M or die $!;
 179     }
 180
 181     foreach my $oldc (keys %memo) {
 182         my $newc = $memo{$oldc};
 183         next if $oldc eq $newc;
 184         $map{$oldc} = $newc;
 185     }
 186     foreach my $up (@updates) { # catches tags
 187         $map{ $up->[1] } = $up->[2];
 188     }
 189
 190     open M, ">", "map" or die $!;
 191     printf M "%s%s\n",
 192         $_, (defined $map{$_} ? " $map{$_}" : "")
 193         or die $!
 194         foreach keys %map;
 195     close M or die $!;
 196
 197     if (!$old) {
 198         runcmd qw(git add map);
 199     }
 200
 201     runcmd qw(git commit -q), qw(-m), <<END, qw(map);
 202 dgit-badcommit-fixup
 203
 204 [dgit-badcommit-fixup $our_version]
 205 END
 206
 207     $!=0; $?=0;
 208     my $new = `git rev-parse HEAD`;
 209     die "$? $!" if $?;
 210     chomp $new or die;
 211
 212     chdir '..' or die $!;
 213     runcmd qw(rm -rf), $td;
 214
 215     $count{rewrite_map_updated}++;
 216
 217     return $new;
 218 }
 219
 220 $!=0; $?=0;
 221 my $refs=`git for-each-ref`;
 222 die "$? $!" if $?;
 223
 224 chomp $refs;
 225
 226 our $org_rewrite_map;
 227
 228 foreach my $rline (split /\n/, $refs) {
 229     my ($obj, $type, $refname) =
 230         $rline =~ m/^(\w+)\s+(\w+)\s+(\S.*)/
 231         or die "$_ ?";
 232     if ($refname eq 'refs/dgit-rewrite/map') {
 233         $org_rewrite_map = $obj;
 234         next;
 235     }
 236     next if $refname =~ m{^refs/dgit-(?:badcommit|badfixuptest)/};
 237
 238     $!=0; $?=0;
 239     system qw(sh -ec),
 240         'exec >/dev/null git symbolic-ref -q "$1"', qw(x),
 241         $refname;
 242     if ($?==0) {
 243         $count{symrefs_ignored}++;
 244         next;
 245     }
 246     die "$? $!" unless $?==256;
 247
 248     my $rewrite;
 249     if ($type eq 'commit') {
 250         $rewrite = rewrite_commit($obj);
 251     } elsif ($type eq 'tag') {
 252         $rewrite = rewrite_tag($obj);
 253     } else {
 254         warn "ref $refname refers to $type\n";
 255         next;
 256     }
 257     push @updates, [ $refname, $obj, $rewrite ];
 258 }
 259
 260 if ($bare eq 'true') {
 261     my $new_rewrite_map = edit_rewrite_map($org_rewrite_map);
 262     push @updates, [ 'refs/dgit-rewrite/map',
 263                      ($org_rewrite_map // '0'x40),
 264                      ($new_rewrite_map // '0'x40),
 265                      1 ];
 266 }
 267
 268 filter_updates();
 269
 270 if (!@updates) {
 271     print Dumper(\%count), "all is well - nothing to do\n";
 272     exit 0;
 273 }
 274
 275 #print Dumper(\@updates);
 276
 277 open U, "|git update-ref -m 'dgit bad commit fixup' --stdin" or die $!
 278     if $real >= 0;
 279
 280 for my $up (@updates) {
 281     my ($ref, $old, $new, $nobackup) = @$up;
 282     my $otherref = $ref;
 283     $otherref =~ s{^refs/}{};
 284     if ($real > 0) {
 285         print U <<END or die $! unless $nobackup;
 286 create refs/dgit-badcommit/$otherref $old
 287 END
 288         print U <<END or die $!;
 289 update $ref $new $old
 290 END
 291     } elsif ($real==0) {
 292         print U <<END or die $!;
 293 update refs/dgit-badfixuptest/$otherref $new
 294 END
 295     } else {
 296         print "found trouble in history of $ref\n" or die $!;
 297     }
 298 }
 299
 300 if ($real >= 0) {
 301     $?=0; $!=0;
 302     close U or die "$? $!";
 303     die $? if $?;
 304 }
 305
 306 print Dumper(\%count);
 307
 308 if ($real >= 0) {
 309     print "old values saved in refs/dgit-badcommit/\n" or die $!;
 310 } elsif ($real == 0) {
 311     print "testing output saved in refs/dgit-badfixuptest/\n" or die $!;
 312 } else {
 313     print STDERR "found work to do, exiting status 2\n";
 314     exit 2;
 315 }