dgit-badcommit-fixup

   1 #!/usr/bin/perl -w
   2 #
   3 # Script to help with fallout from #849041.
   4 #
   5 # usage:
   6 #   dgit-badcommit-fixup --test
   7 #   dgit-badcommit-fixup --real
   8
   9 # Update procedure, from server operator's point of view:
  10 #
  11 # 1. Test in an offline tree that this DTRT
  12 #
  13 # 2. Announce a transition time.  Tell everyone that between
  14 #    the transition time and their next upload, they must
  15 #    run this script.
  16 #
  17 # 3. At the transition time, run this script in every repo.
  18 #
  19 # 4. Run the mirror script to push changes, if necessary.
  20
  21
  22 use strict;
  23
  24 use POSIX;
  25 use IPC::Open2;
  26 use Data::Dumper;
  27
  28 our $our_version = 'UNRELEASED'; ###substituted###
  29
  30 my $real;
  31
  32 foreach my $a (@ARGV) {
  33     if ($a eq '--test') {
  34         $real = 0;
  35     } elsif ($a eq '--real') {
  36         $real = 1;
  37     } else {
  38         die "$a ?";
  39     }
  40 }
  41
  42 die unless defined $real;
  43
  44 my $gcfpid = open2 \*GCFO, \*GCFI, 'git cat-file --batch' or die $!;
  45
  46 our %count;
  47
  48 no warnings qw(recursion);
  49
  50 sub runcmd {
  51     system @_ and die "@_ $! $?";
  52 }
  53
  54 $!=0; $?=0;
  55 my $bare = `git rev-parse --is-bare-repository`;
  56 die "$? $!" if $?;
  57 chomp $bare or die;
  58
  59 sub getobj ($$) {
  60     my ($obj, $type) = @_;
  61     print GCFI $obj, "\n" or die $!;
  62     my $x = <GCFO>;
  63     my ($gtype, $gsize) = $x =~ m/^\w+ (\w+) (\d+)\n/ or die "$obj ?";
  64     $gtype eq $type or die "$obj $gtype != $type ?";
  65     my $gdata;
  66     (read GCFO, $gdata, $gsize) == $gsize or die "$obj $!";
  67     $x = <GCFO>;
  68     $x eq "\n" or die "$obj ($_) $!";
  69     $count{inspected}++;
  70     return $gdata;
  71 }
  72
  73 sub hashobj ($$) {
  74     my ($data,$type) = @_;
  75     my $gwopid = open2 \*GWO, \*GWI,
  76         "git hash-object -w -t $type --stdin"
  77         or die $!;
  78     print GWI $data or die $!;
  79     close GWI or die $!;
  80     $_ = <GWO>;
  81     close GWO or die $!;
  82     waitpid $gwopid,0 == $gwopid or die $!;
  83     die $? if $?;
  84     m/^(\w+)\n/ or die "$_ ?";
  85     $count{"rewritten $type"}++;
  86     return $1;
  87 }
  88
  89 our %memo;
  90
  91 sub rewrite_commit ($);
  92 sub rewrite_commit ($) {
  93     my ($obj) = @_;
  94     my $m = \ $memo{$obj};
  95     return $$m if defined $$m;
  96     my $olddata = getobj $obj, 'commit';
  97     $olddata =~ m/(?<=\n)(?=\n)/ or die "$obj ?";
  98     my $msg = $';
  99     local $_ = $`;
 100     s{^(parent )(\w+)$}{ $1 . rewrite_commit($2) }gme;
 101     $count{'fix overwrite'} += s{^commiter }{committer }gm;
 102     if (!m{^author }m && !m{^committer }m) {
 103         m{^parent (\w+)}m or die "$obj ?";
 104         my $parent = getobj $1, 'commit';
 105         $parent =~ m/^(?:.+\n)+(author .*\ncommitter .*\n)/;
 106         m/\n$/ or die "$obj ?";
 107         $_ .= $1;
 108         $count{'fix import'}++;
 109     }
 110     my $newdata = $_.$msg;
 111     my $newobj;
 112     if ($newdata eq $olddata) {
 113         $newobj = $obj;
 114         $count{unchanged}++;
 115 #print STDERR "UNCHANGED $obj\n";
 116     } else {
 117         $newobj = hashobj $newdata, 'commit';
 118 #print STDERR "REWRITTEN $obj $newobj\n";
 119     }
 120     $$m= $newobj;
 121     return $newobj;
 122 }
 123
 124 our @updates;
 125
 126 sub filter_updates () {
 127     @updates = grep { $_->[1] ne $_->[2] } @updates;
 128 }
 129
 130 sub rewrite_tag ($) {
 131     my ($obj) = @_;
 132     $_ = getobj $obj, 'tag';
 133     m/^type (\w+)\n/m or die "$obj ?";
 134     if ($1 ne 'commit') {
 135         $count{"oddtags $1"}++;
 136         return $obj;
 137     }
 138     m/^object (\w+)\n/m or die "$obj ?";
 139     my $oldref = $1;
 140     my $newref = rewrite_commit $oldref;
 141     if ($oldref eq $newref) {
 142         return $obj;
 143     }
 144     s/^(object )\w+$/ $1.$newref /me or die "$obj ($_) ?";
 145     s/^-----BEGIN PGP SIGNATURE-----\n.*^-----END PGP SIGNATURE-----\n$//sm;
 146     return hashobj $_, 'tag';
 147 }
 148
 149 sub edit_rewrite_map ($) {
 150     my ($old) = @_;
 151
 152     filter_updates();
 153     return $old unless @updates;
 154
 155     my $td = 'dgit-broken-fixup.tmp';
 156     runcmd qw(rm -rf), $td;
 157     mkdir $td, 0700 or die "$td $!";
 158     chdir $td or die $!;
 159     runcmd qw(git init -q);
 160     runcmd qw(git config gc.auto 0);
 161     runcmd qw(rm -rf .git/objects);
 162     symlink "../../objects", ".git/objects" or die $!;
 163
 164     my %map;
 165
 166     if ($old) {
 167         runcmd qw(git checkout -q), $old;
 168         open M, "map" or die $!;
 169         while (<M>) {
 170             m/^(\w+)(?:\s+(\w+))?$/ or die;
 171             $map{$1} = $2;
 172             $count{rewrite_map_previous}++;
 173         }
 174         M->error and die $!;
 175         close M or die $!;
 176     }
 177
 178     foreach my $oldc (keys %memo) {
 179         my $newc = $memo{$oldc};
 180         next if $oldc eq $newc;
 181         $map{$oldc} = $newc;
 182     }
 183     foreach my $up (@updates) { # catches tags
 184         $map{ $up->[1] } = $up->[2];
 185     }
 186
 187     open M, ">", "map" or die $!;
 188     printf M "%s%s\n",
 189         $_, (defined $map{$_} ? " $map{$_}" : "")
 190         or die $!
 191         foreach keys %map;
 192     close M or die $!;
 193
 194     if (!$old) {
 195         runcmd qw(git add map);
 196     }
 197
 198     runcmd qw(git commit -q), qw(-m), <<END, qw(map);
 199 dgit-badcommit-fixup
 200
 201 [dgit-badcommit-fixup $our_version]
 202 END
 203
 204     $!=0; $?=0;
 205     my $new = `git rev-parse HEAD`;
 206     die "$? $!" if $?;
 207     chomp $new or die;
 208
 209     chdir '..' or die $!;
 210     runcmd qw(rm -rf), $td;
 211
 212     $count{rewrite_map_updated}++;
 213
 214     return $new;
 215 }
 216
 217 $!=0; $?=0;
 218 my $refs=`git for-each-ref`;
 219 die "$? $!" if $?;
 220
 221 chomp $refs;
 222
 223 our $org_rewrite_map;
 224
 225 foreach my $rline (split /\n/, $refs) {
 226     my ($obj, $type, $refname) =
 227         $rline =~ m/^(\w+)\s+(\w+)\s+(\S.*)/
 228         or die "$_ ?";
 229     if ($refname eq 'refs/dgit-rewrite/map') {
 230         $org_rewrite_map = $obj;
 231         continue;
 232     }
 233     next if $refname =~ m{^refs/dgit-(?:badcommit|badfixuptest)/};
 234     my $rewrite;
 235     if ($type eq 'commit') {
 236         $rewrite = rewrite_commit($obj);
 237     } elsif ($type eq 'tag') {
 238         $rewrite = rewrite_tag($obj);
 239     } else {
 240         warn "ref $refname refers to $type\n";
 241         next;
 242     }
 243     push @updates, [ $refname, $obj, $rewrite ];
 244 }
 245
 246 if ($bare eq 'true') {
 247     my $new_rewrite_map = edit_rewrite_map($org_rewrite_map);
 248     push @updates, [ 'refs/dgit-rewrite/map',
 249                      ($org_rewrite_map // '0'x40),
 250                      ($new_rewrite_map // '0'x40),
 251                      1 ];
 252 }
 253
 254 filter_updates();
 255
 256 if (!@updates) {
 257     print Dumper(\%count), "nothing to do\n";
 258     exit 0;
 259 }
 260
 261 #print Dumper(\@updates);
 262
 263 open U, "|git update-ref -m 'dgit bad commit fixup' --stdin" or die $!;
 264
 265 for my $up (@updates) {
 266     my ($ref, $old, $new, $nobackup) = @$up;
 267     my $otherref = $ref;
 268     $otherref =~ s{^refs/}{};
 269     if ($real) {
 270         print U <<END or die $! unless $nobackup;
 271 create refs/dgit-badcommit/$otherref $old
 272 END
 273         print U <<END or die $!;
 274 update $ref $new $old
 275 END
 276     } else {
 277         print U <<END or die $!;
 278 update refs/dgit-badfixuptest/$otherref $new
 279 END
 280     }
 281 }
 282
 283 $?=0; $!=0;
 284 close U or die "$? $!";
 285 die $? if $?;
 286
 287 print Dumper(\%count);
 288
 289 if ($real) {
 290     print "old values saved in refs/dgit-badcommit/\n" or die $!;
 291 } else {
 292     print "testing output saved in refs/dgit-badfixuptest/\n" or die $!;
 293 }