Topbloke.pm

   1 # -*- perl -*-
   2
   3 package Topbloke;
   4
   5 use strict;
   6 use warnings;
   7
   8 use POSIX;
   9 use IO::File;
  10 use IPC::Open2;
  11 use File::Path qw(make_path remove_tree);
  12 use File::Basename;
  13
  14 BEGIN {
  15     use Exporter   ();
  16     our ($VERSION, @ISA, @EXPORT, @EXPORT_OK, %EXPORT_TAGS);
  17
  18     $VERSION     = 1.00;
  19     @ISA         = qw(Exporter);
  20     @EXPORT      = qw(debug $tiprefs $baserefs %known_metadata
  21                       run_git run_git_1line run_git_check_nooutput
  22                       run_git_test_anyoutput git_get_object
  23                       git_config git_dir chdir_toplevel enable_reflog
  24                       check_no_metadata foreach_unknown_metadata
  25                       check_clean_tree
  26                       setup_config
  27                       current_branch parse_patch_name parse_patch_spec
  28                       patch_matches_spec
  29                       foreach_patch
  30                       metafile_process depsfile_add_dep
  31                       wf_start wf wf_abort wf_done wf_contents
  32                       closeout);
  33     %EXPORT_TAGS = ( );
  34     @EXPORT_OK   = qw();
  35 }
  36
  37 our $git_command = 'git';
  38
  39 our %known_metadata;
  40
  41 sub debug ($) {
  42     my ($msg) = @_;
  43     print STDERR "DEBUG: $msg\n" or die $!;
  44 }
  45
  46 #----- general interaction with git -----
  47
  48 sub run_git {
  49     # takes optional prefix arguments:
  50     #    coderef    hook to call for each line read,
  51     #                with $_ containing chomped line; if not supplied,
  52     #                output is not read
  53     #    scalarref  place to store exit status; if not supplied,
  54     #                nonzero exit status is fatal
  55     my ($estatusr,$linecallr);
  56     while (ref $_[0]) {
  57         my $ref = shift @_;
  58         if (ref $ref eq 'SCALAR') {
  59             $estatusr = $ref;
  60         } elsif (ref $ref eq 'CODE') {
  61             $linecallr = $ref;
  62         } else {
  63             die ref($ref)." @_ ?";
  64         }
  65     }
  66     open GIT, "-|", $git_command, @_ or die $!;
  67     if ($linecallr) {
  68         while (<GIT>) {
  69             chomp or die "$git_command @_ gave $_ ?";
  70             $linecallr->();
  71         }
  72         GIT->eof or die $!;
  73     }
  74     if (!close GIT) {
  75         die "$git_command @_ $!" if $!;
  76         die unless $?;
  77         die "$git_command @_ ($?)" unless $estatusr;
  78         $$estatusr = $?;
  79     } else {
  80         $$estatusr = 0 if $estatusr;
  81     }
  82 }
  83
  84 sub run_git_1line {
  85     my $l;
  86     run_git(sub { $l = $_; }, @_);
  87     die "git @_ ?" unless defined $l;
  88     return $l;
  89 }
  90
  91 sub run_git_check_nooutput {
  92     my ($what) = shift @_;
  93     run_git(sub { die "$what $_\n"; }, @_);
  94 }
  95
  96 sub run_git_test_anyoutput {
  97     my $any = 0;
  98     run_git(sub { $any=1; }, @_);
  99     return $any;
 100 }
 101
 102 sub git_get_object ($) {
 103     my ($objname) = @_;
 104     our ($gro_pid, $gro_out, $gro_in);
 105     if (!$gro_pid) {
 106         $gro_pid = open2($gro_out, $gro_in, $git_command, qw(cat-file --batch))
 107             or die $!;
 108     }
 109     #debug("git_get_object $objname");
 110     $SIG{'PIPE'} = 'IGN';
 111     print $gro_in $objname,"\n" or die $!;
 112     $gro_in->flush or die "$objname $!";
 113     $SIG{'PIPE'} = 'DFL';
 114     my $l = <$gro_out>;
 115     chomp $l or die "$objname $l ?";
 116     #debug("git_get_object $objname => $l");
 117     if ($l =~ m/ missing$/) {
 118         return 'missing';
 119     } elsif (my ($type,$bytes) = $l =~ m/^\S+ (\w+) (\d+)$/) {
 120         my $data = '';
 121         if ($bytes) {
 122             (read $gro_out, $data, $bytes) == $bytes or die "$objname $!";
 123         }
 124         my $nl;
 125         (read $gro_out, $nl, 1) == 1 or die "$objname $!";
 126         $nl eq "\n" or die "$objname ?";
 127         return ($type, $data);
 128     } else {
 129         die "$objname $l";
 130     }
 131 }
 132
 133 sub git_config ($$) {
 134     my ($cfgvar, $default) = @_;
 135     my ($l, $estatus);
 136     run_git(\$estatus, sub {
 137         die if defined $l;
 138         $l = $_; },
 139             qw(config), $cfgvar);
 140     if (defined $l) {
 141         die "$cfgvar ($estatus)" if $estatus;
 142         return $l;
 143     } else {
 144         die "$cfgvar ($estatus)" unless $estatus==0 || $estatus==256;
 145         return $default;
 146     }
 147 }
 148
 149 sub git_dir () {
 150     our $git_dir;
 151     if (!defined $git_dir) {
 152         $git_dir = run_git_1line(qw(rev-parse --git-dir));
 153     }
 154     return $git_dir;
 155 }
 156
 157 #----- specific interactions with git -----
 158
 159 sub chdir_toplevel () {
 160     my $toplevel;
 161     run_git(sub { $toplevel = $_; },
 162             qw(rev-parse --show-toplevel));
 163     die "not in working tree?\n" unless defined $toplevel;
 164     chdir $toplevel or die "chdir toplevel $toplevel: $!\n";
 165 }
 166
 167 sub enable_reflog ($) {
 168     my ($branchref) = @_;
 169     $branchref =~ m#^refs/# or die;
 170     my $logsdir = git_dir().'/logs/';
 171     my $dirname = $logsdir.dirname($branchref);
 172     make_path($dirname) or die "$dirname $!";
 173     open REFLOG, '>>', $logsdir.$branchref or die "$logsdir$branchref $!";
 174     close REFLOG or die $!;
 175 }
 176
 177 sub check_no_metadata ($) {
 178     # for checking foreign branches aren't contaminated
 179     my ($gitbranch) = @_;
 180     run_git_check_nooutput('foreign unexpectedly contains',
 181                            qw(ls-tree --name-only),
 182                            "$gitbranch:",
 183                            qw(.topbloke));
 184 }
 185
 186 sub foreach_unknown_metadata ($$) {
 187     my ($ref, $code) = @_;
 188     # Examines $ref.
 189     # Executes $code for each tolerable unknown metadata found, with
 190     # $_ being the (leaf) name of the metadata file
 191     run_git(sub {
 192         die unless s#^\.topbloke/##;
 193         next if $known_metadata{$_};
 194         m/-$/ or die "found unsupported metadata in $ref; you must upgrade\n";
 195         $code->();
 196             },
 197             qw(ls-tree --name-only -r HEAD: .topbloke));
 198 }
 199
 200 sub check_clean_tree ($) {
 201     run_git_check_nooutput("operation requires working tree to be clean",
 202                            qw(diff --name-only HEAD --));
 203     run_git_check_nooutput("operation cannot proceed with staged changes",
 204                            qw(diff --cached --name-only HEAD --));
 205 }
 206
 207 $known_metadata{$_}=1 foreach qw(msg patch base deps deleted
 208                                  +included +ends);
 209
 210 #----- configuring a tree -----
 211
 212 sub setup_config () {
 213     my (@files) = (qw(lwildcard- msg patch base deps deleted
 214                       +iwildcard- +included +ends));
 215     my $version = 1;
 216     my $drvname = sub {
 217         my ($file) = @_;
 218         $file =~ s/^\+//;
 219         $file =~ s/\-$//;
 220         return $file;
 221     };
 222     foreach my $iteration (qw(0 1)) {
 223         foreach my $file (@files) {
 224             my $cfgname = "merge.topbloke-".$drvname->($file);
 225             my ($current, $current_estatus);
 226             run_git(\$current_estatus,
 227                     sub { $current = $_; },
 228                     qw(config), "$cfgname.driver");
 229             $current = "## failed $current_estatus" if $current_estatus;
 230             next if $current =~ m/^topbloke-merge-driver --v$version /o;
 231             die "$file $current ?" if $iteration;
 232             debug("setting merge driver $file");
 233             run_git(qw(config), "$cfgname.name",
 234                     "topbloke merge driver for $file");
 235             run_git(qw(config), "$cfgname.driver",
 236                     "topbloke-merge-driver --v$version".
 237                     " $file %O %A %B %L");
 238         }
 239         my ($newattrsprefix, $newattrs, $attrsfile);
 240
 241         my $attrs = '';
 242         my @needupdate;
 243         foreach my $file (@files) {
 244             my ($pat,$check) = ($file, $file);
 245             if ($file =~ m/wildcard/) {
 246                 $pat = ($file =~ m/^\+/ ? '+' : '[^+]').'*';
 247                 $check =~ s/\w.*/xxxunknown/ or die;
 248             }
 249             $pat = ".topbloke/$pat";
 250             $check = ".topbloke/$check";
 251             my $want = "topbloke-".$drvname->($file);
 252             $attrs .= "$pat\tmerge=$want\n";
 253             my $current = run_git_1line(qw(check-attr merge), $check);
 254             $current =~ s#^\Q$check\E: merge: ## or die "$file $current ?";
 255             next if $current eq $want;
 256             die "$file $current ?" unless
 257                 $current eq 'unspecified' ||
 258                 $current =~ m/^topbloke-\wwildcard$/;
 259             push @needupdate, "$file=$current";
 260         }
 261         if (@needupdate) {
 262             $attrsfile = git_dir()."/info/attributes";
 263             my $newattrsf = new IO::File "$attrsfile.tmp", 'w'
 264                     or die "$attrsfile.tmp: $!";
 265             die "@needupdate ?" if $iteration;
 266             if (!open OA, '<', "$attrsfile") {
 267                 die "$attrsfile $!" unless $!==ENOENT;
 268             } else {
 269                 while (<OA>) {
 270                     next if m#^\.topbloke/#;
 271                     print $newattrsf $_ or die $!;
 272                     print $newattrsf "\n" or die $! unless chomp;
 273                 }
 274                 die $! if OA->error;
 275                 die $! unless close OA;
 276             }
 277             print $newattrsf $attrs or die $!;
 278             close $newattrsf or die $!;
 279             rename "$attrsfile.tmp", "$attrsfile" or die $!;
 280         }
 281     }
 282 }
 283
 284 #----- branch and patch specs and parsed patch names -----
 285
 286 our $tiprefs = 'refs/topbloke-tips';
 287 our $baserefs = 'refs/topbloke-bases';
 288
 289 sub current_branch () {
 290     open R, git_dir().'/HEAD' or die "open HEAD $!";
 291     my $ref = <R>;  defined $ref or die $!;
 292     close R;
 293     chomp $ref or die;
 294     if ($ref !~ s#^ref: ##) {
 295         return {
 296             Kind => 'detached',
 297             Ref => $ref,
 298         };
 299     }
 300     if ($ref =~ m#^refs/topbloke-(tip|base)s/([^/\@]*)\@([^/\@]*)/([^/]*)/#) {
 301         my $fullname = "$2\@$3/$4/$'";
 302         my $v = {
 303             Kind => $1,
 304             Email => $2,
 305             Domain => $3,
 306             Date => $4,
 307             Nick => $', #',
 308             Ref => $ref,
 309             DepSpec => $fullname,
 310             Fullname => $fullname,
 311         };
 312         return $v;
 313     } elsif ($ref =~ m#^refs/heads/#) {
 314         return {
 315             Kind => 'foreign',
 316             Ref => $ref,
 317             DepSpec => "- $ref",
 318         };
 319     } else {
 320         return {
 321             Kind => 'weird',
 322             Ref => $ref,
 323         };
 324     }
 325 }
 326
 327 sub parse_patch_name ($) {
 328     my ($patch) = @_;
 329     my ($eaddr, $date, $nick) = split /\//, $patch, 3;
 330     defined $nick && length $nick or die "$patch ?";
 331     my ($email, $domain) = $eaddr =~ m/^(.*)\@([^\@]+)$/
 332         or die "$patch eaddr ?";
 333     return {
 334         Email => $email,
 335         Domain => $domain,
 336         Date => $date,
 337         Nick => $nick,
 338         Kind => 'tip',
 339         DepSpec => $patch,
 340         Fullname => $patch,
 341         Ref => "refs/topbloke-tips/$patch",
 342     };
 343 }
 344
 345 sub parse_patch_spec ($) {
 346     my ($orig) = @_;
 347     local $_ = $orig;
 348     warn 'FORMAT has new spec syntax nyi';
 349     my $spec = { }; # Email Domain DatePrefix DateNear Nick
 350     my $set = sub {
 351         my ($key,$val,$whats) = @_;
 352         die "multiple $whats in patch spec\n" if exists $spec->{$key};
 353         $spec->{$key} = $val;
 354     };
 355     my $rel_levels;
 356     for (;;) {
 357         if (s#([^/\@]*)\@([^/\@]*)/##) {
 358             $set->('Email', $1, "email local parts") if length $1;
 359             $set->('Domain', $2, "email domains") if length $1;
 360         } elsif (s#([^/]*\~[^/]*)/##) {
 361             my $dspec = $1;
 362             $dspec =~ y/~/ /;
 363             open DATE, "-|", 'date','+%s','-d',$dspec or die $!;
 364             my $l = <DATE>;
 365             close DATE or die "date parsing failed\n";
 366             chomp $l or die;
 367             $set->('DateNear', $l, 'nearby dates');
 368         } elsif (s#^([0-9][^/]*)/##) {
 369             my $dspec = $1;
 370             $dspec =~
 371       m/^\d{4}(?:-\d\d(?:-\d\d(?:T(?:\d\d(?:\d\d(?:\d\d(?:Z)?)?)?)?)?)?)?$/
 372                 or die "bad date prefix \`$dspec'\n";
 373             $set->('DatePrefix', $dspec, 'date prefixes');
 374         } elsif (s#^\./##) {
 375             $rel_levels ||= 1;
 376         } elsif (s#^\.\./##) {
 377             $rel_levels ||= 1;
 378             $rel_levels++;
 379         } else {
 380             last;
 381         }
 382     }
 383     if (defined $rel_levels) {
 384         my $branch = current_branch();
 385         if (!defined $branch->{Nick}) {
 386             die "relative patch spec \`$orig',".
 387                 " but current branch not a topbloke patch\n";
 388         }
 389         my ($ceaddr,$cdate,@l) = split /\//, $branch->{Nick};
 390         @l >= $rel_levels or
 391             die "relative patch spec \`$orig' has too many ../s\n";
 392         $_ = (join '/', @l[0..$#l-$rel_levels]).'/'.$_;
 393     } elsif (length) {
 394         $spec->{Nick} = $_;
 395     }
 396     return $spec;
 397 }
 398
 399 sub patch_matches_spec ($$) {
 400     my ($parsedname, $spec) = @_;
 401     foreach my $k (qw(Email Domain Nick)) {
 402         debug("patch_matches_spec  mismatch $k"), return 0
 403             if defined $spec->{$k} &&
 404                $parsedname->{$k} ne $spec->{$k};
 405     }
 406     debug("patch_matches_spec  mismatch DatePrefix"), return 0
 407         if defined $spec->{DatePrefix} &&
 408            substr($parsedname->{Date}, 0, length $spec->{DatePrefix})
 409                ne $spec->{DatePrefix};
 410     debug("patch_matches_spec  match"), return 1;
 411 }
 412
 413 #----- reading topbloke metadata -----
 414
 415 sub foreach_patch ($$$$) {
 416     my ($spec, $deleted_ok, $want, $body) = @_;
 417     # runs $body->($patch, $parsedname, \%meta)
 418     # where $meta{<metadata filename>} is, for <metadata filename> in @$want:
 419     #              undefined if metadata file doesn't exist
 420     #              defined with contents of file
 421     # and $parsedname is only valid if $spec is not undef
 422     #  (say $spec { }  if you want the name parsed but no restrictions)
 423     # entries in want may also be "<metadata filename>_"
 424     #  which means "strip trailing newlines" (result key in %meta is the same)
 425     # <metadata filename> may instead be "B_<metadata filename>"
 426     #  which means to look in the corresponding base branch
 427     my @want = @$want;
 428     my $atfront = sub {
 429         my ($thing) = @_;
 430         @want = ($thing, grep { $_ ne $thing } @want);
 431     };
 432     $atfront->(' patch');
 433     $atfront->('deleted') unless $deleted_ok;
 434     run_git(sub {
 435         debug("foreach_patch considering $_");
 436         m/ / or die "$_ ?";
 437         my $objname = $`;
 438         my %meta;
 439         my $parsedname;
 440         my $patch = substr($',19); #');
 441         my $wantix = 0;
 442         foreach my $wantent (@want) {
 443             my $file = $wantent;
 444             my $stripnl = ($file =~ s/_$//);
 445             my $key = $file;
 446             my $inbase = ($file =~ s/^B_//);
 447
 448             if ($file eq ' patch') {
 449                 if ($spec) {
 450                     $parsedname = parse_patch_name($patch);
 451                     if (!patch_matches_spec($parsedname, $spec)) {
 452                         debug("foreach_patch  mismatch");
 453                         return;
 454                     }
 455                 }
 456                 next;
 457             }
 458
 459             my $objkey = (!$inbase ? "$objname" :
 460                           "$baserefs/$patch").":.topbloke/$file";
 461             my ($got, $data) = git_get_object($objkey);
 462             if ($got eq 'missing') {
 463                 $meta{$key} = undef;
 464             } elsif ($got eq 'blob') {
 465                 $meta{$key} = $data;
 466                 if ($file eq 'deleted' && !$deleted_ok) {
 467                     debug("foreach_patch  Deleted");
 468                     return;
 469                 }
 470             } else {
 471                 warn "patch $patch object $objkey has unexpected type $got!\n";
 472                 return;
 473             }
 474         }
 475         debug("foreach_patch  YES $patch");
 476         $body->($patch, $parsedname, \%meta);
 477             },
 478             qw(for-each-ref --format), '%(objectname) %(refname)',
 479                 qw(refs/topbloke-tips));
 480 }
 481
 482 #----- updating topbloke metadata -----
 483
 484 sub metafile_process ($$$$$) {
 485     my ($metafile, $startcode, $linecode, $endcode, $enoentcode) = @_;
 486     # runs $startcode->($outwf) at start
 487     # runs $linecode->($outwf) for each old line, with $_ the chomped line
 488     #   may modify $_, which will be written to $outf
 489     # at end runs $endcode->($outwf);
 490     # runs $enoentcode->($outwf) instead of ever calling $linecode
 491     #  if the existing file does not exist;
 492     #  if it's false dies instead
 493     # any of these may return false, in which case we quit immediately
 494     # any of these except enoentcode may be undef to mean "noop"
 495     # if they all return true, we install the new file
 496     my $wf = wf_start(".topbloke/$metafile");
 497     my $call = sub {
 498         return 1 unless $_->[0];
 499         return 1 if $_->[0]($wf);
 500         wf_abort($wf);
 501         close FI;
 502         return 0;
 503     };
 504     return unless $call->($startcode);
 505     if (!open FI, '<', ".topbloke/$metafile") {
 506         die "$metafile $!" unless $!==ENOENT;
 507         die "$metafile $!" unless $enoentcode;
 508         return unless $call->($enoentcode);
 509     } else {
 510         while (<FI>) {
 511             chomp or die;
 512             return unless $call->($linecode);
 513             wf($wf, "$_\n");
 514         }
 515         FI->error and die $!;
 516         close FI or die $!;
 517     }
 518     return unless $call->($endcode);
 519     wf_done($wf);
 520 }
 521
 522
 523 sub depsfile_add_dep ($$) {
 524     my ($depsfile, $depspec) = @_;
 525     metafile_process($depsfile, undef, sub {
 526         die "dep $depspec already set in $depsfile ?!" if $_ eq $depspec;
 527     }, sub {
 528         wf($_->[0], "$depspec\n");
 529     }, undef);
 530 }
 531
 532 #----- general utilities -----
 533
 534 sub wf_start ($) {
 535     my ($path) = @_;
 536     my $fh = new IO::File "$path.tmp", '>' or die "create $path.tmp: $!\n";
 537     return [ $fh, $path ];
 538 }
 539
 540 sub wf ($$) {
 541     my ($wf, $data) = @_;
 542     my ($fh, $path) = @$wf;
 543     print $fh $data or die "write $path.tmp: $!\n";
 544 }
 545
 546 sub wf_abort ($) {
 547     my ($wf) = @_;
 548     my ($fh, $path) = @$wf;
 549     close $fh;
 550     unlink "$path.tmp" or die "remove $path.tmp: $!\n";
 551 }
 552
 553 sub wf_done ($) {
 554     my ($wf) = @_;
 555     my ($fh, $path) = @$wf;
 556     close $fh or die "finish writing $path.tmp: $!\n";
 557     rename "$path.tmp", $path or die "install new $path: $!\n";
 558 }
 559
 560 sub wf_contents ($$) {
 561     my ($path,$contents) = @_;
 562     my $wf = wf_start($path);
 563     wf($wf, $contents);
 564     wf_done($wf);
 565 }
 566
 567 sub closeout () {
 568     STDOUT->error and die $!;
 569     close STDOUT or die $!;
 570 }
 571
 572 1;