update-xfonts-traditional

   1 #!/usr/bin/perl -w
   2 use strict;
   3 use POSIX;
   4 use IO::File;
   5 use Getopt::Long;
   6 use File::Glob qw(:glob);
   7 use Data::Dumper;
   8 use IO::Pipe;
   9 use File::Find;
  10 use Sys::CPU;
  11
  12 our $prefix="/usr/local";
  13 our $package='xfonts-traditional';
  14 our $sharedir="$prefix/share/$package";
  15 our @fonttrees=qw(/usr/share/fonts/X11 /usr/local/share/fonts/X11);
  16 our $donefile="$package.done";
  17 our $logfile="$package.log";
  18 our $fontprefix="trad--";
  19 our @rulespath;
  20 our $mode;
  21 our %foundrymap;
  22 our $verbose=0;
  23 our $reportfh;
  24 our $foundryinfo;
  25 our %props;
  26 our $wanted_parallel;
  27
  28 sub reportloaded {
  29     return unless $verbose;
  30     print $reportfh @_,"\n" or die $!;
  31 }
  32
  33 sub statsummary () {
  34     return join ' ', ((stat _)[1,7,9,10]);
  35 }
  36
  37 sub loadrules ($) {
  38     my ($key) = @_;
  39     our %cache;
  40     my $fc=$cache{$key};
  41     return $fc if $fc;
  42     foreach my $path (@rulespath) {
  43         my $script="$path/$key.rules";
  44         $!=0; $@=''; my $f = do $script;
  45         if (defined $f) {
  46             reportloaded("rules: loaded ",$script);
  47             $cache{$key}=$f;
  48             return $f;
  49         }
  50         die "$! $? $script" unless $! == &ENOENT;
  51     }
  52     return $cache{$key}=undef;
  53 }
  54
  55 sub processbdf ($$$$) {
  56     my ($inbdf,$outbdf,$logfile,$what) = @_;
  57     my $state='idle';
  58     my ($foundry,$font);
  59     my ($w,$h,$xo,$yo,$y,$bitmap,$glyph);
  60     my $modified=0;
  61     %props = ();
  62     while (<$inbdf>) {
  63         if ($state eq 'bitmap' && $y==$h) {
  64             $glyph = uc $glyph;
  65             $glyph =~ s/\;$//;
  66             local ($_) = $glyph;
  67             my $key= sprintf "%s,%d,%d,%d,%d", $foundry,$w,$h,$xo,$yo;
  68             my $rules= loadrules($key);
  69             return (0,'no rules') if !$rules;
  70             $rules->();
  71             $modified += ($_ ne $glyph);
  72             print $outbdf $_,"\n" or die $!
  73                 foreach split /\;/, $_; # /;
  74             $state='idle';
  75         }
  76         if ($state eq 'bitmap') {
  77             m/^([0-9a-fA-F]+)\s+$/ or die $y;
  78             length($1) == (($w+7 >> 3) << 1) or die "$1 $w";
  79             $glyph .= "$1;";
  80             $y++;
  81             next;
  82         }
  83         if ($state eq 'idle' && m/^FOUNDRY\s+/) {
  84             die if defined $foundry;
  85             return (0,'foundry syntax') unless m/^FOUNDRY\s+\"(\w+)\"\s+/;
  86             $foundry = $foundrymap{lc $1};
  87             return (0,'no foundry') unless defined $foundry;
  88             $_ = "FOUNDRY \"$foundry\"\n";
  89         }
  90         if ($state eq 'idle' && m/^FONT\s+/) {
  91             die if defined $font;
  92             return (0,'simple font name') unless m/^(FONT\s+)\-(\w+)\-/;
  93             $font = $foundrymap{lc $2};
  94             return (0,'no foundry') unless defined $font;
  95             $_ = "FONT -$font-$'";
  96         }
  97         if ($state eq 'idle' && m/^STARTCHAR\s/) {
  98             die unless defined $foundry;
  99             die unless defined $font;
 100             return (0,'foundry != font') unless $foundry eq $font;
 101             $state='startchar';
 102             $w=undef;
 103         }
 104         if (($state eq 'idle' || $state eq 'startchar') &&
 105             m/^([A-Z_]+)\s+(.*\S)\s+$/) {
 106             $props{$1}=$2;
 107         }
 108         if ($state eq 'startchar') {
 109             if (m/^BBX\s+(\+?\d+)\s+(\+?\d+)\s+([-+]?\d+)\s+([-+]?\d+)\s+$/) {
 110                 ($w,$h,$xo,$yo) = ($1,$2,$3,$4);
 111             }
 112             if (m/^BITMAP\s+$/) {
 113                 die unless defined $w;
 114                 $y=0;
 115                 $glyph='';
 116                 $state='bitmap';
 117                 $props{' 7bit'}=
 118                     ($props{'CHARSET_REGISTRY'} =~ m/iso8859|utf|iso10646/i &&
 119                      $props{'ENCODING'} <= 127);
 120             }
 121         }
 122         print $outbdf $_ or die $!;
 123     }
 124     die $! if $inbdf->error;
 125     die $! if $outbdf->error or !$outbdf->flush;
 126     die unless $state eq 'idle';
 127     if ($modified) {
 128         printf $logfile "%s: %d glyphs changed\n", $what, $modified
 129             or die $!;
 130     } else {
 131         printf $logfile "%s: unchanged - no rules matched\n", $what
 132             or die $!;
 133     }
 134     return $modified;
 135 }
 136
 137 sub loadfoundries () {
 138     $foundryinfo = '';
 139     foreach my $path (@rulespath) {
 140         if (!stat $path) {
 141             die "$path $!" unless $!==&ENOENT;
 142             next;
 143         }
 144         $foundryinfo .= statsummary().' '.$path."\0\n";
 145
 146         my $p = "$path/foundries";
 147         my $f = new IO::File $p;
 148         if (!$f) {
 149             die "$p $!" unless $!==&ENOENT;
 150             print $reportfh "foundries: none in $p\n" or die $! if $verbose;
 151             next;
 152         }
 153         stat $f or die $!;
 154         while (<$f>) {
 155             s/^\s*//; s/\s+$//;
 156             next if m/^\#/;
 157             m/^(\w+)\s+(\w+)$/ or die;
 158             my $k = lc $1;
 159             next if exists $foundrymap{$k};
 160             $foundrymap{$k}=$2;
 161         }
 162         $f->error and die $!;
 163         reportloaded('foundries: loaded ',$p);
 164     }
 165     die "no foundry maps\n" unless %foundrymap;
 166 }
 167
 168 sub processpcfgz ($$$$) {
 169     my ($inpcfgz,$outpcfgz,$logfile,$what) = @_;
 170     print $reportfh "processing $inpcfgz to $outpcfgz\n" if $verbose>=2;
 171     my $current = new IO::File $inpcfgz, '<' or die "$inpcfgz $!";
 172     my ($usread,$uswrite);
 173     my ($reader,$writer);
 174     my @children;
 175     foreach my $proc (['gunzip'], ['pcf2bdf'], [],
 176                       ['bdftopcf'],['',qw(gzip -1 -n)]) {
 177         my $isfinal = (@$proc && $proc->[0] eq '');
 178         if (!$isfinal) {
 179             $reader = new IO::Handle or die $!;
 180             $writer = new IO::Handle or die $!;
 181             new IO::Pipe($reader,$writer) or die $!;
 182         } else {
 183             shift @$proc;
 184             $reader = undef;
 185             $writer = new IO::File $outpcfgz, '>' or die "$outpcfgz $!";
 186         }
 187         if (@$proc) {
 188             my $exe = $proc->[0];
 189             my $child = fork;  defined $child or die $!;
 190             if (!$child) {
 191                 open STDIN, '<&', $current or die $!;
 192                 open STDOUT, '>&', $writer or die $!;
 193                 if (!$isfinal) {
 194                     close $reader or die $!;
 195                 }
 196                 close $usread or die $! if $usread;
 197                 close $uswrite or die $! if $uswrite;
 198                 exec $exe @$proc or die "$exe $!";
 199             }
 200             push @children, [ $child, $exe, defined $usread ];
 201             close $current or die $!;
 202             close $writer or die $!;
 203             $current = $reader;
 204         } else {
 205             $usread = $current;
 206             $uswrite = $writer;
 207             $current = $reader;
 208         }
 209     }
 210     my $r = processbdf($usread,$uswrite,$logfile,$what);
 211     my $none = $r !~ m/^\d/;
 212     if ($none) {
 213         flush $uswrite or die $!;
 214     } else {
 215         close $uswrite or die $!;
 216     }
 217     close $usread or die $!;
 218     foreach my $chinfo (@children) {
 219         my ($child,$exe,$isoutput)=@$chinfo;
 220         my $sigok = 0;
 221         if ($none) {
 222             if ($isoutput) {
 223                 $sigok = 9;
 224                 kill 9, $child or die "$child $!";
 225             } else {
 226                 $sigok = 13;
 227             }
 228         }
 229         $!=0; waitpid($child, 0) == $child or die "$child $!";
 230         !$? or ($?&~128)==$sigok or die "$exe [$child] $sigok $?";
 231     }
 232     return $r;
 233 }
 234
 235 sub processfontdir ($) {
 236     my ($fontdir) = @_;
 237     if (!opendir FD, $fontdir) {
 238         die "$fontdir $!" unless $!==&ENOENT;
 239         return;
 240     }
 241     my $changed = 0;
 242     my $olddone = do "$fontdir/$donefile";
 243     if (!$olddone) {
 244         die "$fontdir $! $@ " unless $!==&ENOENT;
 245     } elsif ($olddone->{''} ne $foundryinfo) {
 246         our $repro_reported;
 247         print $reportfh "reprocessing fonts (rules updated)\n" or die $!
 248             unless $repro_reported++;
 249         $olddone = undef;
 250     }
 251     if (!$olddone) {
 252         $olddone = { };
 253         $changed = 1;
 254     }
 255     my $newdone = { '' => $foundryinfo };
 256     my %outfiles; # bitmask: 1 /*exists*/ | 2 /*wanted*/
 257     my $updated=0;
 258     my $reported=0;
 259     my $anypcfs=0;
 260
 261     my $logpath = "$fontdir/$logfile";
 262     unlink "$logpath" or $!==&ENOENT or die "$logpath $!";
 263     my $log = new IO::File $logpath, ">>" or die "$logpath $!";
 264
 265     if (!$wanted_parallel) {
 266         $wanted_parallel = Sys::CPU::cpu_count();
 267         printf $reportfh "parallelism: %d\n", $wanted_parallel if $verbose>=2;
 268     }
 269     $wanted_parallel = 1 if $wanted_parallel < 1;
 270
 271     our %inprogress;
 272
 273     my $await = sub {
 274         my $child = wait;
 275         die $! unless defined $child;
 276         my $job = $inprogress{$child};
 277         die $child unless $job;
 278
 279         my $dent = $job->{Dent};
 280         my $outdent = $job->{Outdent};
 281         my $stats = $job->{Stats};
 282         if ($?==0) {
 283             $updated++;
 284             $outfiles{$outdent} |= 3;
 285         } elsif ($?==2*256) {
 286         } else {
 287             die "[$child] $dent $outdent $?";
 288         }
 289         $newdone->{$dent} = $stats;
 290         $changed = 1;
 291         delete $inprogress{$child};
 292     };
 293
 294     flush $reportfh or die $!;
 295     while (my $dent = scalar readdir FD) {
 296         if ($dent =~ m/^\Q$fontprefix\E.*\.new$/) {
 297             unlink "$fontdir/$dent" or $!==&ENOENT or die "$fontdir $dent $!";
 298             next;
 299         }
 300         next unless $dent =~ m/^[^.\/].*\.pcf\.gz$/;
 301         print $reportfh "processing $fontdir...\n" or die $!
 302             unless $reported++;
 303         if ($dent =~ m/^\Q$fontprefix/) {
 304             $outfiles{$dent} |= 1;
 305             next;
 306         }
 307         if (!stat "$fontdir/$dent") {
 308             die "$fontdir $dent $!" unless $!==&ENOENT;
 309             next;
 310         }
 311         die "$fontdir $dent" unless -f _;
 312         $anypcfs++;
 313
 314         my $stats = statsummary();
 315         my $tdone = $olddone->{$dent};
 316         my $outdent = $fontprefix.$dent;
 317         if (defined $tdone && $tdone eq $stats) {
 318             $outfiles{$outdent} |= 2;
 319             $newdone->{$dent} = $stats;
 320             next;
 321         }
 322
 323         $await->() while scalar keys %inprogress >= $wanted_parallel;
 324
 325         my $child = fork;  die unless defined $child;
 326         if (!$child) {
 327             my $r = processpcfgz("$fontdir/$dent",
 328                                  "$fontdir/$outdent.new",
 329                                  $log, $dent);
 330             my $rc;
 331             if ($r !~ m/^\d/) {
 332                 printf $log "%s: unchanged - %s\n", $dent, $r;
 333                 unlink "$fontdir/$outdent.new" or die "$fontdir $outdent $!";
 334                 $rc = 2;
 335             } else {
 336                 rename "$fontdir/$outdent.new", "$fontdir/$outdent"
 337                     or die "$fontdir $outdent $!";
 338                 $rc = 0;
 339             }
 340             $log->flush or die "$logpath $!";
 341             exit $rc;
 342         }
 343         $inprogress{$child} = {
 344             Dent => $dent,
 345             Outdent => $outdent,
 346             Stats => $stats,
 347         };
 348     }
 349     $await->() while scalar keys %inprogress;
 350
 351     my $affected=0;
 352     foreach my $olddent (keys %outfiles) {
 353         my $state = $outfiles{$olddent};
 354         if ($state & 2) {
 355             $affected++ if $state & 1;
 356             next;
 357         }
 358         unlink "$fontdir/$olddent" or die "$fontdir $olddent $!";
 359         $changed = 1;
 360         $updated++;
 361     }
 362     if (!stat "$fontdir/fonts.dir") {
 363         $!==&ENOENT or die "$fontdir $!";
 364     } else {
 365         $!=0; $?=0; system 'mkfontdir',$fontdir;
 366         die "$fontdir $? $!" if $? or $!;
 367     }
 368     if (!$anypcfs) {
 369         unlink "$logpath" or die "$fontdir $!";
 370         unlink "$fontdir/$donefile" or $!==&ENOENT or die "$fontdir $!";
 371     } elsif ($changed) {
 372         my $newdoneh = new IO::File "$fontdir/$donefile.new", 'w'
 373             or die "$fontdir $!";
 374         print $newdoneh Dumper($newdone) or die "$fontdir $!";
 375         close $newdoneh or die "$fontdir $!";
 376         rename "$fontdir/$donefile.new","$fontdir/$donefile"
 377             or die "$fontdir $!";
 378     }
 379     if ($reported || %$newdone || $affected || $updated) {
 380         printf " processed %s: %d pcfs, %d affected, %d updated.\n",
 381             $fontdir, (scalar keys %$newdone), $affected, $updated;
 382     }
 383 }
 384
 385 sub processfonttree ($) {
 386     my ($tree) = @_;
 387     find({ follow => 1,
 388            dangling_symlinks => 0,
 389            no_chdir => 1,
 390            wanted => sub {
 391                return unless -d _;
 392                processfontdir($File::Find::name);
 393            }},
 394          $tree);
 395 }
 396
 397 our $stdin = new IO::File '<&STDIN' or die $!;
 398 our $stdout = new IO::File '>&STDOUT' or die $!;
 399 our $stderr = new IO::File '>&STDERR' or die $!;
 400 $reportfh = $stdout;
 401
 402 our (@options)=(
 403     'R|rules-include=s@' => \@rulespath,
 404     'share-dir=s' => \$sharedir,
 405     'verbose|v+' => \$verbose,
 406     'j|parallel=i' => \$wanted_parallel,
 407     );
 408
 409 sub define_mode ($$) {
 410     my ($optname,$f) = @_;
 411     push @options, $optname, sub {
 412         die "only one mode may be specified\n" if defined $mode;
 413         $mode=$f;
 414     };
 415 }
 416
 417 define_mode('bdf-filter', sub {
 418     die "no arguments allowed with --bdf-filter\n" if @ARGV;
 419     $reportfh = $stderr;
 420     loadfoundries();
 421     my $r = processbdf($stdin,$stdout,$reportfh,'stdin');
 422     if ($r !~ m/^\d/) {
 423         print STDERR "stdin not processed: $r\n";
 424         exit 2;
 425     }
 426 });
 427
 428 define_mode('process-pcf', sub {
 429     die "need source and destination pcf.gz\n" if @ARGV!=2;
 430     loadfoundries();
 431     my $r = processpcfgz($ARGV[0],$ARGV[1],$reportfh,"pcf");
 432     if ($r !~ m/^\d/) {
 433         print STDERR "pcf not processed: $r\n";
 434         exit 2;
 435     }
 436 });
 437
 438 define_mode('process-fontdirs', sub {
 439     die "need font dir(s)\n" unless @ARGV;
 440     loadfoundries();
 441     foreach my $d (@ARGV) {
 442         processfontdir($d);
 443     }
 444 });
 445
 446 define_mode('process-fonttrees', sub {
 447     die "need font tree(s)\n" unless @ARGV;
 448     loadfoundries();
 449     foreach my $d (@ARGV) {
 450         processfonttree($d);
 451     }
 452 });
 453
 454 define_mode('update', sub {
 455     die "no arguments allowed with --postinst\n" unless !@ARGV;
 456     loadfoundries();
 457     foreach my $d (@fonttrees) {
 458         processfonttree($d);
 459     }
 460 });
 461
 462 Getopt::Long::Configure(qw(bundling));
 463 GetOptions(@options) or exit 127;
 464
 465 push @rulespath, "$sharedir/rules";
 466
 467 die "need a mode\n" unless $mode;
 468
 469 $mode->();