chiark / gitweb /
fix wrong bug# (oops!) (again)
[xfonts-traditional.git] / update-xfonts-traditional
1 #!/usr/bin/perl -w
2 use strict;
3 use POSIX;
4 use IO::File;
5 use Getopt::Long;
6 use File::Glob qw(:glob);
7 use Data::Dumper;
8 use IO::Pipe;
9 use File::Find;
10 use Sys::CPU;
11
12 our $prefix="/usr/local";
13 our $package='xfonts-traditional';
14 our $sharedir="$prefix/share/$package";
15 our @fonttrees=qw(/usr/share/fonts/X11 /usr/local/share/fonts/X11);
16 our $donefile="$package.done";
17 our $logfile="$package.log";
18 our $fontprefix="trad--";
19 our @rulespath;
20 our $mode;
21 our %foundrymap;
22 our $verbose=0;
23 our $reportfh;
24 our $foundryinfo;
25 our %props;
26 our $tolerate_bad_fonts=1;
27 our $always_reprocess;
28 our $wanted_parallel;
29
30 sub reportloaded {
31     return unless $verbose;
32     print $reportfh @_,"\n" or die $!;
33 }
34
35 sub statsummary () {
36     return join ' ', ((stat _)[1,7,9,10]);
37 }
38
39 sub loadrules ($) {
40     my ($key) = @_;
41     our %cache;
42     my $fc=$cache{$key};  
43     return $fc if $fc;
44     foreach my $path (@rulespath) {
45         my $script="$path/$key.rules";
46         $!=0; $@=''; my $f = do $script;
47         if (defined $f) {
48             reportloaded("rules: loaded ",$script);
49             $cache{$key}=$f;
50             return $f;
51         }
52         die "$! $? $script" unless $! == &ENOENT;
53     }
54     return $cache{$key}=undef;
55 }
56
57 sub processbdf ($$$$) {
58     my ($inbdf,$outbdf,$logfile,$what) = @_;
59     my $state='idle';
60     my ($foundry,$font);
61     my ($w,$h,$xo,$yo,$y,$bitmap,$glyph);
62     my $modified=0;
63     %props = ();
64     my $anyinput=0;
65     while (<$inbdf>) {
66         $anyinput=1;
67         if ($state eq 'bitmap' && $y==$h) {
68             $glyph = uc $glyph;
69             $glyph =~ s/\;$//;
70             local ($_) = $glyph;
71             my $key= sprintf "%s,%d,%d,%d,%d", $foundry,$w,$h,$xo,$yo;
72             my $rules= loadrules($key);
73             return 'no rules' if !$rules;
74             $rules->();
75             $modified += ($_ ne $glyph);
76             print $outbdf $_,"\n" or die $!
77                 foreach split /\;/, $_; # /;
78             $state='idle';
79         }
80         if ($state eq 'bitmap') {
81             m/^([0-9a-fA-F]+)\s+$/ or die $y;
82             length($1) == (($w+7 >> 3) << 1) or die "$1 $w";
83             $glyph .= "$1;";
84             $y++;
85             next;
86         }
87         if ($state eq 'idle' && m/^FOUNDRY\s+/) {
88             die if defined $foundry;
89             return 'foundry syntax' unless m/^FOUNDRY\s+\"(\w+)\"\s+/;
90             $foundry = $foundrymap{lc $1};
91             return 'no foundry' unless defined $foundry;
92             $_ = "FOUNDRY \"$foundry\"\n";
93         }
94         if ($state eq 'idle' && m/^FONT\s+/) {
95             die if defined $font;
96             return 'simple font name' unless m/^(FONT\s+)\-(\w+)\-/;
97             $font = $foundrymap{lc $2};
98             return 'no foundry' unless defined $font;
99             $_ = "FONT -$font-$'";
100         }
101         if ($state eq 'idle' && m/^STARTCHAR\s/) {
102             die unless defined $foundry;
103             die unless defined $font;
104             return 'foundry != font' unless $foundry eq $font;
105             $state='startchar';
106             $w=undef;
107         }
108         if (($state eq 'idle' || $state eq 'startchar') &&
109             m/^([A-Z_]+)\s+(.*\S)\s+$/) {
110             $props{$1}=$2;
111         }
112         if ($state eq 'startchar') {
113             if (m/^BBX\s+(\+?\d+)\s+(\+?\d+)\s+([-+]?\d+)\s+([-+]?\d+)\s+$/) {
114                 ($w,$h,$xo,$yo) = ($1,$2,$3,$4);
115             }
116             if (m/^BITMAP\s+$/) {
117                 die unless defined $w;
118                 $y=0;
119                 $glyph='';
120                 $state='bitmap';
121                 $props{' 7bit'}=
122                     ($props{'CHARSET_REGISTRY'} =~ m/iso8859|utf|iso10646/i &&
123                      $props{'ENCODING'} <= 127);
124             }
125         }
126         print $outbdf $_ or die $!;
127     }
128     die $! if $inbdf->error;
129     die $! if $outbdf->error or !$outbdf->flush;
130     die unless $state eq 'idle';
131     return 'no bdf data' # also special cased in processpcfgz
132         if !$anyinput;
133     if ($modified) {
134         printf $logfile "%s: %d glyphs changed\n", $what, $modified
135             or die $!;
136     } else {
137         printf $logfile "%s: unchanged - no rules matched\n", $what
138             or die $!;
139     }
140     return $modified;
141 }
142
143 sub loadfoundries () {
144     $foundryinfo = '';
145     foreach my $path (@rulespath) {
146         if (!stat $path) {
147             die "$path $!" unless $!==&ENOENT;
148             next;
149         }
150         $foundryinfo .= statsummary().' '.$path."\0\n";
151
152         my $p = "$path/foundries";
153         my $f = new IO::File $p;
154         if (!$f) {
155             die "$p $!" unless $!==&ENOENT;
156             print $reportfh "foundries: none in $p\n" or die $! if $verbose;
157             next;
158         }
159         stat $f or die $!;
160         while (<$f>) {
161             s/^\s*//; s/\s+$//;
162             next if m/^\#/;
163             m/^(\w+)\s+(\w+)$/ or die;
164             my $k = lc $1;
165             next if exists $foundrymap{$k};
166             $foundrymap{$k}=$2;
167         }
168         $f->error and die $!;
169         reportloaded('foundries: loaded ',$p);
170     }
171     die "no foundry maps\n" unless %foundrymap;
172 }
173
174 sub processpcfgz ($$$$) {
175     my ($inpcfgz,$outpcfgz,$logfile,$what) = @_;
176     print $reportfh "processing $inpcfgz to $outpcfgz\n" if $verbose>=2;
177     my $current = new IO::File $inpcfgz, '<' or die "$inpcfgz $!";
178     my ($usread,$uswrite);
179     my ($reader,$writer);
180     my @children;
181     my %ch;
182     foreach my $proc (['gunzip'], ['pcf2bdf'], [],
183                       ['bdftopcf'],['',qw(gzip -1 -n)]) {
184         my $isfinal = (@$proc && $proc->[0] eq '');
185         if (!$isfinal) {
186             $reader = new IO::Handle or die $!;
187             $writer = new IO::Handle or die $!;
188             new IO::Pipe($reader,$writer) or die $!;
189         } else {
190             shift @$proc;
191             $reader = undef;
192             $writer = new IO::File $outpcfgz, '>' or die "$outpcfgz $!";
193         }
194         if (@$proc) {
195             my $exe = $proc->[0];
196             my $child = fork;  defined $child or die $!;
197             if (!$child) {
198                 open STDIN, '<&', $current or die $!;
199                 open STDOUT, '>&', $writer or die $!;
200                 if (!$isfinal) {
201                     close $reader or die $!;
202                 }
203                 close $usread or die $! if $usread;
204                 close $uswrite or die $! if $uswrite;
205                 exec $exe @$proc or die "$exe $!";
206             }
207             my $ch = {
208                 Pid => $child,
209                 Exe => $exe,
210                 Stage => (!$exe ? 'self' : defined $usread ? 'out' : 'in'),
211                 SigOK => { },
212             };
213             push @children, $ch;
214             $ch{$exe} = $ch;
215             close $current or die $!;
216             close $writer or die $!;
217             $current = $reader;
218         } else {
219             $usread = $current;
220             $uswrite = $writer;
221             $current = $reader;
222         }
223     }
224     my $r = processbdf($usread,$uswrite,$logfile,$what);
225     my $none = $r !~ m/^\d/;
226
227     $ch{'gunzip'}{SigOK}{13} = 1;
228     # ... we never care if pcf2bdf didn't want all the output from gunzip
229
230     if ($none || !$r) {
231         # We're not going to install or use this so we can kill our
232         # input and output filters.  We kill the input filters so that
233         # we don't risk waiting for them.  (If the input filter died
234         # for some other reason then sending it a KILL now won't
235         # affect its exit status.)  We kill the output filters (before
236         # we close the output pipe) so we don't produce messages from
237         # our output filters about corrupted data.
238         flush $uswrite or die $!;
239
240         foreach my $ch (@children) {
241             if ($ch->{Stage} ne 'self') {
242                 kill 9, $ch->{Pid} or die "$ch->{Pid} $ch->{Exe} $!";
243                 $ch->{SigOK}{9} = 1;
244             }
245         }
246         $ch{'pcf2bdf'}{SigOK}{13} = 1;
247         # ... we might not have read all the output from pcf2bdf, which is OK
248     }
249     close $uswrite or die $!;
250     close $usread or die $!;
251
252     foreach my $ch (@children) {
253         $!=0; waitpid($ch->{Pid}, 0) == $ch->{Pid} or
254             die "$ch->{Pid} $ch->{Exe} $!";
255         $ch->{St} = $?;
256     }
257
258     my $st_isok = sub {
259         my ($ch) = @_;
260         my $st = $ch->{St};
261         return !$st || $ch->{SigOK}{($st & ~128)};
262     };
263
264     if ($tolerate_bad_fonts &&
265         $r eq 'no bdf data' &&
266         $st_isok->($ch{'gunzip'}) &&
267         ($ch{'pcf2bdf'}{St} & ~128) == 6)
268     {
269         $r = "pcf2bdf failed ($ch{'pcf2bdf'}{St})";
270         print STDERR "warning: $r: skipping $inpcfgz\n";
271         $ch{'pcf2bdf'}{SigOK}{6} = 1;
272     }
273     foreach my $ch (@children) {
274         if (!$st_isok->($ch)) {
275             die "update-xfonts-traditional:".
276                 " $ch->{Exe} [$ch->{Pid}] for $inpcfgz".
277                 " failed $ch->{St}".
278                 " (".(join ' ', keys %{ $ch->{SigOK} })." ok)\n";
279         }
280     }
281     return $r;
282 }
283
284 sub processfontdir ($) {
285     my ($fontdir) = @_;
286     if (!opendir FD, $fontdir) {
287         die "$fontdir $!" unless $!==&ENOENT;
288         return;
289     }
290     my $changed = 0;
291     my $olddone;
292     if (!$always_reprocess) {
293         $olddone = do "$fontdir/$donefile";
294         if (!$olddone) {
295             die "$fontdir $! $@ " unless $!==&ENOENT;
296         } elsif ($olddone->{''} ne $foundryinfo) {
297             our $repro_reported;
298             print $reportfh "reprocessing fonts (rules updated)\n" or die $!
299                 unless $repro_reported++;
300             $olddone = undef;
301         }
302     }
303     if (!$olddone) {
304         $olddone = { };
305         $changed = 1;
306     }
307     my $newdone = { '' => $foundryinfo };
308     my %outfiles; # bitmask: 1 /*exists*/ | 2 /*wanted*/
309     my $updated=0;
310     my $reported=0;
311     my $anypcfs=0;
312
313     my $logpath = "$fontdir/$logfile";
314     unlink "$logpath" or $!==&ENOENT or die "$logpath $!";
315     my $log = new IO::File $logpath, ">>" or die "$logpath $!";
316
317     if (!$wanted_parallel) {
318         $wanted_parallel = Sys::CPU::cpu_count();
319         printf $reportfh "parallelism: %d\n", $wanted_parallel if $verbose>=2;
320     }
321     $wanted_parallel = 1 if $wanted_parallel < 1;
322
323     our %inprogress;
324
325     my $await = sub {
326         my $child = wait;
327         die $! unless defined $child;
328         my $job = $inprogress{$child};
329         die $child unless $job;
330
331         my $dent = $job->{Dent};
332         my $outdent = $job->{Outdent};
333         my $stats = $job->{Stats};
334         if ($?==0) {
335             $updated++;
336             $outfiles{$outdent} |= 3;
337         } elsif ($?==2*256) {
338         } else {
339             die "update-xfonts-traditional: processing of".
340                 " $fontdir/$dent [$child] failed ($?)\n";
341         }
342         $newdone->{$dent} = $stats;
343         $changed = 1;
344         delete $inprogress{$child};
345     };
346
347     flush $reportfh or die $!;
348     while (my $dent = scalar readdir FD) {
349         if ($dent =~ m/^\Q$fontprefix\E.*\.new$/) {
350             unlink "$fontdir/$dent" or $!==&ENOENT or die "$fontdir $dent $!";
351             next;
352         }
353         next unless $dent =~ m/^[^.\/].*\.pcf\.gz$/;
354         print $reportfh "processing $fontdir...\n" or die $!
355             unless $reported++;
356         if ($dent =~ m/^\Q$fontprefix/) {
357             $outfiles{$dent} |= 1;
358             next;
359         }
360         if (!stat "$fontdir/$dent") {
361             die "$fontdir $dent $!" unless $!==&ENOENT;
362             next;
363         }
364         die "$fontdir $dent" unless -f _;
365         $anypcfs++;
366
367         my $stats = statsummary();
368         my $tdone = $olddone->{$dent};
369         my $outdent = $fontprefix.$dent;
370         if (defined $tdone && $tdone eq $stats) {
371             $outfiles{$outdent} |= 2;
372             $newdone->{$dent} = $stats;
373             next;
374         }
375
376         $await->() while scalar keys %inprogress >= $wanted_parallel;
377
378         my $child = fork;  die unless defined $child;
379         if (!$child) {
380             my $r = processpcfgz("$fontdir/$dent",
381                                  "$fontdir/$outdent.new",
382                                  $log, $dent);
383             my $rc;
384             if ($r !~ m/^\d/) {
385                 printf $log "%s: unchanged - %s\n", $dent, $r;
386                 unlink "$fontdir/$outdent.new" or die "$fontdir $outdent $!";
387                 $rc = 2;
388             } else {
389                 rename "$fontdir/$outdent.new", "$fontdir/$outdent"
390                     or die "$fontdir $outdent $!";
391                 $rc = 0;
392             }
393             $log->flush or die "$logpath $!";
394             exit $rc;
395         }
396         $inprogress{$child} = {
397             Dent => $dent,
398             Outdent => $outdent,
399             Stats => $stats,
400         };
401     }
402     $await->() while scalar keys %inprogress;
403
404     my $affected=0;
405     foreach my $olddent (keys %outfiles) {
406         my $state = $outfiles{$olddent};
407         if ($state & 2) {
408             $affected++ if $state & 1;
409             next;
410         }
411         unlink "$fontdir/$olddent" or die "$fontdir $olddent $!";
412         $changed = 1;
413         $updated++;
414     }
415     if (!stat "$fontdir/fonts.dir") {
416         $!==&ENOENT or die "$fontdir $!";
417     } else {
418         $!=0; $?=0; system 'mkfontdir',$fontdir;
419         die "$fontdir $? $!" if $? or $!;
420     }
421     if (!$anypcfs) {
422         unlink "$logpath" or die "$fontdir $!";
423         unlink "$fontdir/$donefile" or $!==&ENOENT or die "$fontdir $!";
424     } elsif ($changed) {
425         my $newdoneh = new IO::File "$fontdir/$donefile.new", 'w' 
426             or die "$fontdir $!";
427         print $newdoneh Dumper($newdone) or die "$fontdir $!";
428         close $newdoneh or die "$fontdir $!";
429         rename "$fontdir/$donefile.new","$fontdir/$donefile"
430             or die "$fontdir $!";
431     }
432     if ($reported || %$newdone || $affected || $updated) {
433         printf " processed %s: %d pcfs, %d affected, %d updated.\n",
434             $fontdir, (scalar keys %$newdone), $affected, $updated;
435     }
436 }
437
438 sub processfonttree ($) {
439     my ($tree) = @_;
440     find({ follow => 1,
441            dangling_symlinks => 0,
442            no_chdir => 1,
443            wanted => sub {
444                return unless -d _;
445                processfontdir($File::Find::name);
446            }},
447          $tree);
448 }
449
450 our $stdin = new IO::File '<&STDIN' or die $!;
451 our $stdout = new IO::File '>&STDOUT' or die $!;
452 our $stderr = new IO::File '>&STDERR' or die $!;
453 $reportfh = $stdout;
454
455 our (@options)=(
456     'R|rules-include=s@' => \@rulespath,
457     'share-dir=s' => \$sharedir,
458     'verbose|v+' => \$verbose,
459     'j|parallel=i' => \$wanted_parallel,
460     'always-reprocess!' => \$always_reprocess,
461     'tolerate-bad-fonts!' => \$tolerate_bad_fonts,
462     );
463
464 sub define_mode ($$) {
465     my ($optname,$f) = @_;
466     push @options, $optname, sub {
467         die "only one mode may be specified\n" if defined $mode;
468         $mode=$f;
469     };
470 }
471
472 define_mode('bdf-filter', sub {
473     die "no arguments allowed with --bdf-filter\n" if @ARGV;
474     $reportfh = $stderr;
475     loadfoundries();
476     my $r = processbdf($stdin,$stdout,$reportfh,'stdin');
477     if ($r !~ m/^\d/) {
478         print STDERR "stdin not processed: $r\n";
479         exit 2;
480     }
481 });
482
483 define_mode('process-pcf', sub {
484     die "need source and destination pcf.gz\n" if @ARGV!=2;
485     loadfoundries();
486     my $r = processpcfgz($ARGV[0],$ARGV[1],$reportfh,"pcf");
487     if ($r !~ m/^\d/) {
488         print STDERR "pcf not processed: $r\n";
489         exit 2;
490     }
491 });
492
493 define_mode('process-fontdirs', sub {
494     die "need font dir(s)\n" unless @ARGV;
495     loadfoundries();
496     foreach my $d (@ARGV) {
497         processfontdir($d);
498     }
499 });
500
501 define_mode('process-fonttrees', sub {
502     die "need font tree(s)\n" unless @ARGV;
503     loadfoundries();
504     foreach my $d (@ARGV) {
505         processfonttree($d);
506     }
507 });
508
509 define_mode('update', sub {
510     die "no arguments allowed with --postinst\n" unless !@ARGV;
511     loadfoundries();
512     foreach my $d (@fonttrees) {
513         processfonttree($d);
514     }
515 });
516
517 Getopt::Long::Configure(qw(bundling));
518 GetOptions(@options) or exit 127;
519
520 push @rulespath, "$sharedir/rules";
521
522 die "need a mode\n" unless $mode;
523
524 $mode->();