chiark / gitweb /
update-xfonts-traditional: process fonts in parallel
[xfonts-traditional.git] / update-xfonts-traditional
1 #!/usr/bin/perl -w
2 use strict;
3 use POSIX;
4 use IO::File;
5 use Getopt::Long;
6 use File::Glob qw(:glob);
7 use Data::Dumper;
8 use IO::Pipe;
9 use File::Find;
10 use Sys::CPU;
11
12 our $prefix="/usr/local";
13 our $package='xfonts-traditional';
14 our $sharedir="$prefix/share/$package";
15 our @fonttrees=qw(/usr/share/fonts/X11 /usr/local/share/fonts/X11);
16 our $donefile="$package.done";
17 our $logfile="$package.log";
18 our $fontprefix="trad--";
19 our @rulespath;
20 our $mode;
21 our %foundrymap;
22 our $verbose=0;
23 our $reportfh;
24 our $foundryinfo;
25 our %props;
26 our $wanted_parallel;
27
28 sub reportloaded {
29     return unless $verbose;
30     print $reportfh @_,"\n" or die $!;
31 }
32
33 sub statsummary () {
34     return join ' ', ((stat _)[1,7,9,10]);
35 }
36
37 sub loadrules ($) {
38     my ($key) = @_;
39     our %cache;
40     my $fc=$cache{$key};  
41     return $fc if $fc;
42     foreach my $path (@rulespath) {
43         my $script="$path/$key.rules";
44         $!=0; $@=''; my $f = do $script;
45         if (defined $f) {
46             reportloaded("rules: loaded ",$script);
47             $cache{$key}=$f;
48             return $f;
49         }
50         die "$! $? $script" unless $! == &ENOENT;
51     }
52     return $cache{$key}=undef;
53 }
54
55 sub processbdf ($$$$) {
56     my ($inbdf,$outbdf,$logfile,$what) = @_;
57     my $state='idle';
58     my ($foundry,$font);
59     my ($w,$h,$xo,$yo,$y,$bitmap,$glyph);
60     my $modified=0;
61     %props = ();
62     while (<$inbdf>) {
63         if ($state eq 'bitmap' && $y==$h) {
64             $glyph = uc $glyph;
65             $glyph =~ s/\;$//;
66             local ($_) = $glyph;
67             my $key= sprintf "%s,%d,%d,%d,%d", $foundry,$w,$h,$xo,$yo;
68             my $rules= loadrules($key);
69             return (0,'no rules') if !$rules;
70             $rules->();
71             $modified += ($_ ne $glyph);
72             print $outbdf $_,"\n" or die $!
73                 foreach split /\;/, $_; # /;
74             $state='idle';
75         }
76         if ($state eq 'bitmap') {
77             m/^([0-9a-fA-F]+)\s+$/ or die $y;
78             length($1) == (($w+7 >> 3) << 1) or die "$1 $w";
79             $glyph .= "$1;";
80             $y++;
81             next;
82         }
83         if ($state eq 'idle' && m/^FOUNDRY\s+/) {
84             die if defined $foundry;
85             return (0,'foundry syntax') unless m/^FOUNDRY\s+\"(\w+)\"\s+/;
86             $foundry = $foundrymap{lc $1};
87             return (0,'no foundry') unless defined $foundry;
88             $_ = "FOUNDRY \"$foundry\"\n";
89         }
90         if ($state eq 'idle' && m/^FONT\s+/) {
91             die if defined $font;
92             return (0,'simple font name') unless m/^(FONT\s+)\-(\w+)\-/;
93             $font = $foundrymap{lc $2};
94             return (0,'no foundry') unless defined $font;
95             $_ = "FONT -$font-$'";
96         }
97         if ($state eq 'idle' && m/^STARTCHAR\s/) {
98             die unless defined $foundry;
99             die unless defined $font;
100             return (0,'foundry != font') unless $foundry eq $font;
101             $state='startchar';
102             $w=undef;
103         }
104         if (($state eq 'idle' || $state eq 'startchar') &&
105             m/^([A-Z_]+)\s+(.*\S)\s+$/) {
106             $props{$1}=$2;
107         }
108         if ($state eq 'startchar') {
109             if (m/^BBX\s+(\+?\d+)\s+(\+?\d+)\s+([-+]?\d+)\s+([-+]?\d+)\s+$/) {
110                 ($w,$h,$xo,$yo) = ($1,$2,$3,$4);
111             }
112             if (m/^BITMAP\s+$/) {
113                 die unless defined $w;
114                 $y=0;
115                 $glyph='';
116                 $state='bitmap';
117                 $props{' 7bit'}=
118                     ($props{'CHARSET_REGISTRY'} =~ m/iso8859|utf|iso10646/i &&
119                      $props{'ENCODING'} <= 127);
120             }
121         }
122         print $outbdf $_ or die $!;
123     }
124     die $! if $inbdf->error;
125     die $! if $outbdf->error or !$outbdf->flush;
126     die unless $state eq 'idle';
127     if ($modified) {
128         printf $logfile "%s: %d glyphs changed\n", $what, $modified
129             or die $!;
130     } else {
131         printf $logfile "%s: unchanged - no rules matched\n", $what
132             or die $!;
133     }
134     return $modified;
135 }
136
137 sub loadfoundries () {
138     $foundryinfo = '';
139     foreach my $path (@rulespath) {
140         if (!stat $path) {
141             die "$path $!" unless $!==&ENOENT;
142             next;
143         }
144         $foundryinfo .= statsummary().' '.$path."\0\n";
145
146         my $p = "$path/foundries";
147         my $f = new IO::File $p;
148         if (!$f) {
149             die "$p $!" unless $!==&ENOENT;
150             print $reportfh "foundries: none in $p\n" or die $! if $verbose;
151             next;
152         }
153         stat $f or die $!;
154         while (<$f>) {
155             s/^\s*//; s/\s+$//;
156             next if m/^\#/;
157             m/^(\w+)\s+(\w+)$/ or die;
158             my $k = lc $1;
159             next if exists $foundrymap{$k};
160             $foundrymap{$k}=$2;
161         }
162         $f->error and die $!;
163         reportloaded('foundries: loaded ',$p);
164     }
165     die "no foundry maps\n" unless %foundrymap;
166 }
167
168 sub processpcfgz ($$$$) {
169     my ($inpcfgz,$outpcfgz,$logfile,$what) = @_;
170     print $reportfh "processing $inpcfgz to $outpcfgz\n" if $verbose>=2;
171     my $current = new IO::File $inpcfgz, '<' or die "$inpcfgz $!";
172     my ($usread,$uswrite);
173     my ($reader,$writer);
174     my @children;
175     foreach my $proc (['gunzip'], ['pcf2bdf'], [],
176                       ['bdftopcf'],['',qw(gzip -1 -n)]) {
177         my $isfinal = (@$proc && $proc->[0] eq '');
178         if (!$isfinal) {
179             $reader = new IO::Handle or die $!;
180             $writer = new IO::Handle or die $!;
181             new IO::Pipe($reader,$writer) or die $!;
182         } else {
183             shift @$proc;
184             $reader = undef;
185             $writer = new IO::File $outpcfgz, '>' or die "$outpcfgz $!";
186         }
187         if (@$proc) {
188             my $exe = $proc->[0];
189             my $child = fork;  defined $child or die $!;
190             if (!$child) {
191                 open STDIN, '<&', $current or die $!;
192                 open STDOUT, '>&', $writer or die $!;
193                 if (!$isfinal) {
194                     close $reader or die $!;
195                 }
196                 close $usread or die $! if $usread;
197                 close $uswrite or die $! if $uswrite;
198                 exec $exe @$proc or die "$exe $!";
199             }
200             push @children, [ $child, $exe, defined $usread ];
201             close $current or die $!;
202             close $writer or die $!;
203             $current = $reader;
204         } else {
205             $usread = $current;
206             $uswrite = $writer;
207             $current = $reader;
208         }
209     }
210     my $r = processbdf($usread,$uswrite,$logfile,$what);
211     my $none = $r !~ m/^\d/;
212     if ($none) {
213         flush $uswrite or die $!;
214     } else {
215         close $uswrite or die $!;
216     }
217     close $usread or die $!;
218     foreach my $chinfo (@children) {
219         my ($child,$exe,$isoutput)=@$chinfo;
220         my $sigok = 0;
221         if ($none) {
222             if ($isoutput) {
223                 $sigok = 9;
224                 kill 9, $child or die "$child $!";
225             } else {
226                 $sigok = 13;
227             }
228         }
229         $!=0; waitpid($child, 0) == $child or die "$child $!";
230         !$? or ($?&~128)==$sigok or die "$exe [$child] $sigok $?";
231     }
232     return $r;
233 }
234
235 sub processfontdir ($) {
236     my ($fontdir) = @_;
237     if (!opendir FD, $fontdir) {
238         die "$fontdir $!" unless $!==&ENOENT;
239         return;
240     }
241     my $changed = 0;
242     my $olddone = do "$fontdir/$donefile";
243     if (!$olddone) {
244         die "$fontdir $! $@ " unless $!==&ENOENT;
245     } elsif ($olddone->{''} ne $foundryinfo) {
246         our $repro_reported;
247         print $reportfh "reprocessing fonts (rules updated)\n" or die $!
248             unless $repro_reported++;
249         $olddone = undef;
250     }
251     if (!$olddone) {
252         $olddone = { };
253         $changed = 1;
254     }
255     my $newdone = { '' => $foundryinfo };
256     my %outfiles; # bitmask: 1 /*exists*/ | 2 /*wanted*/
257     my $updated=0;
258     my $reported=0;
259     my $anypcfs=0;
260
261     my $logpath = "$fontdir/$logfile";
262     unlink "$logpath" or $!==&ENOENT or die "$logpath $!";
263     my $log = new IO::File $logpath, ">>" or die "$logpath $!";
264
265     if (!$wanted_parallel) {
266         $wanted_parallel = Sys::CPU::cpu_count();
267         printf $reportfh "parallelism: %d\n", $wanted_parallel if $verbose>=2;
268     }
269     $wanted_parallel = 1 if $wanted_parallel < 1;
270
271     our %inprogress;
272
273     my $await = sub {
274         my $child = wait;
275         die $! unless defined $child;
276         my $job = $inprogress{$child};
277         die $child unless $job;
278
279         my $dent = $job->{Dent};
280         my $outdent = $job->{Outdent};
281         my $stats = $job->{Stats};
282         if ($?==0) {
283             $updated++;
284             $outfiles{$outdent} |= 3;
285         } elsif ($?==2*256) {
286         } else {
287             die "[$child] $dent $outdent $?";
288         }
289         $newdone->{$dent} = $stats;
290         $changed = 1;
291         delete $inprogress{$child};
292     };
293
294     flush $reportfh or die $!;
295     while (my $dent = scalar readdir FD) {
296         if ($dent =~ m/^\Q$fontprefix\E.*\.new$/) {
297             unlink "$fontdir/$dent" or $!==&ENOENT or die "$fontdir $dent $!";
298             next;
299         }
300         next unless $dent =~ m/^[^.\/].*\.pcf\.gz$/;
301         print $reportfh "processing $fontdir...\n" or die $!
302             unless $reported++;
303         if ($dent =~ m/^\Q$fontprefix/) {
304             $outfiles{$dent} |= 1;
305             next;
306         }
307         if (!stat "$fontdir/$dent") {
308             die "$fontdir $dent $!" unless $!==&ENOENT;
309             next;
310         }
311         die "$fontdir $dent" unless -f _;
312         $anypcfs++;
313
314         my $stats = statsummary();
315         my $tdone = $olddone->{$dent};
316         my $outdent = $fontprefix.$dent;
317         if (defined $tdone && $tdone eq $stats) {
318             $outfiles{$outdent} |= 2;
319             $newdone->{$dent} = $stats;
320             next;
321         }
322
323         $await->() while scalar keys %inprogress >= $wanted_parallel;
324
325         my $child = fork;  die unless defined $child;
326         if (!$child) {
327             my $r = processpcfgz("$fontdir/$dent",
328                                  "$fontdir/$outdent.new",
329                                  $log, $dent);
330             my $rc;
331             if ($r !~ m/^\d/) {
332                 printf $log "%s: unchanged - %s\n", $dent, $r;
333                 unlink "$fontdir/$outdent.new" or die "$fontdir $outdent $!";
334                 $rc = 2;
335             } else {
336                 rename "$fontdir/$outdent.new", "$fontdir/$outdent"
337                     or die "$fontdir $outdent $!";
338                 $rc = 0;
339             }
340             $log->flush or die "$logpath $!";
341             exit $rc;
342         }
343         $inprogress{$child} = {
344             Dent => $dent,
345             Outdent => $outdent,
346             Stats => $stats,
347         };
348     }
349     $await->() while scalar keys %inprogress;
350
351     my $affected=0;
352     foreach my $olddent (keys %outfiles) {
353         my $state = $outfiles{$olddent};
354         if ($state & 2) {
355             $affected++ if $state & 1;
356             next;
357         }
358         unlink "$fontdir/$olddent" or die "$fontdir $olddent $!";
359         $changed = 1;
360         $updated++;
361     }
362     if (!stat "$fontdir/fonts.dir") {
363         $!==&ENOENT or die "$fontdir $!";
364     } else {
365         $!=0; $?=0; system 'mkfontdir',$fontdir;
366         die "$fontdir $? $!" if $? or $!;
367     }
368     if (!$anypcfs) {
369         unlink "$logpath" or die "$fontdir $!";
370         unlink "$fontdir/$donefile" or $!==&ENOENT or die "$fontdir $!";
371     } elsif ($changed) {
372         my $newdoneh = new IO::File "$fontdir/$donefile.new", 'w' 
373             or die "$fontdir $!";
374         print $newdoneh Dumper($newdone) or die "$fontdir $!";
375         close $newdoneh or die "$fontdir $!";
376         rename "$fontdir/$donefile.new","$fontdir/$donefile"
377             or die "$fontdir $!";
378     }
379     if ($reported || %$newdone || $affected || $updated) {
380         printf " processed %s: %d pcfs, %d affected, %d updated.\n",
381             $fontdir, (scalar keys %$newdone), $affected, $updated;
382     }
383 }
384
385 sub processfonttree ($) {
386     my ($tree) = @_;
387     find({ follow => 1,
388            dangling_symlinks => 0,
389            no_chdir => 1,
390            wanted => sub {
391                return unless -d _;
392                processfontdir($File::Find::name);
393            }},
394          $tree);
395 }
396
397 our $stdin = new IO::File '<&STDIN' or die $!;
398 our $stdout = new IO::File '>&STDOUT' or die $!;
399 our $stderr = new IO::File '>&STDERR' or die $!;
400 $reportfh = $stdout;
401
402 our (@options)=(
403     'R|rules-include=s@' => \@rulespath,
404     'share-dir=s' => \$sharedir,
405     'verbose|v+' => \$verbose,
406     'j|parallel=i' => \$wanted_parallel,
407     );
408
409 sub define_mode ($$) {
410     my ($optname,$f) = @_;
411     push @options, $optname, sub {
412         die "only one mode may be specified\n" if defined $mode;
413         $mode=$f;
414     };
415 }
416
417 define_mode('bdf-filter', sub {
418     die "no arguments allowed with --bdf-filter\n" if @ARGV;
419     $reportfh = $stderr;
420     loadfoundries();
421     my $r = processbdf($stdin,$stdout,$reportfh,'stdin');
422     if ($r !~ m/^\d/) {
423         print STDERR "stdin not processed: $r\n";
424         exit 2;
425     }
426 });
427
428 define_mode('process-pcf', sub {
429     die "need source and destination pcf.gz\n" if @ARGV!=2;
430     loadfoundries();
431     my $r = processpcfgz($ARGV[0],$ARGV[1],$reportfh,"pcf");
432     if ($r !~ m/^\d/) {
433         print STDERR "pcf not processed: $r\n";
434         exit 2;
435     }
436 });
437
438 define_mode('process-fontdirs', sub {
439     die "need font dir(s)\n" unless @ARGV;
440     loadfoundries();
441     foreach my $d (@ARGV) {
442         processfontdir($d);
443     }
444 });
445
446 define_mode('process-fonttrees', sub {
447     die "need font tree(s)\n" unless @ARGV;
448     loadfoundries();
449     foreach my $d (@ARGV) {
450         processfonttree($d);
451     }
452 });
453
454 define_mode('update', sub {
455     die "no arguments allowed with --postinst\n" unless !@ARGV;
456     loadfoundries();
457     foreach my $d (@fonttrees) {
458         processfonttree($d);
459     }
460 });
461
462 Getopt::Long::Configure(qw(bundling));
463 GetOptions(@options) or exit 127;
464
465 push @rulespath, "$sharedir/rules";
466
467 die "need a mode\n" unless $mode;
468
469 $mode->();