chiark / gitweb /
i18n: i18n-diff-auditor: tiny debug improvement
[dgit.git] / i18n-diff-auditor
1 #!/usr/bin/perl -w
2 use strict;
3 use Carp;
4 use Data::Dumper;
5 use Getopt::Long;
6
7 our $debug = 0;
8 GetOptions("debug|D+" => \$debug
9            );
10
11 our @debug;
12 sub debug ($$) {
13     my ($i,$s) = @_;
14     push @{ $debug[$i] }, $s if $debug;
15 }
16
17 my @d = <>;
18 unshift @d, "# dummy line to make line 1 index 1 in \@d\n";
19
20 our $i_last_l_ok = -1;
21 our $count_i_last_l_ok;
22
23 sub l_ok ($) {
24     my ($i) = @_;
25
26     if ($i == $i_last_l_ok) {
27         confess $i if $count_i_last_l_ok++ > 50;
28     } else {
29         $count_i_last_l_ok = 0;
30         $i_last_l_ok = $i;
31     }
32
33     return unless $i < @d;
34     $_ = $d[$i];
35     #print STDERR "L $i\n";
36     1;
37 }
38
39 sub l ($) {
40     my ($i) = @_;
41     confess $i unless l_ok $i;
42 };
43
44 our $perlop_text = <<'END'; # c&p from man perlop
45            left        terms and list operators (leftward)
46            left        ->
47            nonassoc    ++ --
48            right       **
49            right       ! ~ \ and unary + and -
50            left        =~ !~
51            left        * / % x
52            left        + - .
53            left        << >>
54            nonassoc    named unary operators
55            nonassoc    < > <= >= lt gt le ge
56            nonassoc    == != <=> eq ne cmp ~~
57            left        &
58            left        | ^
59            left        &&
60            left        || //
61            nonassoc    ..  ...
62            right       ?:
63            right       = += -= *= etc. goto last next redo dump
64            left        , =>
65            nonassoc    list operators (rightward)
66            right       not
67            left        and
68            left        or xor
69
70            **=    +=    *=    &=    &.=    <<=    &&=
71                   -=    /=    |=    |.=    >>=    ||=
72                   .=    %=    ^=    ^.=           //=
73                         x=
74 END
75
76 our $perlop_re;
77
78 sub prep_perlop () {
79     my @ops;
80     foreach (split /\n/, $perlop_text) {
81         next unless m{\S};
82         s{\s+$}{};
83         s{^\s+}{};
84         s{^(?: left | right | nonassoc ) \s+}{}x;
85         next if m{^terms and list operators};
86         next if m{^named unary};
87         next if m{^list operators};
88         s{ and unary.*}{};
89         s{ etc\. }{ };
90         s{\?\:}{ ? : };
91         foreach my $op (split /\s+/) {
92             next unless length $op;
93             next if $op =~ m{^\w+$};
94             $op =~ s/\W/\\$&/g;
95             push @ops, $op;
96         }
97     }
98     $perlop_re = '(?: '.(join ' | ', @ops).' )';
99     $perlop_re = qr{$perlop_re}x;
100     #print STDERR "$perlop_re\n";
101 }
102
103 prep_perlop();
104
105 our ($ifilehead, $ifirsthunkhead);
106 our ($ihunkhead, $ihunkend);
107 our ($ichunkstart, $ichunkend);
108 our ($before, $after);
109
110 sub is_string ($) { $_[0]{T} =~ m/heredoc|string/; }
111 sub is_trans ($) { grep { $_[0]{E} eq $_ } qw(__ f_ i_); }
112
113 sub semiparse ($) {
114     ($_) = @_;
115     my @o;
116     # entries contain
117     #   T     type
118     #   E     exact input text (does not contain here doc contents)
119     #   P     something to print in messages
120     #   V     value, only for: heredoc string
121     #   Q     quote characcter, only for: heredoc string
122     for (;;) {
123         s{^\s+}{};
124         if (s{^[\$\@\%]?[_0-9a-zA-Z]+}{}) {
125             push @o, { T => 'ident', E => $&, P => $& };
126         } elsif (s{^\<\<(['"]?)([A-Z_]+)\1}{}) {
127             my ($q,$d) = ($1,$2);
128             $q ||= '"';
129             push @o, { T => 'heredoc', Q => $q, Delim => $d,
130                        E => $&, P => "<<$q$d$q" };
131             s{^
132                 (             .* \n    )
133                 ( (?: (?! $d) .* \n )* )
134                           $d     \n
135               }{ $1 }x or die "missing end of here doc $d\n";
136             $o[$#o]{V} = $2;
137         } elsif (s{^ (["'])( (?: [^\\'"]
138                                | \\ [^"']
139                                | (?! \1 ) [^"]
140                               )*
141                        ) \1 }{}x) {
142             my ($q,$v) = ($1,$2);
143             push @o, { T => 'string', E => $&, P => "$q$q",
144                        Q => $q, V => $v};
145         } elsif (s{^$perlop_re|^\;}{}) {
146             push @o, { T => 'op', E => $&, P => $& };
147         } elsif (s/[[{(]//) {
148             push @o, { T => 'bra', E => $&, P => $& };
149         } elsif (s/[]})]//) {
150             push @o, { T => 'ket', E => $&, P => $& };
151         } elsif (s/^( [\$\@\%] )( \{ )//x) {
152             push @o, { T => 'deref', E => $1, P => $1 },
153                      { T => 'bra',   E => $2, P => $2 };
154         } elsif (s/^ [\$\@\%] [^[^{] //x) {
155             push @o, { T => 'specvar', E => $&, P => $& };
156         } elsif (!length) {
157             last;
158         } else {
159             m{^.{0,10}};
160             die "cannot tokenise \`$&'";
161         }
162     }
163     for (my $i=0; $i+2 < @o; $i++) {
164         next unless $o[$i+1]{E} eq '.';
165         my @inputs = @o[$i, $i+2];
166         #print STDERR Dumper(\@inputs);
167         next if grep { !is_string($_) } @inputs;
168         my $q = $inputs[0]{Q};
169         next if grep { $_->{Q} ne $q } @inputs;
170         my $new = { T => 'joinedstrings',
171                     E => (join '.', map { $_->{E} } @inputs),
172                     P => (join '.', map { $_->{P} } @inputs),
173                     V => (join '',  map { $_->{V} } @inputs),
174                     Q => $q,
175                   };
176         @o = (@o[0..$i-1], $new, @o[$i+3..$#o]);
177         $i--; # counteracts $i++
178     }
179     debug $ichunkstart, "semiparsed: ".join ' ', map { $_->{P} } @o;
180     return @o;
181 }           
182
183 our @analysed_x;
184 our @analysed_y;
185
186 sub analyse_chunk_core () {
187     die "plain deletion\n" unless defined $after;
188     die "plain insertion\n" unless defined $before;
189     my @xs = semiparse $before;
190     my @ys = semiparse $after;
191     @analysed_x = @analysed_y = ();
192     my $next_something = sub {
193         my ($ary,$anal,$var,$what) = @_;
194         die "ran out of $what\n" unless @$ary;
195         my $r = shift @$ary;
196         push @$anal, $r->{P};
197         $$var = $r;
198     };
199     my ($x,$y);
200     my $next_x = sub { $next_something->(\@xs, \@analysed_x, \$x, 'before'); };
201     my $next_y = sub { $next_something->(\@ys, \@analysed_y, \$y, 'after' ); };
202     our @y_expect_suffix = ();
203     for (;;) {
204         while (my $e = shift @y_expect_suffix) {
205             $next_y->();
206             $y->{E} eq $e
207                 or die "suffix mismatch, expected $e got $y->{E}\n";
208         }
209         last unless @xs or @ys;
210         $next_x->();
211         $next_y->();
212         next if $x->{E} eq $y->{E};
213         if ($y->{E} eq '+'
214             and @ys >= 3
215             and $ys[0]{E} eq '('
216             and is_trans($ys[1])) {
217             $next_y->(); # (
218             $next_y->(); # __ f_
219             @y_expect_suffix = ')';
220         }
221         my $string_changed;
222         my $ye = $y->{E};
223         if (is_trans($y)) {
224             $next_y->();
225             die "__ on non-string $y->{P}\n"     unless is_string($y);
226             die "__ on was non-string $y->{P}\n" unless is_string($x);
227             if ($y->{Q} ne "'") {
228                 die "var subst in new string\n"
229                     if $y->{V} =~ m{(?<!\\) [\$\@]};
230             }
231             eval {
232                 die "__ string changed\n"       unless $y->{V} eq $x->{V};
233                 die "__ string quote changed\n" unless $y->{Q} eq $x->{Q};
234             };
235             $string_changed = $@;
236         }
237         if ($ye eq '__') {
238             $_ = $y->{V};
239             die "percent $& in __ ' string\n" if m{\%};
240             die $string_changed if length $string_changed;
241             next;
242         }
243         if ($ye eq 'i_') {
244             die $string_changed if length $string_changed;
245             next;
246         }
247         if ($ye eq 'f_') {
248             my $fmt = $y->{V};
249             die "no percent in _f string\n" unless $fmt =~ m{\%};
250             next unless $string_changed;
251             die "f_ old string '-quoted\n" if $x->{Q} ne '"';
252             my $xs = $x->{V};
253             my $exactly = sub {
254                 my ($lit, $what) = @_;
255                 my $xl = substr($xs, 0, length($lit));
256                 if ($xl ne $lit) {
257                     debug $ichunkstart, "not exactly x: \"..$xs\"";
258                     debug $ichunkstart, "not exactly y:   $lit";
259                     my $next = @ys ? $ys[0]{P} : '(end)';
260                     die "string contents mismatch near $what before $next\n";
261                 }
262                 $xs = substr($xs, length($lit));
263             };
264             for (;;) {
265                 if ($fmt !~ m{\%[^\%]}) {
266                     $exactly->($fmt, '(tail)');
267                     $fmt = '';
268                     last;
269                 }
270                 $exactly->($`, '(literal)');
271                 $fmt = $';
272                 if ($& eq '%%') { $exactly->('%', '%%'); next; }
273                 elsif ($& ne '%s') { die "unhandled %-subst $&\n"; }
274                 $next_y->();
275                 die "expected comma, got $y->{P}\n" unless $y->{E} eq ',';
276                 if ($xs =~ m{^\@}) {
277                     $next_y->();
278                     die "\@... => not string" unless is_string($y);
279                     die "\@... => $y->{P}" if $y->{Q} ne '"';
280                     $exactly->($y->{V}, $y->{P});
281                     next;
282                 }
283                 my $bras = 0;
284                 for (;;) {
285                     if (!$bras and !@ys) {
286                         last;
287                     }
288                     $next_y->();
289                     if (!$bras and
290                         (grep { $y->{E} eq $_ } qw( or xor and not ; :
291                                                     if unless while when )
292                          or $y->{E} eq ','
293                          or $y->{T} eq 'ket'
294                         )) {
295                         # lookahead shows close of containing scope
296                         # or lower precedence operator
297                         unshift @ys, $y;
298                         pop @analysed_y;
299                         last;
300                     }
301                     $xs =~ s{^\s+}{};
302                     $exactly->($y->{E}, $y->{P});
303                     if ($y->{T} eq 'bra' or $y->{E} eq '?') {
304                         $bras++;
305                     } elsif ($y->{T} eq 'ket' or $y->{E} eq ':') {
306                         die "too many kets at $y->{E}\n" unless $bras;
307                         $bras--;
308                     }
309                 }
310             }
311             next;
312         }
313         die "mismatch $x->{P} => $y->{P}\n";
314     }
315 }
316
317 sub analyse_chunk () {
318     for (;;) {
319         eval { analyse_chunk_core(); };
320         return unless length $@;
321         if ($@ =~ m{^missing end of here doc (\S+)\n}) {
322             # fudge this
323             $before .= "\n$1\n";
324             $after .= "\n$1\n";
325             next;
326         } else {
327             die $@;
328         }
329     }
330 }
331
332 our @report;
333 our $last_filehead = -1;
334
335 sub report_on_hunk () {
336     return unless @report;
337     if ($last_filehead != $ifilehead) {
338         foreach (my $i=$ifilehead; $i<$ifirsthunkhead; $i++) {
339             print $d[$i];
340         }
341         $last_filehead = $ifilehead;
342     }
343     my $dummy_r = { S => (scalar @d)+1, E => (scalar @d)+1 };
344     my $r;
345     for (my $i=$ihunkhead; ; $i++) {
346         for (;;) {
347             $r //= shift @report;
348             $r //= $dummy_r;
349             last if $i < $r->{E};
350             confess unless $r->{Done} == 03;
351             $r = undef;
352         }
353
354         last unless $i<$ihunkend;
355
356         foreach my $ds (@{ $debug[$i] }) {
357             print "# $ds\n";
358         }
359
360         if ($i == $r->{S}) {
361             print "!! $r->{M}";
362             $r->{Done} |= 01;
363         }
364         if ($i >= $r->{S}) {
365             print "!";
366             $r->{Done} |= 02;
367         } else {
368             print " ";
369         }
370         print $d[$i];
371     }
372     confess unless $r = $dummy_r;
373 }
374
375 for ($ifilehead = 0; l_ok $ifilehead; $ifilehead++) {
376     m{^diff} or next;
377     $ifirsthunkhead = $ifilehead;
378     while (l_ok $ifirsthunkhead and
379            m{^diff|^index|^---|^\Q+++\E}) {
380         $ifirsthunkhead++
381     }
382     $ihunkhead = $ifirsthunkhead;
383     while (l_ok $ihunkhead) {
384         m{^\@\@} or confess "$ihunkhead $_ ?";
385         my $i = $ihunkhead + 1;
386         for (; ; $i++) {
387             if (!l_ok $i or m{^ } or m{^\@\@}) {
388                 if (defined $ichunkstart) {
389                     $ichunkend = $i;
390                     eval { analyse_chunk(); 1; };
391                     if (length $@) {
392                         debug $ichunkstart, "done x: @analysed_x";
393                         debug $ichunkstart, "done y: @analysed_y";
394                         push @report, { M => $@,
395                                         S => $ichunkstart,
396                                         E => $ichunkend };
397                     }
398                     $ichunkstart = $ichunkend = $before = $after = undef;
399                 }
400                 l_ok $i or last;
401                 m{^\@\@} and last;
402             } elsif (m{^[-+]}) {
403                 my $which = $& eq '-' ? \$before : \$after;
404                 $ichunkstart //= $i;
405                 $$which //= '';
406                 $$which .= $';
407             } else {
408                 confess "$i $_ ?";
409             }
410         }
411         $ihunkend = $i;
412         report_on_hunk();
413         $ichunkend = $i;
414         $ihunkhead = $i;
415     }
416 }