chiark / gitweb /
Compile fixes for amd64 according to Ian
[ypp-sc-tools.main.git] / pctb / dictionary-manager
1 #!/usr/bin/wish
2
3 # helper program for OCR in PCTB upload client
4
5 # This is part of ypp-sc-tools, a set of third-party tools for assisting
6 # players of Yohoho Puzzle Pirates.
7 #
8 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
9 #
10 # This program is free software: you can redistribute it and/or modify
11 # it under the terms of the GNU General Public License as published by
12 # the Free Software Foundation, either version 3 of the License, or
13 # (at your option) any later version.
14 #
15 # This program is distributed in the hope that it will be useful,
16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 # GNU General Public License for more details.
19 #
20 # You should have received a copy of the GNU General Public License
21 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
22 #
23 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
24 # are used without permission.  This program is not endorsed or
25 # sponsored by Three Rings.
26
27
28 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict-test/pctb /home/ftp/users/ijackson/pctb/test
29 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict/pctb /home/ftp/users/ijackson/pctb
30
31
32 # invocation:
33 # OUT OF DATE
34 #  run this without args
35 #  then on stdin write
36 #     one line which is a Tcl list for unk_{l,r} unk_contexts glyphsdone etc.
37 #     the xpm in the format expected
38 #  then expect child to exit 0, or write a single 0 byte to fd 4
39 #  if it wrote a byte to fd 4, it can take another question
40
41
42 #---------- library routines ----------
43
44 proc manyset {list args} {
45     foreach val $list var $args {
46         upvar 1 $var my
47         set my $val
48     }
49 }
50
51 proc must_gets {f lvar} {
52     upvar 1 $lvar l
53     if {[gets $f l] < 0} { error "huh?" }
54 }
55
56 proc must_gets_exactly {f expected} {
57     must_gets $f got
58     if {[string compare $expected $got]} { error "$expected $got ?" }
59 }
60
61 proc read_counted {f var} {
62     upvar 1 $var val
63     must_gets $f count
64     set val [read $f $count]
65     must_gets $f eol
66     if {[string length $eol]} { error "$eol ?" }
67     debug "READ_COUNTED $count $var"
68 }
69
70 proc puts_counted {f dvar} {
71     upvar 1 $dvar d
72     set count [string length $d]
73     puts $f $count
74     puts $f $d
75     debug "PUTS_COUNTED $count $dvar"
76 }
77
78 proc bgerror {m} {
79     global errorCode errorInfo
80     puts stderr "ERROR: $m\n[list $errorCode]\n$errorInfo\n";
81     exit 16
82 }
83
84 #---------- display core ----------
85
86 set mul 6
87 set inter 1
88
89 set gotsh 20
90 set csrh 20
91 set ctxh 20
92
93 proc init_widgets {} {
94     # idempotent
95     global csrh gotsh ctxh
96
97     if {[winfo exists .d]} return
98
99     frame .privacy -bd 2 -relief groove
100     pack .privacy -side top -padx 2 -pady 2 -fill x
101
102     upload_init
103     
104     frame .d -bd 2 -relief groove -pady 2 -padx 2
105
106     image create bitmap image/main
107     label .d.mi -image image/main -bd 0
108
109     frame .d.csr -bg black -height $csrh
110     frame .d.got -bg black -height $gotsh
111     frame .d.ctx -bg black
112
113     image create bitmap image/cursor -data \
114 {#define csr_width 11
115 #define csr_height 11
116 static unsigned char csr_bits[] = {
117    0x20, 0x00, 0x20, 0x00, 0x20, 0x00, 0x21, 0x04, 0x22, 0x02, 0x25, 0x05,
118    0xaa, 0x02, 0x74, 0x01, 0xa8, 0x00, 0x70, 0x00, 0x20, 0x00};
119 }
120
121     frame .d.csr.csr
122     label .d.csr.csr.l -image image/cursor -compound left
123     entry .d.csr.csr.e -bd 0
124     pack .d.csr.csr.l -side left
125
126     frame .d.selctx -bd 2 -relief groove
127     frame .d.mi.csr_0 -bg white -width 1
128     frame .d.mi.csr_1 -bg white -width 1
129     frame .d.pe
130     frame .d.pe.grid
131
132     button .d.pe.ok -text OK
133     pack .d.pe.grid .d.pe.ok -side left
134
135     pack .d.mi .d.ctx -side top
136     pack .d -fill x -padx 2 -pady 2
137
138     frame .help -bd 2 -relief groove
139     pack .help -pady 2 -padx 2
140 }
141
142 proc resize_widgets_core {} {
143     global mulcols mulrows csrh gotsh ctxh
144     global unk_l unk_contexts
145     
146     foreach w {.d.csr .d.got .d.ctx} {
147         $w configure -width $mulcols
148     }
149
150     eval destroy [winfo children .d.ctx]
151 }
152
153 set last_ht {}
154
155 proc helptext {t} {
156     global last_ht
157     if {![string compare $t $last_ht]} return
158     eval destroy [grid slaves .help]
159     set y 0; foreach l $t {
160         set x 0; foreach c $l {
161             set w .help.at${x}x${y}
162             label $w -text $c
163             grid $w -row $y -column $x -padx 5 -sticky w
164             incr x
165         }
166         incr y
167     }
168     set last_ht $t
169 }
170
171 proc bind_key {k proc} {
172     global keybindings
173     bind .d <Key-$k> $proc
174     set keybindings($k) [expr {!![string length $proc]}]
175     .d configure -takefocus 1
176 }
177 proc unbind_all_keys {} {
178     global keybindings
179     foreach k [array names keybindings] { bind_key $k {} }
180     .d configure -takefocus 0
181 }
182
183 #---------- database read and write common wrapper ----------
184
185 proc db_getsl {f} {
186     if {[gets $f l] < 0} { error "unexpected db eof" }
187     return $l
188 }
189
190 proc read_database {fn} {
191     global reqkind database database_fn
192     upvar #0 database_magic/$reqkind magic
193     catch { unset database }
194
195     set database_fn $fn
196     if {![file exists $database_fn]} return
197     set f [open $database_fn r]
198     if {[string compare [db_getsl $f] $magic]} { error "$l $reqkind ?" }
199
200     read_database_header/$reqkind $f
201     while 1 {
202         set l1 [db_getsl $f]
203     
204         if {![string length $l1]} continue
205         if {[regexp {^\#} $l1]} continue
206         if {![string compare . $l1]} break
207
208         read_database_entry/$reqkind $f $l1
209     }
210     close $f
211 }
212
213 proc write_database {} {
214     global reqkind database_fn database
215     upvar #0 database_magic/$reqkind magic
216     
217     set f [open $database_fn.new w]
218     puts $f $magic
219
220     write_database_header/$reqkind $f
221
222     set ol {}
223     foreach bm [array names database] {
224         lappend ol [format_database_entry/$reqkind $bm $database($bm)]
225     }
226     foreach o [lsort $ol] {
227         puts $f $o
228     }
229     puts $f "."
230     close $f
231     file rename -force $database_fn.new $database_fn
232 }
233
234 proc select_database {dbname_spec} {
235     global dbname
236     set dbname $dbname_spec
237     read_database "./#local-$dbname#.txt"
238 }
239
240 proc do_database_update {im def} {
241     global database
242     maybe_upload_entry $im $def
243     set database($im) $def
244     write_database
245 }
246     
247 proc required/char {} {
248     global mulrows glyphsdone unk_l unk_r unk_contexts rows new_context
249     global all_contexts
250     
251     must_gets stdin l
252
253     manyset [lrange $l 0 3] unk_l unk_r unk_contexts
254     set glyphsdone [lrange $l 3 end]
255     debug "GOT $l"
256
257     char_read_xpm stdin
258
259     catch { unset all_contexts }
260
261     resize_widgets_core
262     foreach w {0 1} {
263         .d.mi.csr_$w configure -height $mulrows
264     }
265     set maxh 0
266     foreach {min max context contexts got} $glyphsdone {
267         show_context maxh $min $context
268         foreach ctx $contexts { set all_contexts($ctx) 1 }
269     }
270     foreach ctx $unk_contexts { set all_contexts($ctx) 1 }
271
272     eval destroy [winfo children .d.selctx]
273     label .d.selctx.title -text \
274         {Select match context for altering dictionary:}
275     pack .d.selctx.title -side left
276     set new_context [lindex $unk_contexts 0]
277
278     set ci 0; foreach ctx [lsort [array names all_contexts]] {
279         set all_contexts($ctx) $ci
280         set selw .d.selctx.c$ci
281         set seltxt $ctx
282         radiobutton $selw -variable new_context -value $ctx -text $seltxt
283         pack $selw -side left
284         incr ci
285     }
286     $selw configure -text "$seltxt."
287     label .d.selctx.warning -text {See README.charset.}
288     pack .d.selctx.warning -side left
289
290     show_context maxh $unk_l $unk_contexts
291     .d.ctx configure -height $maxh
292     pack forget .d.pe
293     pack .d.selctx .d.csr -side top -before .d.mi
294     pack .d.got .d.ctx -side top -after .d.mi
295     pack configure .d.selctx -fill x
296     focus .d
297
298     select_database char$rows
299     draw_glyphsdone
300     startup_cursor
301 }
302
303 proc approve_showentry_xinfo/char {w def} {
304     set unic [string2unicodenames $def]
305     label $w -text $unic
306 }
307
308 #========== PIXMAPS ==========
309
310 #---------- pixmap database read and write ----------
311
312 set database_magic/pixmap {# ypp-sc-tools pctb pixmaps v1}
313
314 proc read_database_header/pixmap {f} { }
315 proc read_database_entry/pixmap {f def} {
316     global database
317
318     set im ""
319     
320     set p3 [db_getsl $f];       append im $p3    "\n"
321     if {[string compare $p3 P3]} { error "$p3 ?" }
322
323     set wh [db_getsl $f];       append im $wh    "\n";   manyset $wh w h
324     set depth [db_getsl $f];    append im $depth "\n"
325
326     for {set y 0} {$y < $h} {incr y} {
327         set line [db_getsl $f]; append im $line  "\n"
328     }
329     set database($im) $def
330 }
331 proc write_database_header/pixmap {f} { puts $f "" }
332 proc format_database_entry/pixmap {im def} {
333     return "$def\n$im"
334 }
335
336 #---------- pixmap display and input handling ----------
337
338 proc foreach_pixmap_col {var body} {
339     global alloptions
340     upvar 1 $var col
341     for {set col 0} {$col < [llength $alloptions]/3} {incr col} {
342         uplevel 1 $body
343     }
344 }
345
346 proc pixmap_select {ncol} {
347     global alloptions
348     debug "PIX SELECT $ncol [llength $alloptions]"
349     foreach_pixmap_col col {
350         if {$col==$ncol} continue
351         .d.pe.grid.l$col selection clear 0 end
352     }
353     pixmap_maybe_ok
354 }
355 proc pixmap_maybe_ok {} {
356     global alloptions pixmap_selcol pixmap_selrow
357     set nsel 0
358     foreach_pixmap_col col {
359         set cs [.d.pe.grid.l$col curselection]
360         set lcs [llength $cs]
361         if {!$lcs} continue
362         incr nsel $lcs
363         set pixmap_selcol $col
364         set pixmap_selrow [lindex $cs 0]
365     }
366     if {$nsel==1} {
367         debug "MAYBE_OK YES col=$pixmap_selcol row=$pixmap_selrow."
368         .d.pe.ok configure -state normal -command pixmap_ok
369     } else {
370         .d.pe.ok configure -state disabled -command {}
371     }
372 }
373 proc pixmap_ok {} {
374     global database ppm pixmap_selcol pixmap_selrow mainkind alloptions
375
376     return_result_start
377     foreach_pixmap_col col {
378         .d.pe.grid.l$col configure -state disabled
379     }
380     .d.pe.ok configure -state disabled
381
382     manyset [lrange $alloptions [expr {$pixmap_selcol*3}] end] \
383         colname coldesc rows
384     manyset [lrange $rows [expr {$pixmap_selrow*2}] end] \
385         rowname rowdesc
386     set result "$colname - $rowname"
387     debug "UPDATE PIXMAP AS >$result<"
388
389     do_database_update $ppm $result
390
391     return_result_finish
392 }
393
394 proc required/pixmap {} {
395     global unk_what ppm mulcols alloptions
396     must_gets stdin unk_what
397     debug "GOT pixmap $unk_what"
398     set ppm {}
399     while 1 {
400         must_gets stdin ppml
401         if {![string length $ppml]} break
402         append ppm $ppml "\n"
403     }
404     set data [exec pnmscale 2 << $ppm]
405     image create photo image/main -data $data
406
407     set alloptions [exec ./database-info-fetch $unk_what]
408
409     select_database pixmap
410
411     set mulcols [image width image/main]
412     set mulrows [image height image/main]
413     resize_widgets_core
414     place forget .d.mi.csr_0
415     place forget .d.mi.csr_1
416
417     pack forget .d.selctx .d.csr .d.got
418     pack .d.pe -side top -before .d.mi -pady 2
419     .d configure -takefocus 0
420     #-pady 2 -fill x
421
422     eval destroy [winfo children .d.pe.grid]
423     set col 0; foreach {colname coldesc rows} $alloptions {
424         debug "INIT $col $colname \"$coldesc\""
425         label .d.pe.grid.t$col -text $colname
426         listbox .d.pe.grid.l$col
427         foreach {rowname rowdesc} $rows {
428             debug "INIT $col $colname \"$coldesc\" $rowname \"$rowdesc\""
429             .d.pe.grid.l$col insert end $rowdesc
430         }
431         bind .d.pe.grid.l$col <<ListboxSelect>> [list pixmap_select $col]
432         grid .d.pe.grid.t$col -column $col -row 0
433         grid .d.pe.grid.l$col -column $col -row 1
434         incr col
435     }
436     pixmap_maybe_ok
437     
438     helptext {
439         {{Indicate the meaning of this image, and click OK.}}
440     }
441 }
442
443 proc approve_showentry_xinfo/pixmap {w def} {
444     label $w -image image/empty
445 }
446
447 #========== UPLOADS TO DICTIONARY SERVER ==========
448
449 proc upload_init {} {
450     global privacy_setting
451
452     set privacy_setting [upload_status]
453
454     label .privacy.warn -text " Privacy "
455     if {$privacy_setting} {
456         .privacy.warn configure -background yellow -foreground black
457     }
458     label .privacy.overall -text " Upload new dictionary entry:"
459     label .privacy.reference -text " See README.privacy."
460
461     pack .privacy.warn .privacy.overall -side left
462
463     foreach {setting string} {
464         0 {No}
465         1 {Yes, anonymously}
466         2 {Yes, quoting my pirate name.}
467     } {
468         radiobutton .privacy.o$setting -text $string \
469             -value $setting -variable privacy_setting
470         pack .privacy.o$setting -side left
471         if {$setting > $privacy_setting} {
472             .privacy.o$setting configure -state disabled
473         }
474     }
475     pack .privacy.reference -side left
476
477     if {!$privacy_setting} {
478         foreach w [winfo children .privacy] {
479             $w configure -state disabled
480         }
481     }
482     if {$privacy_setting} {
483         package require http
484         ::http::config -urlencoding utf-8
485     }
486 }
487
488 proc upload_status {} {
489     # returns 0, 1, 2 for none, anon, with pirate name
490     global env
491
492     if {![info exists env(YPPSC_PCTB_DICT_SUBMIT)]} { debug a; return 0 }
493     if {![string compare 0 $env(YPPSC_PCTB_DICT_SUBMIT)]} { debug b; return 0 }
494
495     if {![info exists env(YPPSC_PIRATE)]} { return 1 }
496     if {![info exists env(YPPSC_OCEAN)]} { return 1 }
497     if {![string length $env(YPPSC_PIRATE)]} { return 1 }
498     if {![string length $env(YPPSC_OCEAN)]} { return 1 }
499
500     return 2
501 }
502
503 proc maybe_upload_entry {im def} {
504     global reqkind privacy_setting env dbname quiet
505
506     debug "DB-UPDATE PRIVACY $privacy_setting"
507     if {!$privacy_setting} return
508
509     debug "DB-UPDATE UPLOADING"
510
511     set pl {}
512     lappend pl dict $dbname
513
514     if {$privacy_setting>=2} {
515         set pirate [string totitle $env(YPPSC_PIRATE)]
516         set ocean [string totitle $env(YPPSC_OCEAN)]
517         debug "DB-UPDATE NON-ANON $ocean $pirate"
518         lappend pl \
519             pirate $pirate \
520             ocean $ocean
521     }
522     lappend pl entry [format_database_entry/$reqkind $im $def]
523
524     set url $env(YPPSC_PCTB_DICT_SUBMIT)
525     append url dictionary-update-receiver
526
527     set query [eval ::http::formatQuery $pl]
528     regsub -all {%0d} $query {} query
529     debug "DB-UPDATE QUERY $query"
530
531     if {[regexp {^\.?/} $url]} {
532         set cmd [list $url $query]
533         debug "SUBMIT CMD [string range $cmd 0 200]..."
534         set body [eval exec $cmd 2>@ stderr]
535         regsub {^Content-Type: text/plain.*\n\n} $body {} body
536     } else {
537
538         if {[catch {
539             set req [::http::geturl $url -query $query]
540         } emsg]} {
541             puts stderr \
542                 "\nWARNING: Cannot do dictionary upload: $emsg\n"
543             return
544         }
545         upvar #0 $req s
546         debug "DB-UPDATE DONE $req $s(status) [array names s]"
547         set ncode [::http::ncode $req]
548
549         if {!(![string compare ok $s(status)] &&
550               ![string compare 200 $ncode])} {
551             set m "\nWARNING: Dictionary upload failed:"
552             foreach v {status http error posterror} {
553                 if {[info exists s($v)]} { append m "\n $v: $s($v)" }
554             }
555             puts stderr $m
556             return
557         }
558         set body $s(body)
559         ::http::cleanup $req
560     }
561
562     if {![string match {OK *} $body]} {
563         set m "\nWARNING: Dictionary upload went wrong:\n"
564         append m "\n  " [join [split $body "\n"] "\n  "]
565         puts stderr $m
566         return
567     }
568
569     if {!$quiet} {
570         puts stderr \
571             "Uploaded $dbname `$def': $body"
572     }
573 }
574
575 #========== CHARACTER SET ==========
576
577 #---------- xpm input processor ----------
578
579 proc char_read_xpm {f} {
580     global glyphsdone mul inter rhsmost_max unk_l unk_r mulcols mulrows
581     global cols rows wordmap
582     
583     set o {}
584     set y -3
585     while 1 {
586         must_gets $f l
587         if {![regexp {^"(.*)",$} $l dummy l]} {
588             append o "$l\n"
589             if {[regexp {^\}\;$} $l]} break
590             continue
591         }
592         if {$y==-3} {
593             manyset $l cols rows colours cpp
594             if {$colours!=2 || $cpp!=1} { error "$l ?" }
595
596             set chop_l [expr {$unk_l - 80}]
597             set chop_r [expr {$cols - $unk_l - 100}]
598             if {$chop_l<0} { set chop_l 0 }
599
600             set unk_l [expr {$unk_l - $chop_l}]
601             set unk_r [expr {$unk_r - $chop_l}]
602             set ngd {}
603             foreach {min max context contexts got} $glyphsdone {
604                 lappend ngd \
605                     [expr {$min-$chop_l}] \
606                     [expr {$max-$chop_l}] \
607                     $context $contexts $got
608             }
609             set glyphsdone $ngd
610
611             set realcols $cols
612             set cols [expr {$cols - $chop_l - $chop_r}]
613             debug "NOW cols=$cols chop_l,r=$chop_l,$chop_r rows=$rows\
614                 $unk_l $unk_r $ngd"
615             
616             set mulcols [expr {$cols*$mul+$inter}]
617             set mulrows [expr {$rows*$mul+$inter}]
618             append o "\"$mulcols $mulrows 9 1\",\n"
619             for {set x 0} {$x<$cols} {incr x} { set wordmap($x) 0 }
620         } elseif {$y==-2} { # first pixel
621             append o \
622 "\"+ c #111\",
623 \"a c #800\",
624 \"A c #fcc\",
625 \"b c #00c\",
626 \"B c #fff\",
627 \"u c #000\",
628 \"U c #ff0\",
629 \"q c #000\",
630 \"Q c #ff0\",\n"
631         } elseif {$y==-1} { # 2nd pixel but we've already printed ours
632         } else {
633             set ybit [expr {1<<$y}]
634             set x 0
635             set ol "\"+"
636             set olh $ol
637             if {$chop_r>=0} {
638                 set l [string range $l $chop_l end-$chop_r]
639             } else {
640                 set l [string range $l $chop_l end]
641                 append l [string repeat " " [expr -$chop_r]]
642             }
643             foreach c [split $l ""] {
644                 set how "u"
645                 if {$x >= $unk_l && $x <= $unk_r} {
646                     set how q
647                 } else {
648                     set ab 0
649                     foreach {min max context contexts got} $glyphsdone {
650                         set rhsmost_max $max
651                         if {$x >= $min && $x <= $max} {
652                             set how [lindex {a b} $ab]
653                             break
654                         }
655                         set ab [expr {!$ab}]
656                     }
657                 }
658                 switch -exact $c {
659                     " " { set p $how }
660                     "o" {
661                         set p [string toupper $how]
662                         incr wordmap($x) $ybit
663                     }
664                     default { error "$c ?" }
665                 }
666                 append ol "[string repeat $p [expr {$mul-$inter}]][
667                          string repeat + $inter]"
668                 append olh [string repeat + $mul]
669                 incr x
670             }
671             set ole "\",\n"
672             append ol $ole
673             append olh $ole
674             set olhn [string repeat $olh $inter]
675             if {!$y} { append o $olhn }
676             append o [string repeat $ol [expr {$mul-1}]]
677             append o $olhn
678         }
679         incr y
680     }
681     set data [exec xpmtoppm << $o]
682     image create photo image/main -data $data
683 }
684
685 #---------- character set editor display ----------
686
687 proc show_context {maxhv x ctxs} {
688     global mul
689     upvar 1 $maxhv maxh
690     set w .d.ctx.at$x
691     if {[llength $ctxs]==1} { set fg blue } { set fg yellow }
692     label $w -bg black -fg $fg -text [join $ctxs "/\n"] -justify left
693     place $w -x [expr {($x-1)*$mul}] -y 0
694     set wh [winfo reqheight $w]
695     if {$wh > $maxh} { set maxh $wh }
696 }
697
698 proc draw_glyphsdone {} {
699     global glyphsdone mul inter
700     eval destroy [winfo children .d.got]
701     foreach {min max context contexts got} $glyphsdone {
702         frame .d.got.m$min -bd 0 -background \#888
703         label .d.got.m$min.l -text "$got" -fg white -bg black -bd 0
704         pack .d.got.m$min.l -padx 1 -pady 1
705         place .d.got.m$min -x [expr {$min*$mul+$inter}] -y 0
706     }
707 }
708
709 proc startup_cursor {} {
710     global cur_already cur_mode cur_0 cur_1 last_ht
711     global glyphsdone unk_l unk_r
712     
713     set cur_already [expr {[llength $glyphsdone]/5-1}]
714     set cur_mode 1 ;# one of:   0 1 already text
715
716     set cur_0 $unk_l
717     set cur_1 [expr {$unk_r+1}]
718
719     recursor
720 }
721
722 #---------- character set runtime display and keystroke handling ----------
723
724 proc char_exactly_selctxts {contexts} {
725     global all_contexts
726     foreach ctx [array names all_contexts] {
727         set ci $all_contexts($ctx)
728         set selw .d.selctx.c$ci
729         if {[lsearch -exact $contexts $ctx]>=0} {
730             set state normal
731         } else {
732             set state disabled
733         }
734         $selw configure -state $state
735     }
736 }
737
738 proc recursor/0 {} { recursor//01 0 }
739 proc recursor/1 {} { recursor//01 1 }
740 proc recursor//01 {z1} {
741     global mul rhsmost_max cols glyphsdone cur_0 cur_1
742     global all_contexts
743     upvar #0 cur_$z1 cur
744     .d.csr.csr.l configure -text "adjust [char_get_definition_context_actual]"
745     place .d.csr.csr -x [expr {$cur*$mul - 7}]
746
747     set okctxts [char_get_definition_contexts]
748     char_exactly_selctxts $okctxts
749
750     foreach ctx [lsort [array names all_contexts]] {
751         set key [string range $ctx 0 0]
752         if {[lsearch -exact $okctxts $ctx] >= 0} {
753             bind_key [string tolower $key] "
754                 [list set new_context $ctx]
755                 recursor
756             "
757         } else {
758             bind_key [string tolower $key] {}
759         }
760         lappend context_help $key
761     }
762     set context_help [list [join $context_help " "] \
763                           {Set match context for new glyph.}]
764
765     bind_key space { othercursor }
766     bind_leftright_q cur_$z1 0 [expr {$cols-1}]
767     if {[llength $glyphsdone]} {
768         bind_key BackSpace { set cur_mode already; recursor }
769     } else {
770         bind_key BackSpace {}
771     }
772     bind_key Return {
773         char_start_define_text
774     }
775     helptext [list                                              \
776         {{<- ->}   {move cursor, adjusting area to define}}     \
777         {Space     {switch to moving other cursor}}             \
778         {Return    {confirm location, enter letter(s)}}         \
779         {Backspace {switch to correcting earlier ocr}}          \
780         {Q         {quit and abandon OCR run}}                  \
781         $context_help                                           \
782                   ]
783 }
784 proc othercursor {} {
785     global cur_mode
786     set cur_mode [expr {!$cur_mode}]
787     recursor
788 }
789
790 proc char_start_define_text {} {
791     global cur_0 cur_1 cur_mode
792     if {$cur_0 == $cur_1} return
793     set cdgdca [char_get_definition_context_actual]
794     if {![string length $cdgdca]} return
795     .d.csr.csr.e delete 0 end
796     set cur_mode text
797     .d.csr.csr.l configure -text "define $cdgdca:"
798     recursor
799 }
800
801 proc recursor/text {} {
802     global all_contexts
803     
804     helptext {
805         {Return   {confirm entry of new glyph}}
806         {Escape   {abandon entry}}
807     }
808     unbind_all_keys
809     pack .d.csr.csr.e -side left
810     focus .d.csr.csr.e
811     bind .d.csr.csr.e <Key-Return> {
812         set strq [.d.csr.csr.e get]
813         if {[string length $strq]} {
814             RETURN_RESULT DEFINE [list $strq]
815         }
816     }
817     bind .d.csr.csr.e <Key-Escape> {
818         bind_key Escape {}
819         pack forget .d.csr.csr.e
820         set cur_mode 1
821         focus .d
822         recursor
823     }
824 }
825
826 proc recursor/already {} {
827     global mul
828     global cur_already mul
829     global glyphsdone cur_already mul
830
831     char_exactly_selctxts [lindex $glyphsdone [expr {$cur_already*5+2}]]
832
833     .d.csr.csr.l configure -text {correct}
834     set rmax [lindex $glyphsdone [expr {$cur_already*5}]]
835     place .d.csr.csr -x [expr {$rmax*$mul-3}]
836     bind_key Return {}
837     bind_leftright_q cur_already 0 [expr {[llength $glyphsdone]/5-1}]
838     bind_key space { bind_key Delete {}; set cur_mode 1; recursor }
839     bind_key Delete {
840         RETURN_RESULT DELETE [lrange $glyphsdone \
841                                   [expr $cur_already*5] \
842                                   [expr $cur_already*5+2]]
843     }
844     helptext {
845         {{<- ->}   {move cursor, selecting glyph to correct}}
846         {Del       {clear this glyph from the recognition database}}
847         {Space     {switch to selecting area to define as new glyph}}
848         {Q         {quit and abandon OCR run}}
849     }
850 }
851
852 proc bind_leftright_q {var min max} {
853     bind_key Left  [list leftright $var $min $max -1]
854     bind_key Right [list leftright $var $min $max +1]
855     bind_key q     {
856         puts stderr "\nCharacter resolver quitting as you requested."
857         exit 1
858     }
859 }
860 proc leftright {var min max inc} {
861     upvar #0 $var v
862     set vnew $v
863     incr vnew $inc
864     if {$vnew < $min || $vnew > $max} return
865     set v $vnew
866     recursor
867 }
868
869 proc recursor {} {
870     global csrh cur_mode cur_0 cur_1 mul
871     foreach z1 {0 1} {
872         place .d.mi.csr_$z1 -y 0 -x [expr {[set cur_$z1] * $mul}]
873     }
874     recursor/$cur_mode
875 }
876
877 #---------- character database read and write ----------
878
879 # OUT OF DATE
880 # database format:
881 # series of glyphs:
882 #   <context> <ncharacters> <hex>...
883 #   width
884 #   <hex-bitmap>
885
886 # $database($context 0x<bits> 0x<bits>...) = $hex
887
888 set database_magic/char {# ypp-sc-tools pctb font v1}
889     
890 proc read_database_header/char {f} {
891     global rows
892     set l [db_getsl $f]
893     if {$l+0 != $rows} { error "wrong h $l $rows ?" }
894 }
895 proc read_database_entry/char {f context} {
896     global database
897     set bm $context
898     set strq [db_getsl $f]
899     while 1 {
900         set l [db_getsl $f]
901         if {![string length $l]} break
902         lappend bm [format %x 0x$l]
903     }
904     set database($bm) $strq
905 }
906
907 proc write_database_header/char {f} {
908     global rows
909     puts $f "$rows\n"
910 }
911 proc format_database_entry/char {bm strq} {
912     global database rows
913     set o "[lindex $bm 0]\n$strq\n"
914     foreach x [lrange $bm 1 end] { append o "$x\n" }
915     return $o
916 }
917
918 proc dbkey {ctx l r} {
919     global wordmap
920     set bm $ctx
921     for {set x $l} {$x <= $r} {incr x} {
922         lappend bm [format %x $wordmap($x)]
923     }
924     return $bm
925 }
926
927 proc char_get_definition_cursors {} {
928     global cur_0 cur_1
929     if {$cur_0 <= $cur_1} {
930         set cl $cur_0; set cr $cur_1
931     } else {
932         set cl $cur_1; set cr $cur_0
933     }
934     incr cr -1
935     debug "CGD CURSORS $cl $cr"
936     return [list $cl $cr]
937 }
938
939 proc char_get_definition_contexts {} {
940     global glyphsdone unk_l unk_contexts wordmap database
941
942     manyset [char_get_definition_cursors] c0 c1
943     
944     if {$c0 == $unk_l} {
945         set ncontexts $unk_contexts
946     } else {
947         foreach {l r context contexts got} $glyphsdone {
948             if {$l==$c0} { set ncontexts $contexts; break }
949         }
950         if {![info exists ncontexts]} {
951             set ncontexts {}
952         }
953     }
954     debug "CGD CONTEXTS $ncontexts"
955     return $ncontexts
956 }
957
958 proc char_get_definition_context_actual {} {
959     global new_context
960     set ncontexts [char_get_definition_contexts]
961     if {[llength $ncontexts]==1} {
962         set c [lindex $ncontexts 0]
963     } elseif {[lsearch -exact $ncontexts $new_context]>=0} {
964         set c $new_context
965     } else {
966         set c {}
967     }
968     debug "CDG CONTEXT ACTUAL $c FROM NEW $new_context ALLOW $ncontexts"
969     return $c
970 }
971
972 proc update_database/DEFINE {strq} {
973     manyset [char_get_definition_cursors] c0 c1
974     set c [char_get_definition_context_actual]
975     if {![string length $c]} {
976         error "Selected context is not one of the many possibilities."
977     }
978     debug "DEFINE $strq"
979     set bm [dbkey $c $c0 $c1]
980     do_database_update $bm $strq
981 }
982
983 proc update_database/DELETE {l r ctxs} {
984     global database
985     if {[llength $ctxs]!=1} { error "$ctxs ?" }
986     foreach ctx $ctxs {
987         set bm [dbkey $ctx $l $r]
988         catch { unset database($bm) }
989     }
990     write_database
991 }
992
993 proc RETURN_RESULT {how what} {
994     return_result_start
995
996     place forget .d.csr.csr
997     pack forget .d.csr.csr.e
998
999     debug "$how $what"
1000     eval update_database/$how $what
1001
1002     return_result_finish
1003 }
1004
1005 #========== server for approving updates ==========
1006
1007 proc remote-serv-log {dict pirate caller file event} {
1008     global remoteserv_logf
1009     set t [clock format [clock seconds] -format {%Y-%m-%d %H:%M:%S %Z}]
1010     set s [format "%s %-6s %-31s %-31s %s %s\n" \
1011                $t $dict $pirate $caller [file tail $file] $event]
1012     puts -nonewline $remoteserv_logf $s
1013 }
1014
1015 proc remote-serv/list {} {
1016     global dropdir
1017     foreach file [glob -nocomplain -type f -directory $dropdir _update.*.rdy] {
1018         puts yes
1019         puts $file
1020         set f [open $file]
1021         set d [read $f]
1022         close $f
1023         puts_counted stdout d
1024     }
1025     puts end
1026 }
1027
1028 proc remote-serv/take {yesno file dict} {
1029     global dropdir dictdir rows reqkind database
1030     set rows ""
1031     debug "TAKE [list $yesno $file $dict]"
1032     read_counted stdin pirate
1033     read_counted stdin caller
1034     read_counted stdin key
1035     read_counted stdin val
1036
1037     must_gets_exactly stdin confirmed
1038
1039     manyset [dict2_reqkind_rows $dict] reqkind rows
1040     
1041     if {$yesno} {
1042         read_database $dictdir/master-$dict.txt
1043         set database($key) $val
1044         write_database
1045         set desc approve
1046     } else {
1047         set desc reject
1048     }
1049     remote-serv-log $dict $pirate $caller $file "$desc $reqkind $rows"
1050     file delete -force $file
1051
1052     puts done
1053 }
1054
1055 proc remote-serv/noop {} {
1056     puts ok
1057 }
1058
1059 set remoteserv_banner {ypp-sc-tools pctb remote-server v1}
1060
1061 proc main/remoteserv {} {
1062     global argv dropdir remoteserv_banner remoteserv_logf dictdir
1063     manyset $argv dropdir dictdir
1064     puts $remoteserv_banner
1065     set remoteserv_logf [open $dropdir/_dict.log a]
1066     fconfigure $remoteserv_logf -buffering line
1067     while 1 {
1068         flush stdout
1069         if {[gets stdin l] < 0} break
1070         eval remote-serv/$l
1071     }
1072 }
1073
1074 #========== updates approver ==========
1075
1076 proc puts_server {s} {
1077     global server
1078     debug ">> $s"
1079     puts $server $s
1080 }
1081 proc must_gets_server {lv} {
1082     upvar 1 $lv l
1083     global server
1084     must_gets $server l
1085     debug "<< $l"
1086 }
1087
1088 proc must_gets_exactly_server {expected} {
1089     must_gets_server got
1090     if {[string compare $expected $got]} { error "$expected $got ?" }
1091 }
1092
1093 proc regsub-data {exp subspec args} {
1094     global data
1095     if {![eval regsub $args -- [list $exp $data $subspec data]]} {
1096         error "$exp >$data< ?"
1097     }
1098 }
1099
1100 proc dict2_reqkind_rows {dict} {
1101     if {![string compare pixmap $dict]} {
1102         return {pixmap {}}
1103         debug "DICT PIXMAP"
1104     } elseif {[regexp {^(char)([1-9]\d*)$} $dict dummy reqkind rows]} {
1105         debug "DICT CHAR rqk=$reqkind r=$rows."
1106         return [list $reqkind $rows]
1107     } else {
1108         error "$dict ?"
1109     }
1110 }
1111
1112 proc chop_counted {var} {
1113     upvar 1 $var val
1114     global data
1115     if {![regexp {^(0|[1-9]\d*)\n} $data dummy l]} { error "$data ?" }
1116     regsub-data {^.*\n} {} -line
1117     set val [string range $data 0 [expr {$l-1}]]
1118     set data [string range $data $l end]
1119     debug "CHOP_COUNTED $l $var"
1120     regsub-data {^\n} {}
1121 }
1122
1123 proc approve_decompose_data {specdata} {
1124     global data
1125     set data $specdata
1126     
1127     regsub-data {^ypp-sc-tools dictionary update v1\n} {}
1128     uplevel 1 chop_counted pirate
1129     uplevel 1 chop_counted caller
1130     uplevel 1 chop_counted dict
1131     uplevel 1 chop_counted ctx
1132     uplevel 1 chop_counted def
1133     uplevel 1 chop_counted image
1134     uplevel 1 chop_counted key
1135     uplevel 1 chop_counted val
1136
1137     return [uplevel 1 {list $dict $def $image}]
1138 }
1139
1140 proc approve_compare {fd1 fd2} {
1141     manyset $fd1 file data; set sv1 [approve_decompose_data $data]
1142     manyset $fd2 file data; set sv2 [approve_decompose_data $data]
1143     return [string compare $sv1 $sv2]
1144 }
1145
1146 proc string2unicodenames {str} {
1147     return [exec perl -e {
1148         use Unicode::CharName qw(uname);
1149         $ARGV[0] =~ s/^ //;
1150         foreach $_ (split //,$ARGV[0]) {
1151             print uname(ord),"\n" or die $!
1152         }
1153     } " $str"]
1154 }
1155
1156 proc approve_showentry {ix file specdata} {
1157     global approve_ixes reqkind approve_entryhow
1158     
1159     approve_decompose_data $specdata
1160
1161     set wb .app.e$ix
1162
1163     frame $wb-inf
1164     label $wb-inf.who -text $pirate
1165
1166     entry $wb-inf.file -font fixed -relief flat
1167     $wb-inf.file insert end [file tail $file]
1168     $wb-inf.file configure -state readonly -width -1
1169
1170     pack $wb-inf.who $wb-inf.file -side top
1171
1172     frame $wb-def
1173     label $wb-def.scope -text "$dict $ctx"
1174     label $wb-def.def -text $def
1175     pack $wb-def.scope $wb-def.def -side bottom
1176
1177     set ppm [exec pnmscale 2 << $image]
1178     image create photo approve/$ix -data $ppm
1179     label $wb-image -image approve/$ix -bd 2 -relief sunken
1180
1181     manyset [dict2_reqkind_rows $dict] reqkind
1182     approve_showentry_xinfo/$reqkind $wb-xinfo $def
1183
1184     if {$ix} {
1185         label $wb-div -bd 1 -relief sunken -image image/empty
1186         grid configure $wb-div -columnspan 5 -sticky ew -padx 5
1187     }
1188
1189     frame $wb-act -bd 2 -relief groove
1190     set approve_entryhow($ix) approve
1191     foreach how {approve reject defer} {
1192         set w $wb-act.$how
1193         radiobutton $w -variable approve_entryhow($ix) \
1194             -text [string totitle $how] -value $how
1195         pack $w -side left
1196     }
1197
1198     grid $wb-def $wb-image $wb-xinfo $wb-act $wb-inf -padx 3
1199     grid configure $wb-image -ipadx 3 -ipady 3 -sticky w
1200
1201     lappend approve_ixes $ix
1202 }
1203
1204 proc approve_approve_reject_one {ix yesno} {
1205     global approve_list server
1206     manyset [lindex $approve_list $ix] file tdata
1207     approve_decompose_data $tdata
1208     puts_server "take $yesno $file $dict"
1209     puts_counted $server pirate
1210     puts_counted $server caller
1211     puts_counted $server key
1212     puts_counted $server val
1213     puts_server confirmed
1214     flush $server
1215     must_gets_exactly_server done
1216 }
1217
1218 proc approve_check_server {} {
1219     global server
1220     puts_server noop
1221     flush $server
1222     must_gets_exactly_server ok
1223 }
1224
1225 proc approve_confirm {} {
1226     global approve_ixes approve_entryhow
1227     approve_check_server
1228     foreach ix $approve_ixes {
1229         set how $approve_entryhow($ix)
1230         switch -exact $how {
1231             approve { approve_approve_reject_one $ix 1 }
1232             reject  { approve_approve_reject_one $ix 0 }
1233             defer   { }
1234             default { error $how? }
1235         }
1236     }
1237     approve_fetch_list
1238 }
1239
1240 proc approve_fetch_list {} {
1241     global server approve_list
1242     set approve_list {}
1243     puts_server list
1244     flush $server
1245     while 1 {
1246         must_gets_server more
1247         switch -exact $more {
1248             yes { }
1249             end { break }
1250             default { error "$more ?" }
1251         }
1252         must_gets_server file
1253         read_counted $server data
1254         lappend approve_list [list $file $data]
1255     }
1256
1257     if {![llength $approve_list]} { puts "Nothing (more) to approve."; exit 0 }
1258
1259     set approve_list [lsort -command approve_compare $approve_list]
1260     approve_show_page 0
1261 }
1262
1263 proc main/approve {} {
1264     global argv server remoteserv_banner data approve_list approve_page
1265     global userhost directory dictdir debug
1266
1267     if {[llength $argv] != 3} { error "wrong # args" }
1268     manyset $argv userhost directory dictdir
1269     debug "APPROVER FOR $userhost $directory $dictdir"
1270
1271     set cmd [list tclsh $directory/dictionary-manager]
1272     if {$debug} { lappend cmd --debug-server }
1273     lappend cmd --remote-server-1 $directory $dictdir
1274     switch -glob $userhost {
1275         {} { }
1276         {* *} { set cmd $userhost }
1277         * { set cmd [concat [list ssh -o compression=yes $userhost] $cmd] }
1278     }
1279     debug "APPROVER RUNS $cmd"
1280
1281     lappend cmd 2>@ stderr
1282     set server [open |$cmd r+]
1283     must_gets_exactly_server $remoteserv_banner
1284
1285     button .left -text {<<} -command {approve_show_page -1}
1286     button .right -text {>>} -command {approve_show_page +1}
1287
1288     label .title -text {}
1289     frame .app -bd 2 -relief groove
1290     button .ok -text "Confirm" -command approve_confirm
1291     pack .title .app -side top
1292     pack .left -side left
1293     pack .right -side right
1294     pack .ok -side bottom
1295
1296     image create bitmap image/empty
1297
1298     set approve_page 0
1299     approve_fetch_list
1300 }
1301
1302 proc approve_show_page {delta} {
1303     global approve_page approve_ixes approve_list userhost directory dictdir
1304
1305     eval destroy [winfo children .app]
1306     set approve_ixes {}
1307
1308     set per_page 10
1309     incr approve_page $delta
1310
1311     set ll [llength $approve_list]
1312     set npages [expr {($ll+$per_page-1)/$per_page}]
1313     if {$approve_page >= $npages} { incr approve_page -1 }
1314
1315     set page_start [expr {$approve_page*$per_page}]
1316     set page_end [expr {$page_start+$per_page-1}]
1317     
1318     for {set ix $page_start} {$ix < $ll && $ix <= $page_end} {incr ix} {
1319         set fd [lindex $approve_list $ix]
1320         eval approve_showentry $ix $fd
1321     }
1322
1323     .title configure -text \
1324  "$userhost\n$directory => $dictdir\nPage [expr {$approve_page+1}]/$npages"
1325
1326     .left configure -state disabled
1327     .right configure -state disabled
1328     if {$approve_page>0} { .left configure -state normal }
1329     if {$approve_page<$npages-1} { .right configure -state normal }
1330 }
1331
1332 #========== main program ==========
1333
1334 proc return_result_start {} {
1335     helptext {{{ Processing }}}
1336     unbind_all_keys
1337     update idletasks
1338 }
1339 proc return_result_finish {} {
1340     global mainkind
1341     done/$mainkind
1342 }
1343
1344 proc main/default {} {
1345     puts stderr "Do not run this program directly."
1346     exit 12
1347 }
1348 proc done/default {} {
1349 }
1350
1351 proc required {} {
1352     global reqkind
1353
1354     fileevent stdin readable {}
1355     fconfigure stdin -blocking yes
1356     
1357     if {[gets stdin reqkind]<0} {
1358         if {[eof stdin]} { fconfigure stdin -blocking yes; exit 0 }
1359         return
1360     }
1361     init_widgets
1362
1363     required/$reqkind
1364 }
1365
1366 proc main/automatic {} {
1367     fconfigure stdin -blocking no
1368     fileevent stdin readable required
1369 }
1370 proc done/automatic {} {
1371     exec sh -c {printf \\0 >&4}
1372     main/automatic
1373 }
1374
1375 proc debug {m} { }
1376
1377 set mainkind default
1378 set ai 0
1379 set debug 0
1380 set quiet 0
1381 foreach arg $argv {
1382     incr ai
1383     switch -exact -- $arg {
1384         {--quiet}           { set quiet 1 }
1385         {--debug}           { set debug 1 }
1386         {--debug-server}    { proc debug {m} { puts stderr "DICT-MGR-SVR $m" }}
1387         {--noop-arg}        { }
1388         {--approve-updates} { set mainkind approve; break }
1389         {--automatic-1}     { set mainkind automatic; break }
1390         {--remote-server-1} { set mainkind remoteserv; break }
1391         {--automatic*} - {--remote-server}
1392                             { error "incompatible versions - install problem" }
1393         default             { error "huh $argv ?" }
1394     }
1395 }
1396 if {$debug} {
1397     proc debug {m} { puts stderr "DICT-MGR $m" }
1398 }
1399 set argv [lrange $argv $ai end]
1400
1401 main/$mainkind