chiark / gitweb /
Display Unicode decodings
[ypp-sc-tools.main.git] / pctb / dictionary-manager
1 #!/usr/bin/wish
2
3 # helper program for OCR in PCTB upload client
4
5 # This is part of ypp-sc-tools, a set of third-party tools for assisting
6 # players of Yohoho Puzzle Pirates.
7 #
8 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
9 #
10 # This program is free software: you can redistribute it and/or modify
11 # it under the terms of the GNU General Public License as published by
12 # the Free Software Foundation, either version 3 of the License, or
13 # (at your option) any later version.
14 #
15 # This program is distributed in the hope that it will be useful,
16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 # GNU General Public License for more details.
19 #
20 # You should have received a copy of the GNU General Public License
21 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
22 #
23 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
24 # are used without permission.  This program is not endorsed or
25 # sponsored by Three Rings.
26
27
28 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict-test/pctb /home/ftp/users/ijackson/pctb/test
29 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict/pctb /home/ftp/users/ijackson/pctb
30
31
32 # invocation:
33 # OUT OF DATE
34 #  run this without args
35 #  then on stdin write
36 #     one line which is a Tcl list for unk_{l,r} unk_contexts glyphsdone etc.
37 #     the xpm in the format expected
38 #  then expect child to exit 0, or write a single 0 byte to fd 4
39 #  if it wrote a byte to fd 4, it can take another question
40
41
42 #---------- library routines ----------
43
44 proc manyset {list args} {
45     foreach val $list var $args {
46         upvar 1 $var my
47         set my $val
48     }
49 }
50
51 proc must_gets {f lvar} {
52     upvar 1 $lvar l
53     if {[gets $f l] < 0} { error "huh?" }
54 }
55
56 proc must_gets_exactly {f expected} {
57     must_gets $f got
58     if {[string compare $expected $got]} { error "$expected $got ?" }
59 }
60
61 proc read_counted {f var} {
62     upvar 1 $var val
63     must_gets $f count
64     set val [read $f $count]
65     must_gets $f eol
66     if {[string length $eol]} { error "$eol ?" }
67     debug "READ_COUNTED $count $var"
68 }
69
70 proc puts_counted {f dvar} {
71     upvar 1 $dvar d
72     set count [string length $d]
73     puts $f $count
74     puts $f $d
75     debug "PUTS_COUNTED $count $dvar"
76 }
77
78 proc bgerror {m} {
79     global errorCode errorInfo
80     puts stderr "ERROR: $m\n[list $errorCode]\n$errorInfo\n";
81     exit 16
82 }
83
84 #---------- display core ----------
85
86 set mul 6
87 set inter 1
88
89 set gotsh 20
90 set csrh 20
91 set ctxh 20
92
93 proc init_widgets {} {
94     # idempotent
95     global csrh gotsh ctxh
96
97     if {[winfo exists .d]} return
98
99     frame .privacy -bd 2 -relief groove
100     pack .privacy -side top -padx 2 -pady 2 -fill x
101
102     upload_init
103     
104     frame .d -bd 2 -relief groove -pady 2 -padx 2
105
106     image create bitmap image/main
107     label .d.mi -image image/main -borderwidth 0
108
109     frame .d.csr -bg black -height $csrh
110     frame .d.got -bg black -height $gotsh
111     frame .d.ctx -bg black
112
113     image create bitmap image/cursor -data \
114 {#define csr_width 11
115 #define csr_height 11
116 static unsigned char csr_bits[] = {
117    0x20, 0x00, 0x20, 0x00, 0x20, 0x00, 0x21, 0x04, 0x22, 0x02, 0x25, 0x05,
118    0xaa, 0x02, 0x74, 0x01, 0xa8, 0x00, 0x70, 0x00, 0x20, 0x00};
119 }
120
121     frame .d.csr.csr
122     label .d.csr.csr.l -image image/cursor -compound left
123     entry .d.csr.csr.e -bd 0
124     pack .d.csr.csr.l -side left
125
126     frame .d.mi.csr_0 -bg white -width 1
127     frame .d.mi.csr_1 -bg white -width 1
128     frame .d.pe
129     frame .d.pe.grid
130
131     button .d.pe.ok -text OK
132     pack .d.pe.grid .d.pe.ok -side left
133
134     pack .d.mi .d.ctx -side top
135     pack .d -fill x -padx 2 -pady 2
136
137     frame .help -bd 2 -relief groove
138     pack .help -pady 2 -padx 2
139 }
140
141 proc resize_widgets_core {} {
142     global mulcols mulrows csrh gotsh ctxh glyphsdone
143     global unk_l unk_contexts
144     
145     foreach w {.d.csr .d.got .d.ctx} {
146         $w configure -width $mulcols
147     }
148
149     eval destroy [winfo children .d.ctx]
150 }
151
152 set last_ht {}
153
154 proc helptext {t} {
155     global last_ht
156     if {![string compare $t $last_ht]} return
157     eval destroy [grid slaves .help]
158     set y 0; foreach l $t {
159         set x 0; foreach c $l {
160             set w .help.at${x}x${y}
161             label $w -text $c
162             grid $w -row $y -column $x -padx 5 -sticky w
163             incr x
164         }
165         incr y
166     }
167     set last_ht $t
168 }
169
170 proc bind_key {k proc} {
171     global keybindings
172     bind .d <Key-$k> $proc
173     set keybindings($k) [expr {!![string length $proc]}]
174     .d configure -takefocus 1
175 }
176 proc unbind_all_keys {} {
177     global keybindings
178     foreach k [array names keybindings] { bind_key $k {} }
179     .d configure -takefocus 0
180 }
181
182 #---------- database read and write common wrapper ----------
183
184 proc db_getsl {f} {
185     if {[gets $f l] < 0} { error "unexpected db eof" }
186     return $l
187 }
188
189 proc read_database {fn} {
190     global reqkind database database_fn
191     upvar #0 database_magic/$reqkind magic
192     catch { unset database }
193
194     set database_fn $fn
195     if {![file exists $database_fn]} return
196     set f [open $database_fn r]
197     if {[string compare [db_getsl $f] $magic]} { error "$l $reqkind ?" }
198
199     read_database_header/$reqkind $f
200     while 1 {
201         set l1 [db_getsl $f]
202     
203         if {![string length $l1]} continue
204         if {[regexp {^\#} $l1]} continue
205         if {![string compare . $l1]} break
206
207         read_database_entry/$reqkind $f $l1
208     }
209     close $f
210 }
211
212 proc write_database {} {
213     global reqkind database_fn database
214     upvar #0 database_magic/$reqkind magic
215     
216     set f [open $database_fn.new w]
217     puts $f $magic
218
219     write_database_header/$reqkind $f
220
221     set ol {}
222     foreach bm [array names database] {
223         lappend ol [format_database_entry/$reqkind $bm $database($bm)]
224     }
225     foreach o [lsort $ol] {
226         puts $f $o
227     }
228     puts $f "."
229     close $f
230     file rename -force $database_fn.new $database_fn
231 }
232
233 proc select_database {dbname_spec} {
234     global dbname
235     set dbname $dbname_spec
236     read_database "./#local-$dbname#.txt"
237 }
238
239 proc do_database_update {im def} {
240     global database
241     maybe_upload_entry $im $def
242     set database($im) $def
243     write_database
244 }
245     
246 proc required/char {} {
247     global mulrows glyphsdone unk_l unk_r unk_contexts rows
248     
249     must_gets stdin l
250
251     manyset [lrange $l 0 3] unk_l unk_r unk_contexts
252     set glyphsdone [lrange $l 3 end]
253     debug "GOT $l"
254
255     char_read_xpm stdin
256
257     resize_widgets_core
258     foreach w {0 1} {
259         .d.mi.csr_$w configure -height $mulrows
260     }
261     set maxh 0
262     foreach {min max contexts got} $glyphsdone {
263         show_context maxh $min $contexts
264     }
265     show_context maxh $unk_l $unk_contexts
266     .d.ctx configure -height $maxh
267     pack forget .d.pe
268     pack .d.csr -side top -before .d.mi
269     pack .d.got .d.ctx -side top -after .d.mi
270     focus .d
271
272     select_database char$rows
273     draw_glyphsdone
274     startup_cursor
275 }
276
277 #========== PIXMAPS ==========
278
279 #---------- pixmap database read and write ----------
280
281 set database_magic/pixmap {# ypp-sc-tools pctb pixmaps v1}
282
283 proc read_database_header/pixmap {f} { }
284 proc read_database_entry/pixmap {f def} {
285     global database
286
287     set im ""
288     
289     set p3 [db_getsl $f];       append im $p3    "\n"
290     if {[string compare $p3 P3]} { error "$p3 ?" }
291
292     set wh [db_getsl $f];       append im $wh    "\n";   manyset $wh w h
293     set depth [db_getsl $f];    append im $depth "\n"
294
295     for {set y 0} {$y < $h} {incr y} {
296         set line [db_getsl $f]; append im $line  "\n"
297     }
298     set database($im) $def
299 }
300 proc write_database_header/pixmap {f} { puts $f "" }
301 proc format_database_entry/pixmap {im def} {
302     return "$def\n$im"
303 }
304
305 #---------- pixmap display and input handling ----------
306
307 proc foreach_pixmap_col {var body} {
308     global alloptions
309     upvar 1 $var col
310     for {set col 0} {$col < [llength $alloptions]/3} {incr col} {
311         uplevel 1 $body
312     }
313 }
314
315 proc pixmap_select {ncol} {
316     global alloptions
317     debug "PIX SELECT $ncol [llength $alloptions]"
318     foreach_pixmap_col col {
319         if {$col==$ncol} continue
320         .d.pe.grid.l$col selection clear 0 end
321     }
322     pixmap_maybe_ok
323 }
324 proc pixmap_maybe_ok {} {
325     global alloptions pixmap_selcol pixmap_selrow
326     set nsel 0
327     foreach_pixmap_col col {
328         set cs [.d.pe.grid.l$col curselection]
329         set lcs [llength $cs]
330         if {!$lcs} continue
331         incr nsel $lcs
332         set pixmap_selcol $col
333         set pixmap_selrow [lindex $cs 0]
334     }
335     if {$nsel==1} {
336         debug "MAYBE_OK YES col=$pixmap_selcol row=$pixmap_selrow."
337         .d.pe.ok configure -state normal -command pixmap_ok
338     } else {
339         .d.pe.ok configure -state disabled -command {}
340     }
341 }
342 proc pixmap_ok {} {
343     global database ppm pixmap_selcol pixmap_selrow mainkind alloptions
344     foreach_pixmap_col col {
345         .d.pe.grid.l$col configure -state disabled
346     }
347     .d.pe.ok configure -state disabled
348     helptext {{{ Processing }}}
349     manyset [lrange $alloptions [expr {$pixmap_selcol*3}] end] \
350         colname coldesc rows
351     manyset [lrange $rows [expr {$pixmap_selrow*2}] end] \
352         rowname rowdesc
353     set result "$colname - $rowname"
354     debug "UPDATE PIXMAP AS >$result<"
355
356     do_database_update $ppm $result
357     done/$mainkind
358 }
359
360 proc required/pixmap {} {
361     global unk_what ppm mulcols alloptions
362     must_gets stdin unk_what
363     debug "GOT pixmap $unk_what"
364     set ppm {}
365     while 1 {
366         must_gets stdin ppml
367         if {![string length $ppml]} break
368         append ppm $ppml "\n"
369     }
370     set data [exec pnmscale 2 << $ppm]
371     image create photo image/main -data $data
372
373     set alloptions [exec ./dictionary-pixmap-options $unk_what]
374
375     select_database pixmap
376
377     set mulcols [image width image/main]
378     set mulrows [image height image/main]
379     resize_widgets_core
380     place forget .d.mi.csr_0
381     place forget .d.mi.csr_1
382
383     pack forget .d.csr .d.got
384     pack .d.pe -side top -before .d.mi -pady 2
385     .d configure -takefocus 0
386     #-pady 2 -fill x
387
388     eval destroy [winfo children .d.pe.grid]
389     set col 0; foreach {colname coldesc rows} $alloptions {
390         debug "INIT $col $colname \"$coldesc\""
391         label .d.pe.grid.t$col -text $colname
392         listbox .d.pe.grid.l$col
393         foreach {rowname rowdesc} $rows {
394             debug "INIT $col $colname \"$coldesc\" $rowname \"$rowdesc\""
395             .d.pe.grid.l$col insert end $rowdesc
396         }
397         bind .d.pe.grid.l$col <<ListboxSelect>> [list pixmap_select $col]
398         grid .d.pe.grid.t$col -column $col -row 0
399         grid .d.pe.grid.l$col -column $col -row 1
400         incr col
401     }
402     pixmap_maybe_ok
403     
404     helptext {
405         {{Indicate the meaning of this image, and click OK.}}
406     }
407 }
408
409 #========== UPLOADS TO DICTIONARY SERVER ==========
410
411 proc upload_init {} {
412     global privacy_setting
413
414     set privacy_setting [upload_status]
415
416     label .privacy.warn -text " Privacy "
417     if {$privacy_setting} {
418         .privacy.warn configure -background yellow -foreground black
419     }
420     label .privacy.overall -text " Upload new dictionary entry:"
421     label .privacy.reference -text " See README.privacy."
422
423     pack .privacy.warn .privacy.overall -side left
424
425     foreach {setting string} {
426         0 {No}
427         1 {Yes, anonymously}
428         2 {Yes, quoting my pirate name.}
429     } {
430         radiobutton .privacy.o$setting -text $string \
431             -value $setting -variable privacy_setting
432         pack .privacy.o$setting -side left
433         if {$setting > $privacy_setting} {
434             .privacy.o$setting configure -state disabled
435         }
436     }
437     pack .privacy.reference -side left
438
439     if {!$privacy_setting} {
440         foreach w [winfo children .privacy] {
441             $w configure -state disabled
442         }
443     }
444     if {$privacy_setting} {
445         package require http
446         ::http::config -urlencoding utf-8
447     }
448 }
449
450 proc upload_status {} {
451     # returns 0, 1, 2 for none, anon, with pirate name
452     global env
453
454     if {![info exists env(YPPSC_PCTB_DICT_SUBMIT)]} { debug a; return 0 }
455     if {![string compare 0 $env(YPPSC_PCTB_DICT_SUBMIT)]} { debug b; return 0 }
456
457     if {![info exists env(YPPSC_PIRATE)]} { return 1 }
458     if {![info exists env(YPPSC_OCEAN)]} { return 1 }
459     if {![string length $env(YPPSC_PIRATE)]} { return 1 }
460     if {![string length $env(YPPSC_OCEAN)]} { return 1 }
461
462     return 2
463 }
464
465 proc maybe_upload_entry {im def} {
466     global reqkind privacy_setting env dbname quiet
467
468     debug "DB-UPDATE PRIVACY $privacy_setting"
469     if {!$privacy_setting} return
470
471     debug "DB-UPDATE UPLOADING"
472
473     set pl {}
474     lappend pl dict $dbname
475
476     if {$privacy_setting>=2} {
477         set pirate [string totitle $env(YPPSC_PIRATE)]
478         set ocean [string totitle $env(YPPSC_OCEAN)]
479         debug "DB-UPDATE NON-ANON $ocean $pirate"
480         lappend pl \
481             pirate $pirate \
482             ocean $ocean
483     }
484     lappend pl entry [format_database_entry/$reqkind $im $def]
485
486     set url $env(YPPSC_PCTB_DICT_SUBMIT)
487     append url dictionary-update-receiver
488
489     set query [eval ::http::formatQuery $pl]
490     regsub -all {%0d} $query {} query
491     debug "DB-UPDATE QUERY $query"
492
493     if {[regexp {^\.?/} $url]} {
494         set cmd [list $url $query]
495         debug "SUBMIT CMD [string range $cmd 0 200]..."
496         set body [eval exec $cmd 2>@ stderr]
497         regsub {^Content-Type: text/plain.*\n\n} $body {} body
498     } else {
499
500         if {[catch {
501             set req [::http::geturl $url -query $query]
502         } emsg]} {
503             puts stderr \
504                 "\nWARNING: Cannot do dictionary upload: $emsg\n"
505             return
506         }
507         upvar #0 $req s
508         debug "DB-UPDATE DONE $req $s(status) [array names s]"
509         set ncode [::http::ncode $req]
510
511         if {!(![string compare ok $s(status)] &&
512               ![string compare 200 $ncode])} {
513             set m "\nWARNING: Dictionary upload failed:"
514             foreach v {status http error posterror} {
515                 if {[info exists s($v)]} { append m "\n $v: $s($v)" }
516             }
517             puts stderr $m
518             return
519         }
520         set body $s(body)
521         ::http::cleanup $req
522     }
523
524     if {![string match {OK *} $body]} {
525         set m "\nWARNING: Dictionary upload went wrong:\n"
526         append m "\n  " [join [split $body "\n"] "\n  "]
527         puts stderr $m
528         return
529     }
530
531     if {!$quiet} {
532         puts stderr \
533             "Uploaded $dbname dictionary entry `$def': $body"
534     }
535 }
536
537 #========== CHARACTER SET ==========
538
539 #---------- xpm input processor ----------
540
541 proc char_read_xpm {f} {
542     global glyphsdone mul inter rhsmost_max unk_l unk_r mulcols mulrows
543     global cols rows wordmap
544     
545     set o {}
546     set y -3
547     while 1 {
548         must_gets $f l
549         if {![regexp {^"(.*)",$} $l dummy l]} {
550             append o "$l\n"
551             if {[regexp {^\}\;$} $l]} break
552             continue
553         }
554         if {$y==-3} {
555             manyset $l cols rows colours cpp
556             if {$colours!=2 || $cpp!=1} { error "$l ?" }
557
558             set chop_l [expr {$unk_l - 80}]
559             set chop_r [expr {$cols - $unk_l - 100}]
560             if {$chop_l<0} { set chop_l 0 }
561
562             set unk_l [expr {$unk_l - $chop_l}]
563             set unk_r [expr {$unk_r - $chop_l}]
564             set ngd {}
565             foreach {min max contexts got} $glyphsdone {
566                 lappend ngd \
567                     [expr {$min-$chop_l}] \
568                     [expr {$max-$chop_l}] \
569                     $contexts $got
570             }
571             set glyphsdone $ngd
572
573             set realcols $cols
574             set cols [expr {$cols - $chop_l - $chop_r}]
575             debug "NOW cols=$cols chop_l,r=$chop_l,$chop_r rows=$rows\
576                 $unk_l $unk_r $ngd"
577             
578             set mulcols [expr {$cols*$mul+$inter}]
579             set mulrows [expr {$rows*$mul+$inter}]
580             append o "\"$mulcols $mulrows 9 1\",\n"
581             for {set x 0} {$x<$cols} {incr x} { set wordmap($x) 0 }
582         } elseif {$y==-2} { # first pixel
583             append o \
584 "\"+ c #111\",
585 \"a c #800\",
586 \"A c #fcc\",
587 \"b c #00c\",
588 \"B c #fff\",
589 \"u c #000\",
590 \"U c #ff0\",
591 \"q c #000\",
592 \"Q c #ff0\",\n"
593         } elseif {$y==-1} { # 2nd pixel but we've already printed ours
594         } else {
595             set ybit [expr {1<<$y}]
596             set x 0
597             set ol "\"+"
598             set olh $ol
599             if {$chop_r>=0} {
600                 set l [string range $l $chop_l end-$chop_r]
601             } else {
602                 set l [string range $l $chop_l end]
603                 append l [string repeat " " [expr -$chop_r]]
604             }
605             foreach c [split $l ""] {
606                 set how "u"
607                 if {$x >= $unk_l && $x <= $unk_r} {
608                     set how q
609                 } else {
610                     set ab 0
611                     foreach {min max contexts got} $glyphsdone {
612                         set rhsmost_max $max
613                         if {$x >= $min && $x <= $max} {
614                             set how [lindex {a b} $ab]
615                             break
616                         }
617                         set ab [expr {!$ab}]
618                     }
619                 }
620                 switch -exact $c {
621                     " " { set p $how }
622                     "o" {
623                         set p [string toupper $how]
624                         incr wordmap($x) $ybit
625                     }
626                     default { error "$c ?" }
627                 }
628                 append ol "[string repeat $p [expr {$mul-$inter}]][
629                          string repeat + $inter]"
630                 append olh [string repeat + $mul]
631                 incr x
632             }
633             set ole "\",\n"
634             append ol $ole
635             append olh $ole
636             set olhn [string repeat $olh $inter]
637             if {!$y} { append o $olhn }
638             append o [string repeat $ol [expr {$mul-1}]]
639             append o $olhn
640         }
641         incr y
642     }
643     set data [exec xpmtoppm << $o]
644     image create photo image/main -data $data
645 }
646
647 #---------- character set editor display ----------
648
649 proc show_context {maxhv x ctxs} {
650     global mul
651     upvar 1 $maxhv maxh
652     set w .d.ctx.at$x
653     if {[llength $ctxs]==1} { set fg blue } { set fg yellow }
654     label $w -bg black -fg $fg -text [join $ctxs "/\n"] -justify left
655     place $w -x [expr {($x-1)*$mul}] -y 0
656     set wh [winfo reqheight $w]
657     if {$wh > $maxh} { set maxh $wh }
658 }
659
660 proc draw_glyphsdone {} {
661     global glyphsdone mul inter
662     eval destroy [winfo children .d.got]
663     foreach {min max contexts got} $glyphsdone {
664         frame .d.got.m$min -bd 0 -background \#888
665         label .d.got.m$min.l -text "$got" -fg white -bg black -bd 0
666         pack .d.got.m$min.l -padx 1 -pady 1
667         place .d.got.m$min -x [expr {$min*$mul+$inter}] -y 0
668     }
669 }
670
671 proc startup_cursor {} {
672     global cur_already cur_mode cur_0 cur_1 last_ht
673     global glyphsdone unk_l unk_r
674     
675     set cur_already [expr {[llength $glyphsdone]/4-1}]
676     set cur_mode 1 ;# one of:   0 1 already text
677
678     set cur_0 $unk_l
679     set cur_1 [expr {$unk_r+1}]
680
681     recursor
682 }
683
684 #---------- character set runtime display and keystroke handling ----------
685
686 proc recursor/0 {} { recursor//01 0 }
687 proc recursor/1 {} { recursor//01 1 }
688 proc recursor//01 {z1} {
689     global mul rhsmost_max cols glyphsdone
690     upvar #0 cur_$z1 cur
691     .d.csr.csr.l configure -text {adjust}
692     place .d.csr.csr -x [expr {$cur*$mul - 7}]
693     bind_key space { othercursor }
694     bind_leftright_q cur_$z1 0 [expr {$cols-1}]
695     if {[llength $glyphsdone]} {
696         bind_key BackSpace { set cur_mode already; recursor }
697     } else {
698         bind_key BackSpace {}
699     }
700     bind_key Return {
701         if {$cur_0 != $cur_1} {
702             .d.csr.csr.e delete 0 end
703             set cur_mode text
704             recursor
705         }
706     }
707     helptext {
708         {{<- ->}   {move cursor, adjusting area to define}}
709         {Space     {switch to moving other cursor}}
710         {Return    {confirm location, enter letter(s)}}
711         {Backspace {switch to correcting earlier ocr}}
712         {Q         {quit and abandon OCR run}}
713     }
714 }
715 proc othercursor {} {
716     global cur_mode
717     set cur_mode [expr {!$cur_mode}]
718     recursor
719 }
720
721 proc recursor/text {} {
722     helptext {
723         {Return   {confirm entry of new glyph}}
724         {Escape   {abandon entry}}
725     }
726     unbind_all_keys
727     .d.csr.csr.l configure -text {define:}
728     pack .d.csr.csr.e -side left
729     focus .d.csr.csr.e
730     bind .d.csr.csr.e <Key-Return> {
731         set strq [.d.csr.csr.e get]
732         if {[regexp -line {^(?:[!-[]|[]-~]|\\\\|\\x[0-9a-f]{2})+} $strq]} {
733             RETURN_RESULT DEFINE "$cur_0 $cur_1 $strq"
734         }
735     }
736     bind .d.csr.csr.e <Key-Escape> {
737         bind_key Escape {}
738         pack forget .d.csr.csr.e
739         set cur_mode 1
740         focus .d
741         recursor
742     }
743 }
744
745 proc recursor/already {} {
746     global mul
747     global glyphsdone
748     global cur_already mul
749     global glyphsdone cur_already mul
750     .d.csr.csr.l configure -text {correct}
751     set rmax [lindex $glyphsdone [expr {$cur_already*4}]]
752     place .d.csr.csr -x [expr {$rmax*$mul-3}]
753     bind_key Return {}
754     bind_leftright_q cur_already 0 [expr {[llength $glyphsdone]/4-1}]
755     bind_key space { bind_key Delete {}; set cur_mode 1; recursor }
756     bind_key Delete {
757         RETURN_RESULT DELETE [lrange $glyphsdone \
758                                   [expr $cur_already*4] \
759                                   [expr $cur_already*4+2]]
760     }
761     helptext {
762         {{<- ->}   {move cursor, selecting glyph to correct}}
763         {Del       {clear this glyph from the recognition database}}
764         {Space     {switch to selecting area to define as new glyph}}
765         {Q         {quit and abandon OCR run}}
766     }
767 }
768
769 proc bind_leftright_q {var min max} {
770     bind_key Left  [list leftright $var $min $max -1]
771     bind_key Right [list leftright $var $min $max +1]
772     bind_key q     {
773         puts stderr "\nCharacter resolver quitting as you requested."
774         exit 1
775     }
776 }
777 proc leftright {var min max inc} {
778     upvar #0 $var v
779     set vnew $v
780     incr vnew $inc
781     if {$vnew < $min || $vnew > $max} return
782     set v $vnew
783     recursor
784 }
785
786 proc recursor {} {
787     global csrh cur_mode cur_0 cur_1 mul
788     foreach z1 {0 1} {
789         place .d.mi.csr_$z1 -y 0 -x [expr {[set cur_$z1] * $mul}]
790     }
791     recursor/$cur_mode
792 }
793
794 #---------- character database read and write ----------
795
796 # OUT OF DATE
797 # database format:
798 # series of glyphs:
799 #   <context> <ncharacters> <hex>...
800 #   width
801 #   <hex-bitmap>
802
803 # $database($context 0x<bits> 0x<bits>...) = $hex
804
805 set database_magic/char {# ypp-sc-tools pctb font v1}
806     
807 proc read_database_header/char {f} {
808     global rows
809     if {([db_getsl $f])+0 != $rows} { error "wrong h ?" }
810 }
811 proc read_database_entry/char {f context} {
812     global database
813     set bm $context
814     set strq [db_getsl $f]
815     while 1 {
816         set l [db_getsl $f]
817         if {![string length $l]} break
818         lappend bm [format %x 0x$l]
819     }
820     set database($bm) $strq
821 }
822
823 proc write_database_header/char {f} {
824     global rows
825     puts $f "$rows\n"
826 }
827 proc format_database_entry/char {bm strq} {
828     global database rows
829     set o "[lindex $bm 0]\n$strq\n"
830     foreach x [lrange $bm 1 end] { append o "$x\n" }
831     return $o
832 }
833
834 proc dbkey {ctx l r} {
835     global wordmap
836     set bm $ctx
837     for {set x $l} {$x <= $r} {incr x} {
838         lappend bm [format %x $wordmap($x)]
839     }
840     return $bm
841 }
842
843 proc update_database/DEFINE {c0 c1 strq} {
844     global glyphsdone unk_l unk_contexts wordmap database
845     if {$c0 > $c1} { manyset [list $c0 $c1] c1 c0 }
846     if {$c0 == $unk_l} {
847         set ncontexts $unk_contexts
848     } else {
849         foreach {l r contexts got} $glyphsdone {
850             if {$l==$c0} { set ncontexts $contexts; break }
851         }
852         if {![info exists ncontexts]} {
853             puts stderr "must start at letter LHS!"
854             return
855         }
856     }
857     incr c1 -1
858     foreach c $ncontexts {
859         set bm [dbkey $c $c0 $c1]
860         do_database_update $bm $strq
861     }
862 }
863
864 proc update_database/DELETE {l r ctxs} {
865     global database
866     foreach ctx $ctxs {
867         set bm [dbkey $ctx $l $r]
868         catch { unset database($bm) }
869     }
870     write_database
871 }
872     
873 proc RETURN_RESULT {how what} {
874     global mainkind
875     place forget .d.csr.csr
876     pack forget .d.csr.csr.e
877     helptext {{{ Processing }}}
878     unbind_all_keys
879     update idletasks
880     debug "$how $what"
881     eval update_database/$how $what
882     done/$mainkind
883 }
884
885 #========== server for approving updates ==========
886
887 proc remote-serv-log {dict pirate caller file event} {
888     global remoteserv_logf
889     set t [clock format [clock seconds] -format {%Y-%m-%d %H:%M:%S %Z}]
890     set s [format "%s %-6s %-31s %-31s %s %s\n" \
891                $t $dict $pirate $caller [file tail $file] $event]
892     puts -nonewline $remoteserv_logf $s
893 }
894
895 proc remote-serv/list {} {
896     global dropdir
897     foreach file [glob -nocomplain -type f -directory $dropdir _update.*.rdy] {
898         puts yes
899         puts $file
900         set f [open $file]
901         set d [read $f]
902         close $f
903         puts_counted stdout d
904     }
905     puts end
906 }
907
908 proc remote-serv/take {yesno file dict} {
909     global dropdir dictdir rows reqkind database
910     set rows ""
911     debug "TAKE [list $yesno $file $dict]"
912     read_counted stdin pirate
913     read_counted stdin caller
914     read_counted stdin key
915     read_counted stdin val
916
917     must_gets_exactly stdin confirmed
918
919     if {![string compare pixmap $dict]} {
920         set reqkind pixmap
921         debug "DICT PIXMAP"
922     } elseif {[regexp {^(char)([1-9]\d*)$} $dict dummy reqkind rows]} {
923         debug "DICT CHAR rqk=$reqkind r=$rows."
924     } else {
925         error "$dict ?"
926     }
927     
928     if {$yesno} {
929         read_database $dictdir/master-$dict.txt
930         set database($key) $val
931         write_database
932         set desc approve
933     } else {
934         set desc reject
935     }
936     remote-serv-log $dict $pirate $caller $file "$desc $reqkind $rows"
937     file delete -force $file
938
939     puts done
940 }
941
942 proc remote-serv/noop {} {
943     puts ok
944 }
945
946 set remoteserv_banner {ypp-sc-tools pctb remote-server v1}
947
948 proc main/remoteserv {} {
949     global argv dropdir remoteserv_banner remoteserv_logf dictdir
950     manyset $argv dropdir dictdir
951     puts $remoteserv_banner
952     set remoteserv_logf [open $dropdir/_dict.log a]
953     fconfigure $remoteserv_logf -buffering line
954     while 1 {
955         flush stdout
956         if {[gets stdin l] < 0} break
957         eval remote-serv/$l
958     }
959 }
960
961 #========== updates approver ==========
962
963 proc puts_server {s} {
964     global server
965     debug ">> $s"
966     puts $server $s
967 }
968 proc must_gets_server {lv} {
969     upvar 1 $lv l
970     global server
971     must_gets $server l
972     debug "<< $l"
973 }
974
975 proc must_gets_exactly_server {expected} {
976     must_gets_server got
977     if {[string compare $expected $got]} { error "$expected $got ?" }
978 }
979
980 proc regsub-data {exp subspec args} {
981     global data
982     if {![eval regsub $args -- [list $exp $data $subspec data]]} {
983         error "$exp >$data< ?"
984     }
985 }
986
987 proc chop_counted {var} {
988     upvar 1 $var val
989     global data
990     if {![regexp {^(0|[1-9]\d*)\n} $data dummy l]} { error "$data ?" }
991     regsub-data {^.*\n} {} -line
992     set val [string range $data 0 [expr {$l-1}]]
993     set data [string range $data $l end]
994     debug "CHOP_COUNTED $l $var"
995     regsub-data {^\n} {}
996 }
997
998 proc approve_decompose_data {specdata} {
999     global data
1000     set data $specdata
1001     
1002     regsub-data {^ypp-sc-tools dictionary update v1\n} {}
1003     uplevel 1 chop_counted pirate
1004     uplevel 1 chop_counted caller
1005     uplevel 1 chop_counted dict
1006     uplevel 1 chop_counted ctx
1007     uplevel 1 chop_counted def
1008     uplevel 1 chop_counted image
1009     uplevel 1 chop_counted key
1010     uplevel 1 chop_counted val
1011
1012     return [uplevel 1 {list $dict $def $image}]
1013 }
1014
1015 proc approve_compare {fd1 fd2} {
1016     manyset $fd1 file data; set sv1 [approve_decompose_data $data]
1017     manyset $fd2 file data; set sv2 [approve_decompose_data $data]
1018     return [string compare $sv1 $sv2]
1019 }
1020
1021 proc approve_showentry {ix file specdata} {
1022     global approve_ixes
1023     
1024     approve_decompose_data $specdata
1025
1026     set wb .app.e$ix
1027
1028     frame $wb-inf
1029     label $wb-inf.who -text $pirate
1030
1031     entry $wb-inf.file -font fixed -relief flat
1032     $wb-inf.file insert end [file tail $file]
1033     $wb-inf.file configure -state readonly -width -1
1034
1035     pack $wb-inf.who $wb-inf.file -side top
1036
1037     frame $wb-def
1038     label $wb-def.scope -text "$dict $ctx"
1039     label $wb-def.def -text $def
1040     pack $wb-def.scope $wb-def.def -side bottom
1041
1042     set ppm [exec pnmscale 2 << $image]
1043     image create photo approve/$ix -data $ppm
1044     label $wb-image -image approve/$ix -bd 2 -relief sunken
1045
1046     set unic [exec perl -e {
1047         use Unicode::CharName qw(uname);
1048         $ARGV[0] =~ s/^ //;
1049         foreach $_ (split //,$ARGV[0]) {
1050             print uname(ord),"\n" or die $!
1051         }
1052     } " $def"]
1053     label $wb-unicode -text $unic
1054
1055     frame $wb-act
1056     button $wb-act.rej -text Reject -command [list approve_reject $ix]
1057     pack $wb-act.rej
1058
1059     grid $wb-def $wb-image $wb-unicode $wb-act $wb-inf -padx 3
1060     grid configure $wb-image -ipadx 3 -ipady 3 -sticky w
1061
1062     lappend approve_ixes $ix
1063 }
1064
1065 proc approve_approve_reject_one {ix yesno} {
1066     global approve_list server
1067     manyset [lindex $approve_list $ix] file tdata
1068     approve_decompose_data $tdata
1069     puts_server "take $yesno $file $dict"
1070     puts_counted $server pirate
1071     puts_counted $server caller
1072     puts_counted $server key
1073     puts_counted $server val
1074     puts_server confirmed
1075     flush $server
1076     must_gets_exactly_server done
1077 }
1078
1079 proc approve_check_server {} {
1080     global server
1081     puts_server noop
1082     flush $server
1083     must_gets_exactly_server ok
1084 }
1085
1086 proc approve_reject {ix} {
1087     approve_check_server
1088     approve_approve_reject_one $ix 0
1089     approve_fetch_list
1090 }
1091
1092 proc approve_these {} {
1093     global approve_ixes
1094     approve_check_server
1095     foreach ix $approve_ixes { approve_approve_reject_one $ix 1 }
1096     approve_fetch_list
1097 }
1098
1099 proc approve_fetch_list {} {
1100     global server approve_list
1101     set approve_list {}
1102     puts_server list
1103     flush $server
1104     while 1 {
1105         must_gets_server more
1106         switch -exact $more {
1107             yes { }
1108             end { break }
1109             default { error "$more ?" }
1110         }
1111         must_gets_server file
1112         read_counted $server data
1113         lappend approve_list [list $file $data]
1114     }
1115
1116     if {![llength $approve_list]} { puts "Nothing (more) to approve."; exit 0 }
1117
1118     set approve_list [lsort -command approve_compare $approve_list]
1119     approve_show_page 0
1120 }
1121
1122 proc main/approve {} {
1123     global argv server remoteserv_banner data approve_list approve_page
1124     global userhost directory dictdir debug
1125
1126     if {[llength $argv] != 3} { error "wrong # args" }
1127     manyset $argv userhost directory dictdir
1128     debug "APPROVER FOR $userhost $directory $dictdir"
1129
1130     set cmd [list tclsh $directory/dictionary-manager]
1131     if {$debug} { lappend cmd --debug-server }
1132     lappend cmd --remote-server-1 $directory $dictdir
1133     switch -glob $userhost {
1134         {} { }
1135         {* *} { set cmd $userhost }
1136         * { set cmd [concat [list ssh $userhost] $cmd] }
1137     }
1138     debug "APPROVER RUNS $cmd"
1139
1140     lappend cmd 2>@ stderr
1141     set server [open |$cmd r+]
1142     must_gets_exactly_server $remoteserv_banner
1143
1144     button .left -text {<<} -command {approve_show_page -1}
1145     button .right -text {>>} -command {approve_show_page +1}
1146
1147     label .title -text {}
1148     frame .app -bd 2 -relief groove
1149     button .ok -text "Approve These" -command approve_these
1150     pack .title .app -side top
1151     pack .left -side left
1152     pack .right -side right
1153     pack .ok -side bottom
1154
1155     set approve_page 0
1156     approve_fetch_list
1157 }
1158
1159 proc approve_show_page {delta} {
1160     global approve_page approve_ixes approve_list userhost directory dictdir
1161
1162     eval destroy [winfo children .app]
1163     set approve_ixes {}
1164
1165     set per_page 10
1166     incr approve_page $delta
1167
1168     set ll [llength $approve_list]
1169     set npages [expr {($ll+$per_page-1)/$per_page}]
1170     if {$approve_page >= $npages} { incr approve_page -1 }
1171
1172     set page_start [expr {$approve_page*$per_page}]
1173     set page_end [expr {$page_start+$per_page-1}]
1174     
1175     for {set ix $page_start} {$ix < $ll && $ix <= $page_end} {incr ix} {
1176         set fd [lindex $approve_list $ix]
1177         eval approve_showentry $ix $fd
1178     }
1179
1180     .title configure -text \
1181  "$userhost\n$directory => $dictdir\nPage [expr {$approve_page+1}]/$npages"
1182
1183     .left configure -state disabled
1184     .right configure -state disabled
1185     if {$approve_page>0} { .left configure -state normal }
1186     if {$approve_page<$npages-1} { .right configure -state normal }
1187 }
1188
1189 #========== main program ==========
1190
1191 proc main/default {} {
1192     puts stderr "Do not run this program directly."
1193     exit 12
1194 }
1195 proc done/default {} {
1196 }
1197
1198 proc required {} {
1199     global reqkind
1200
1201     fileevent stdin readable {}
1202     fconfigure stdin -blocking yes
1203     
1204     if {[gets stdin reqkind]<0} {
1205         if {[eof stdin]} { fconfigure stdin -blocking yes; exit 0 }
1206         return
1207     }
1208     init_widgets
1209
1210     required/$reqkind
1211 }
1212
1213 proc main/automatic {} {
1214     fconfigure stdin -blocking no
1215     fileevent stdin readable required
1216 }
1217 proc done/automatic {} {
1218     exec sh -c {printf \\0 >&4}
1219     main/automatic
1220 }
1221
1222 proc debug {m} { }
1223
1224 set mainkind default
1225 set ai 0
1226 set debug 0
1227 set quiet 0
1228 foreach arg $argv {
1229     incr ai
1230     switch -exact -- $arg {
1231         {--quiet}           { set quiet 1 }
1232         {--debug}           { set debug 1 }
1233         {--debug-server}    { proc debug {m} { puts stderr "DICT-MGR-SVR $m" }}
1234         {--noop-arg}        { }
1235         {--approve-updates} { set mainkind approve; break }
1236         {--automatic-1}     { set mainkind automatic; break }
1237         {--remote-server-1} { set mainkind remoteserv; break }
1238         {--automatic*} - {--remote-server}
1239                             { error "incompatible versions - install problem" }
1240         default             { error "huh $argv ?" }
1241     }
1242 }
1243 if {$debug} {
1244     proc debug {m} { puts stderr "DICT-MGR $m" }
1245 }
1246 set argv [lrange $argv $ai end]
1247
1248 main/$mainkind