pctb/dictionary-manager

   1 #!/usr/bin/wish
   2
   3 # helper program for OCR in PCTB upload client
   4
   5 # This is part of ypp-sc-tools, a set of third-party tools for assisting
   6 # players of Yohoho Puzzle Pirates.
   7 #
   8 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
   9 #
  10 # This program is free software: you can redistribute it and/or modify
  11 # it under the terms of the GNU General Public License as published by
  12 # the Free Software Foundation, either version 3 of the License, or
  13 # (at your option) any later version.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU General Public License for more details.
  19 #
  20 # You should have received a copy of the GNU General Public License
  21 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  22 #
  23 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
  24 # are used without permission.  This program is not endorsed or
  25 # sponsored by Three Rings.
  26
  27
  28 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict/pctb /home/ftp/users/ijackson/pctb
  29
  30 # ./dictionary-manager --approve-updates ijackson@login.chiark.greenend.org.uk /home/ijackson/things/ypp-sc-tools.pctb-dict-test/pctb /home/ftp/users/ijackson/pctb/test
  31
  32 # ./dictionary-manager --approve-updates '' . .
  33
  34
  35 # invocation:
  36 # OUT OF DATE
  37 #  run this without args
  38 #  then on stdin write
  39 #     one line which is a Tcl list for unk_{l,r} unk_contexts glyphsdone etc.
  40 #     the xpm in the format expected
  41 #  then expect child to exit 0, or write a single 0 byte to fd 4
  42 #  if it wrote a byte to fd 4, it can take another question
  43
  44
  45 set aadepth 3
  46
  47
  48 #---------- library routines ----------
  49
  50 proc manyset {list args} {
  51     foreach val $list var $args {
  52         upvar 1 $var my
  53         set my $val
  54     }
  55 }
  56
  57 proc must_gets {f lvar} {
  58     upvar 1 $lvar l
  59     if {[gets $f l] < 0} { error "huh?" }
  60 }
  61
  62 proc must_gets_imagel {f lvar} {
  63     global debug_rect
  64     upvar 1 $lvar l
  65     must_gets $f l
  66     if {$debug_rect} { debug "<< $l" }
  67 }
  68
  69 proc must_gets_exactly {f expected} {
  70     must_gets $f got
  71     if {[string compare $expected $got]} { error "$expected $got ?" }
  72 }
  73
  74 proc read_counted {f var} {
  75     upvar 1 $var val
  76     must_gets $f count
  77     set val [read $f $count]
  78     must_gets $f eol
  79     if {[string length $eol]} { error "$eol ?" }
  80     debug "READ_COUNTED $count $var"
  81 }
  82
  83 proc puts_counted {f dvar} {
  84     upvar 1 $dvar d
  85     set count [string length $d]
  86     puts $f $count
  87     puts $f $d
  88     debug "PUTS_COUNTED $count $dvar"
  89 }
  90
  91 proc bgerror {m} {
  92     global errorCode errorInfo
  93     puts stderr "ERROR: $m\n[list $errorCode]\n$errorInfo\n";
  94     exit 16
  95 }
  96
  97 #---------- display core ----------
  98
  99 set mul 6
 100 set inter 1
 101
 102 set gotsh 20
 103 set csrh 20
 104 set ctxh 20
 105
 106 proc init_widgets {} {
 107     # idempotent
 108     global csrh gotsh ctxh
 109
 110     if {[winfo exists .d]} return
 111
 112     frame .privacy -bd 2 -relief groove
 113     pack .privacy -side top -padx 2 -pady 2 -fill x
 114
 115     upload_init
 116
 117     frame .d -pady 2 -padx 2 -bg black -bd 2 -relief sunken
 118
 119     image create bitmap image/main
 120     label .d.mi -image image/main -bd 0
 121
 122     frame .d.csr -bg black -height $csrh
 123     frame .d.got -bg black -height $gotsh
 124     frame .d.ctx -bg black
 125
 126     image create bitmap image/cursor -foreground white -background black \
 127         -data \
 128 {#define csr_width 11
 129 #define csr_height 11
 130 static unsigned char csr_bits[] = {
 131    0x20, 0x00, 0x20, 0x00, 0x20, 0x00, 0x21, 0x04, 0x22, 0x02, 0x25, 0x05,
 132    0xaa, 0x02, 0x74, 0x01, 0xa8, 0x00, 0x70, 0x00, 0x20, 0x00};
 133 }
 134
 135     frame .d.csr.csr
 136     label .d.csr.csr.l -image image/cursor -compound left -fg white -bg black
 137     entry .d.csr.csr.e -bd 0
 138     pack .d.csr.csr.l -side left
 139
 140     frame .selctx -bd 2 -relief groove
 141     frame .d.mi.csr_0 -bg white -width 1
 142     frame .d.mi.csr_1 -bg white -width 1
 143     frame .pe
 144     frame .pe.grid
 145
 146     button .pe.ok -text OK
 147     pack .pe.grid .pe.ok -side left
 148
 149     pack .d.mi .d.ctx -side top -anchor w
 150     pack .d -fill x -padx 2 -pady 2
 151
 152     frame .help -bd 2 -relief groove
 153     pack .help -pady 2 -padx 2
 154 }
 155
 156 proc resize_widgets_core {} {
 157     global mulcols mulrows csrh gotsh ctxh
 158     global unk_l unk_contexts
 159
 160     foreach w {.d.csr .d.got .d.ctx} {
 161         $w configure -width $mulcols
 162     }
 163     .d.csr configure -width [expr {$mulcols+150}]
 164
 165     eval destroy [winfo children .d.ctx]
 166 }
 167
 168 set last_ht {}
 169
 170 proc helptext {t} {
 171     global last_ht
 172     if {![string compare $t $last_ht]} return
 173     eval destroy [grid slaves .help]
 174     set y 0; foreach l $t {
 175         set x 0; foreach c $l {
 176             set w .help.at${x}x${y}
 177             label $w -text $c
 178             grid $w -row $y -column $x -padx 5 -sticky w
 179             incr x
 180         }
 181         incr y
 182     }
 183     set last_ht $t
 184 }
 185
 186 proc bind_key {k proc} {
 187     global keybindings
 188     bind .d <Key-$k> $proc
 189     set keybindings($k) [expr {!![string length $proc]}]
 190     .d configure -takefocus 1
 191 }
 192 proc unbind_all_keys {} {
 193     global keybindings
 194     foreach k [array names keybindings] { bind_key $k {} }
 195     .d configure -takefocus 0
 196 }
 197
 198 #---------- database read and write common wrapper ----------
 199
 200 proc db_getsl {f} {
 201     if {[gets $f l] < 0} { error "unexpected db eof" }
 202     return $l
 203 }
 204
 205 proc read_database {fn} {
 206     global reqkind database database_fn
 207     upvar #0 database_magic/$reqkind magic
 208     catch { unset database }
 209
 210     set database_fn $fn
 211     if {![file exists $database_fn]} return
 212     set f [open $database_fn r]
 213     if {[string compare [db_getsl $f] $magic]} { error "$magic $reqkind ?" }
 214
 215     read_database_header/$reqkind $f
 216     while 1 {
 217         set l1 [db_getsl $f]
 218
 219         if {![string length $l1]} continue
 220         if {[regexp {^\#} $l1]} continue
 221         if {![string compare . $l1]} break
 222
 223         read_database_entry/$reqkind $f $l1
 224     }
 225     close $f
 226 }
 227
 228 proc write_database {} {
 229     global reqkind database_fn database
 230     upvar #0 database_magic/$reqkind magic
 231
 232     set f [open $database_fn.tmp w]
 233     puts $f $magic
 234
 235     write_database_header/$reqkind $f
 236
 237     set ol {}
 238     foreach bm [array names database] {
 239         lappend ol [format_database_entry/$reqkind $bm $database($bm)]
 240     }
 241     foreach o [lsort $ol] {
 242         puts $f $o
 243     }
 244     puts $f "."
 245     close $f
 246     file rename -force $database_fn.tmp $database_fn
 247 }
 248
 249 proc select_database {dbname_spec} {
 250     global dbname
 251     set dbname $dbname_spec
 252     read_database "./#local-$dbname#.txt"
 253 }
 254
 255 proc do_database_update {im def} {
 256     global database
 257     maybe_upload_entry $im $def
 258     set database($im) $def
 259     write_database
 260 }
 261
 262 proc required/char {} {
 263     global mulrows glyphsdone unk_l unk_r unk_contexts rows new_context
 264     global all_contexts debug_rect
 265
 266     must_gets stdin l
 267     debug "GOT $l"
 268
 269     manyset [lrange $l 0 3] unk_l unk_r unk_contexts
 270     set glyphsdone [lrange $l 3 end]
 271
 272     char_read_pgm stdin
 273
 274     catch { unset all_contexts }
 275
 276     resize_widgets_core
 277     foreach w {0 1} {
 278         .d.mi.csr_$w configure -height $mulrows
 279     }
 280     set maxh 0
 281     foreach {min max context contexts got} $glyphsdone {
 282         show_context maxh $min $context
 283         foreach ctx $contexts { set all_contexts($ctx) 1 }
 284     }
 285     foreach ctx $unk_contexts { set all_contexts($ctx) 1 }
 286
 287     eval destroy [winfo children .selctx]
 288     label .selctx.title -text \
 289         {Select match context for altering dictionary:}
 290     pack .selctx.title -side left
 291     set new_context {}
 292
 293     set ci 0; foreach ctx [lsort [array names all_contexts]] {
 294         set all_contexts($ctx) $ci
 295         set selw .selctx.c$ci
 296         set seltxt $ctx
 297         radiobutton $selw -variable new_context -value $ctx -text $seltxt
 298         pack $selw -side left
 299         incr ci
 300     }
 301     $selw configure -text "$seltxt."
 302     label .selctx.warning -text {See README.charset.}
 303     pack .selctx.warning -side left
 304
 305     show_context maxh $unk_l $unk_contexts
 306     .d.ctx configure -height $maxh
 307     pack forget .pe
 308     pack .selctx -before .d -padx 2 -fill x
 309     pack .d.csr -side top -before .d.mi -anchor w
 310     pack .d.got .d.ctx -side top -after .d.mi -anchor w
 311     pack configure .selctx -fill x
 312     focus .d
 313
 314     select_database char$rows
 315     draw_glyphsdone
 316     startup_cursor
 317 }
 318
 319 proc approve_showentry_xinfo/char {w def} {
 320     set unic [string2unicodenames $def]
 321     label $w -text $unic
 322 }
 323
 324 #========== PIXMAPS ==========
 325
 326 #---------- pixmap database read and write ----------
 327
 328 set database_magic/pixmap {# ypp-sc-tools pctb pixmaps v1}
 329
 330 proc read_database_header/pixmap {f} { }
 331 proc read_database_entry/pixmap {f def} {
 332     global database
 333
 334     set im ""
 335
 336     set p3 [db_getsl $f];       append im $p3    "\n"
 337     if {[string compare $p3 P3]} { error "$p3 ?" }
 338
 339     set wh [db_getsl $f];       append im $wh    "\n";   manyset $wh w h
 340     set depth [db_getsl $f];    append im $depth "\n"
 341
 342     for {set y 0} {$y < $h} {incr y} {
 343         set line [db_getsl $f]; append im $line  "\n"
 344     }
 345     set database($im) $def
 346 }
 347 proc write_database_header/pixmap {f} { puts $f "" }
 348 proc format_database_entry/pixmap {im def} {
 349     return "$def\n$im"
 350 }
 351
 352 #---------- pixmap display and input handling ----------
 353
 354 proc foreach_pixmap_col {var body} {
 355     global alloptions
 356     upvar 1 $var col
 357     for {set col 0} {$col < [llength $alloptions]/3} {incr col} {
 358         uplevel 1 $body
 359     }
 360 }
 361
 362 proc pixmap_select {ncol} {
 363     global alloptions
 364     debug "PIX SELECT $ncol [llength $alloptions]"
 365     foreach_pixmap_col col {
 366         if {$col==$ncol} continue
 367         .pe.grid.l$col selection clear 0 end
 368     }
 369     pixmap_maybe_ok
 370 }
 371 proc pixmap_maybe_ok {} {
 372     global alloptions pixmap_selcol pixmap_selrow
 373     set nsel 0
 374     foreach_pixmap_col col {
 375         set cs [.pe.grid.l$col curselection]
 376         set lcs [llength $cs]
 377         if {!$lcs} continue
 378         incr nsel $lcs
 379         set pixmap_selcol $col
 380         set pixmap_selrow [lindex $cs 0]
 381     }
 382     if {$nsel==1} {
 383         debug "MAYBE_OK YES col=$pixmap_selcol row=$pixmap_selrow."
 384         .pe.ok configure -state normal -command pixmap_ok
 385     } else {
 386         .pe.ok configure -state disabled -command {}
 387     }
 388 }
 389 proc pixmap_ok {} {
 390     global database ppm pixmap_selcol pixmap_selrow mainkind alloptions
 391
 392     return_result_start
 393     foreach_pixmap_col col {
 394         .pe.grid.l$col configure -state disabled
 395     }
 396     .pe.ok configure -state disabled
 397
 398     manyset [lrange $alloptions [expr {$pixmap_selcol*3}] end] \
 399         colname coldesc rows
 400     manyset [lrange $rows [expr {$pixmap_selrow*2}] end] \
 401         rowname rowdesc
 402     set result "$colname - $rowname"
 403     debug "UPDATE PIXMAP AS >$result<"
 404
 405     do_database_update $ppm $result
 406
 407     return_result_finish
 408 }
 409
 410 proc required/pixmap {} {
 411     global unk_what ppm mulcols alloptions
 412     must_gets stdin unk_what
 413     debug "GOT pixmap $unk_what"
 414     set ppm {}
 415     while 1 {
 416         must_gets_imagel stdin ppml
 417         if {![string length $ppml]} break
 418         append ppm $ppml "\n"
 419     }
 420     set data [exec pnmscale 2 << $ppm]
 421     image create photo image/main -data $data
 422
 423     set alloptions [exec ./database-info-fetch $unk_what]
 424
 425     select_database pixmap
 426
 427     set mulcols [image width image/main]
 428     set mulrows [image height image/main]
 429     resize_widgets_core
 430     place forget .d.mi.csr_0
 431     place forget .d.mi.csr_1
 432
 433     pack forget .selctx .d.csr .d.got
 434     pack .pe -side top -before .d -pady 2
 435     .d configure -takefocus 0
 436     #-pady 2 -fill x
 437
 438     eval destroy [winfo children .pe.grid]
 439     set col 0; foreach {colname coldesc rows} $alloptions {
 440         debug "INIT $col $colname \"$coldesc\""
 441         label .pe.grid.t$col -text $colname
 442         listbox .pe.grid.l$col
 443         foreach {rowname rowdesc} $rows {
 444             debug "INIT $col $colname \"$coldesc\" $rowname \"$rowdesc\""
 445             .pe.grid.l$col insert end $rowdesc
 446         }
 447         bind .pe.grid.l$col <<ListboxSelect>> [list pixmap_select $col]
 448         grid .pe.grid.t$col -column $col -row 0
 449         grid .pe.grid.l$col -column $col -row 1
 450         incr col
 451     }
 452     pixmap_maybe_ok
 453
 454     helptext {
 455         {{Indicate the meaning of this image, and click OK.}}
 456     }
 457 }
 458
 459 proc approve_showentry_xinfo/pixmap {w def} {
 460     label $w -image image/empty
 461 }
 462
 463 #========== UPLOADS TO DICTIONARY SERVER ==========
 464
 465 proc upload_init {} {
 466     global privacy_setting
 467
 468     set privacy_setting [upload_status]
 469
 470     label .privacy.warn -text " Privacy "
 471     if {$privacy_setting} {
 472         .privacy.warn configure -background yellow -foreground black
 473     }
 474     label .privacy.overall -text " Upload new dictionary entry:"
 475     label .privacy.reference -text " See README.privacy."
 476
 477     pack .privacy.warn .privacy.overall -side left
 478
 479     foreach {setting string} {
 480         0 {No}
 481         1 {Yes, anonymously}
 482         2 {Yes, quoting my pirate name.}
 483     } {
 484         radiobutton .privacy.o$setting -text $string \
 485             -value $setting -variable privacy_setting
 486         pack .privacy.o$setting -side left
 487         if {$setting > $privacy_setting} {
 488             .privacy.o$setting configure -state disabled
 489         }
 490     }
 491     pack .privacy.reference -side left
 492
 493     if {!$privacy_setting} {
 494         foreach w [winfo children .privacy] {
 495             $w configure -state disabled
 496         }
 497     }
 498     if {$privacy_setting} {
 499         package require http
 500         ::http::config -urlencoding utf-8
 501     }
 502 }
 503
 504 proc upload_status {} {
 505     # returns 0, 1, 2 for none, anon, with pirate name
 506     global env
 507
 508     if {![info exists env(YPPSC_PCTB_DICT_SUBMIT)]} { debug a; return 0 }
 509     if {![string compare 0 $env(YPPSC_PCTB_DICT_SUBMIT)]} { debug b; return 0 }
 510
 511     if {![info exists env(YPPSC_PIRATE)]} { return 1 }
 512     if {![info exists env(YPPSC_OCEAN)]} { return 1 }
 513     if {![string length $env(YPPSC_PIRATE)]} { return 1 }
 514     if {![string length $env(YPPSC_OCEAN)]} { return 1 }
 515
 516     return 2
 517 }
 518
 519 proc maybe_upload_entry {im def} {
 520     global reqkind privacy_setting env dbname quiet
 521
 522     debug "DB-UPDATE PRIVACY $privacy_setting"
 523     if {!$privacy_setting} return
 524
 525     debug "DB-UPDATE UPLOADING"
 526
 527     set pl {}
 528     lappend pl dict $dbname
 529
 530     if {$privacy_setting>=2} {
 531         set pirate [string totitle $env(YPPSC_PIRATE)]
 532         set ocean [string totitle $env(YPPSC_OCEAN)]
 533         debug "DB-UPDATE NON-ANON $ocean $pirate"
 534         lappend pl \
 535             pirate $pirate \
 536             ocean $ocean
 537     }
 538     lappend pl entry [format_database_entry/$reqkind $im $def]
 539
 540     set url $env(YPPSC_PCTB_DICT_SUBMIT)
 541     append url dictionary-update-receiver
 542
 543     set query [eval ::http::formatQuery $pl]
 544     regsub -all {%0d} $query {} query
 545     debug "DB-UPDATE QUERY $query"
 546
 547     if {[regexp {^\.?/} $url]} {
 548         set cmd [list $url $query]
 549         debug "SUBMIT CMD [string range $cmd 0 200]..."
 550         set body [eval exec $cmd 2>@ stderr]
 551         regsub {^Content-Type: text/plain.*\n\n} $body {} body
 552     } else {
 553
 554         if {[catch {
 555             set req [::http::geturl $url -query $query]
 556         } emsg]} {
 557             puts stderr \
 558                 "\nWARNING: Cannot do dictionary upload: $emsg\n"
 559             return
 560         }
 561         upvar #0 $req s
 562         debug "DB-UPDATE DONE $req $s(status) [array names s]"
 563         set ncode [::http::ncode $req]
 564
 565         if {!(![string compare ok $s(status)] &&
 566               ![string compare 200 $ncode])} {
 567             set m "\nWARNING: Dictionary upload failed:"
 568             foreach v {status http error posterror} {
 569                 if {[info exists s($v)]} { append m "\n $v: $s($v)" }
 570             }
 571             puts stderr $m
 572             return
 573         }
 574         set body $s(body)
 575         ::http::cleanup $req
 576     }
 577
 578     if {![string match {OK *} $body]} {
 579         set m "\nWARNING: Dictionary upload went wrong:\n"
 580         append m "\n  " [join [split $body "\n"] "\n  "]
 581         puts stderr $m
 582         return
 583     }
 584
 585     if {!$quiet} {
 586         puts stderr \
 587             "Uploaded $dbname `$def': $body"
 588     }
 589 }
 590
 591 #========== CHARACTER SET ==========
 592
 593 #---------- pgm input processor ----------
 594
 595 proc char_read_pgm {f} {
 596     global glyphsdone mul inter rhsmost_max unk_l unk_r mulcols mulrows
 597     global cols rows charkey
 598
 599     must_gets_imagel $f l
 600     if {[string compare $l P2]} { error "magic $l ?" }
 601
 602     must_gets_imagel $f l
 603     if {![regexp {^([1-9]\d{0,3}) ([1-9]\d{0,3}) ([1-9]\d?)$} \
 604               $l dummy cols rows maxval]} { error "head $l ?" }
 605
 606     for {set depth 1} {$maxval != (1<<$depth)-1} {incr depth} {
 607         if {$depth >= 16} { error "maxval $maxval ?" }
 608     }
 609
 610     set chop_l [expr {$unk_l - 80}]
 611     set chop_r [expr {$cols - $unk_l - 100}]
 612     if {$chop_l<0} { set chop_l 0 }
 613     if {$chop_r<0} { set chop_r 0 }
 614
 615     set unk_l [expr {$unk_l - $chop_l}]
 616     set unk_r [expr {$unk_r - $chop_l}]
 617     set ngd {}
 618     foreach {min max context contexts got} $glyphsdone {
 619         lappend ngd \
 620             [expr {$min-$chop_l}] \
 621             [expr {$max-$chop_l}] \
 622             $context $contexts $got
 623     }
 624     set glyphsdone $ngd
 625
 626     set realcols $cols
 627     set cols [expr {$cols - $chop_l - $chop_r}]
 628     debug "NOW cols=$cols chop_l,r=$chop_l,$chop_r rows=$rows\
 629                 $unk_l $unk_r $ngd"
 630
 631     set mulcols [expr {$cols*$mul+$inter}]
 632     set mulrows [expr {$rows*$mul+$inter}]
 633
 634     set o "P3\n$mulcols $mulrows 15\n"
 635
 636     for {set x 0} {$x<$cols} {incr x} { set charkey($x) {} }
 637
 638     set ointer1 "   1  1  1"
 639     set ointer  [string repeat $ointer1 $inter]
 640     set ointerl "[string repeat $ointer1 $mulcols]\n"
 641
 642     append o $ointerl
 643
 644     for {set y 0} {$y<$rows} {incr y} {
 645         must_gets_imagel $f l
 646         if {[llength $l] != $realcols} { error "realcols=$realcols $l ?" }
 647
 648         set ol $ointer
 649
 650         for {set x 0} {$x<$cols} {incr x} {
 651             set realx [expr {$x + $chop_l}]
 652             set c [lindex $l $realx]
 653             append charkey($x) [format %x $c]
 654
 655             set how "u"
 656             if {$x >= $unk_l && $x <= $unk_r} {
 657                 set how q
 658             } else {
 659                 set ab 0
 660                 foreach {min max context contexts got} $glyphsdone {
 661                     set rhsmost_max $max
 662                     if {$x >= $min && $x <= $max} {
 663                         set how [lindex {a b} $ab]
 664                         break
 665                     }
 666                     set ab [expr {!$ab}]
 667                 }
 668             }
 669             set c15 [expr {$c << (16-$depth)}]
 670             set c15 [expr {$c15 | ($c15 >> $depth)}]
 671             set c15 [expr {$c15 | ($c15 >> $depth*2)}]
 672             set c15 [expr {$c15 >> 12}]
 673
 674             foreach rgb {r g b} { set $rgb {$c15} }
 675             switch -exact $how {
 676                 a { set r {$c15>>1 | 0x8} }
 677                 b { set b {$c15>>2 | 0xc} }
 678                 u { set b  0              }
 679                 q { set b  0              }
 680                 default { error "how $how ?" }
 681             }
 682 #debug "PIXEL $x,$y how=$how c=$c c15=$c15 $r $g $b"
 683
 684             set opixel " "
 685             foreach rgb {r g b} {
 686                 append opixel [format " %2d" [expr [set $rgb]]]
 687             }
 688             append ol [string repeat $opixel [expr {$mul-$inter}]]
 689             append ol $ointer
 690         }
 691         append ol "\n"
 692         append o [string repeat $ol [expr {$mul-$inter}]]
 693         append o $ointerl
 694     }
 695
 696 #    debug "DATA $o"
 697     set data [exec pnmscale 1 << $o]
 698     image create photo image/main -data $data
 699 }
 700
 701 #---------- character set editor display ----------
 702
 703 proc show_context {maxhv x ctxs} {
 704     global mul
 705     upvar 1 $maxhv maxh
 706     set w .d.ctx.at$x
 707     if {[llength $ctxs]==1} { set fg blue } { set fg yellow }
 708     label $w -bg black -fg $fg -text [join $ctxs "/\n"] -justify left
 709     place $w -x [expr {($x-1)*$mul}] -y 0
 710     set wh [winfo reqheight $w]
 711     if {$wh > $maxh} { set maxh $wh }
 712 }
 713
 714 proc draw_glyphsdone {} {
 715     global glyphsdone mul inter
 716     eval destroy [winfo children .d.got]
 717     foreach {min max context contexts got} $glyphsdone {
 718         frame .d.got.m$min -bd 0 -background \#888
 719         label .d.got.m$min.l -text "$got" -fg white -bg black -bd 0
 720         pack .d.got.m$min.l -padx 1 -pady 1
 721         place .d.got.m$min -x [expr {$min*$mul+$inter}] -y 0
 722     }
 723 }
 724
 725 proc startup_cursor {} {
 726     global cur_already cur_mode cur_0 cur_1 last_ht
 727     global glyphsdone unk_l unk_r
 728
 729     set cur_already [expr {[llength $glyphsdone]/5-1}]
 730     set cur_mode 1 ;# one of:   0 1 already text
 731
 732     set cur_0 $unk_l
 733     set cur_1 [expr {$unk_r+1}]
 734
 735     recursor
 736 }
 737
 738 #---------- character set runtime display and keystroke handling ----------
 739
 740 proc char_exactly_selctxts {contexts} {
 741     global all_contexts
 742     foreach ctx [array names all_contexts] {
 743         set ci $all_contexts($ctx)
 744         set selw .selctx.c$ci
 745         if {[lsearch -exact $contexts $ctx]>=0} {
 746             set state normal
 747         } else {
 748             set state disabled
 749         }
 750         $selw configure -state $state
 751     }
 752 }
 753
 754 proc recursor/0 {} { recursor//01 0 }
 755 proc recursor/1 {} { recursor//01 1 }
 756 proc recursor//01 {z1} {
 757     global mul rhsmost_max cols glyphsdone cur_0 cur_1
 758     global all_contexts
 759     upvar #0 cur_$z1 cur
 760     .d.csr.csr.l configure -text "adjust [char_get_definition_context_actual]"
 761     place .d.csr.csr -x [expr {$cur*$mul - 7}]
 762
 763     set okctxts [char_get_definition_contexts]
 764     char_exactly_selctxts $okctxts
 765
 766     foreach ctx [lsort [array names all_contexts]] {
 767         set key [string range $ctx 0 0]
 768         if {[lsearch -exact $okctxts $ctx] >= 0} {
 769             bind_key [string tolower $key] "
 770                 [list set new_context $ctx]
 771                 recursor
 772             "
 773         } else {
 774             bind_key [string tolower $key] {}
 775         }
 776         lappend context_help $key
 777     }
 778     set context_help [list [join $context_help " "] \
 779                           {Set match context for new glyph.}]
 780
 781     bind_key space { othercursor }
 782     bind_leftright_q cur_$z1 0 [expr {$cols-1}]
 783     if {[llength $glyphsdone]} {
 784         bind_key BackSpace { set cur_mode already; recursor }
 785     } else {
 786         bind_key BackSpace {}
 787     }
 788     bind_key Return {
 789         char_start_define_text
 790     }
 791     helptext [list                                              \
 792         {{<- ->}   {move cursor, adjusting area to define}}     \
 793         {Space     {switch to moving other cursor}}             \
 794         {Return    {confirm location, enter letter(s)}}         \
 795         {Backspace {switch to correcting earlier ocr}}          \
 796         {Q         {quit and abandon OCR run}}                  \
 797         $context_help                                           \
 798                   ]
 799 }
 800 proc othercursor {} {
 801     global cur_mode
 802     set cur_mode [expr {!$cur_mode}]
 803     recursor
 804 }
 805
 806 proc char_start_define_text {} {
 807     global cur_0 cur_1 cur_mode
 808     if {$cur_0 == $cur_1} return
 809     set cdgdca [char_get_definition_context_actual]
 810     if {![string length $cdgdca]} return
 811     .d.csr.csr.e delete 0 end
 812     set cur_mode text
 813     .d.csr.csr.l configure -text "define $cdgdca:"
 814     recursor
 815 }
 816
 817 proc recursor/text {} {
 818     global all_contexts
 819
 820     helptext {
 821         {Return   {confirm entry of new glyph}}
 822         {Escape   {abandon entry}}
 823     }
 824     unbind_all_keys
 825     pack .d.csr.csr.e -side left -padx 2
 826     focus .d.csr.csr.e
 827     bind .d.csr.csr.e <Key-Return> {
 828         set strq [.d.csr.csr.e get]
 829         if {[string length $strq]} {
 830             RETURN_RESULT DEFINE [list $strq]
 831         }
 832     }
 833     bind .d.csr.csr.e <Key-Escape> {
 834         bind_key Escape {}
 835         pack forget .d.csr.csr.e
 836         set cur_mode 1
 837         focus .d
 838         recursor
 839     }
 840 }
 841
 842 proc recursor/already {} {
 843     global mul
 844     global cur_already mul
 845     global glyphsdone cur_already mul
 846
 847     char_exactly_selctxts [lindex $glyphsdone [expr {$cur_already*5+2}]]
 848
 849     .d.csr.csr.l configure -text {correct}
 850     set rmax [lindex $glyphsdone [expr {$cur_already*5}]]
 851     place .d.csr.csr -x [expr {$rmax*$mul-3}]
 852     bind_key Return {}
 853     bind_leftright_q cur_already 0 [expr {[llength $glyphsdone]/5-1}]
 854     bind_key space { bind_key Delete {}; set cur_mode 1; recursor }
 855     bind_key Delete {
 856         RETURN_RESULT DELETE [lrange $glyphsdone \
 857                                   [expr $cur_already*5] \
 858                                   [expr $cur_already*5+2]]
 859     }
 860     helptext {
 861         {{<- ->}   {move cursor, selecting glyph to correct}}
 862         {Del       {clear this glyph from the recognition database}}
 863         {Space     {switch to selecting area to define as new glyph}}
 864         {Q         {quit and abandon OCR run}}
 865     }
 866 }
 867
 868 proc bind_leftright_q {var min max} {
 869     bind_key Left  [list leftright $var $min $max -1]
 870     bind_key Right [list leftright $var $min $max +1]
 871     bind_key q     {
 872         puts stderr "\nCharacter resolver quitting as you requested."
 873         exit 1
 874     }
 875 }
 876 proc leftright {var min max inc} {
 877     upvar #0 $var v
 878     set vnew $v
 879     incr vnew $inc
 880     if {$vnew < $min || $vnew > $max} return
 881     set v $vnew
 882     recursor
 883 }
 884
 885 proc recursor {} {
 886     global csrh cur_mode cur_0 cur_1 mul
 887     foreach z1 {0 1} {
 888         place .d.mi.csr_$z1 -y 0 -x [expr {[set cur_$z1] * $mul}]
 889     }
 890     recursor/$cur_mode
 891 }
 892
 893 #---------- character database read and write ----------
 894
 895 # OUT OF DATE
 896 # database format:
 897 # series of glyphs:
 898 #   <context> <ncharacters> <hex>...
 899 #   width
 900 #   <hex-bitmap>
 901
 902 # $database($context 0x<bits> 0x<bits>...) = $hex
 903
 904 set database_magic/char "# ypp-sc-tools pctb font v3 depth=$aadepth"
 905
 906 proc read_database_header/char {f} {
 907     global rows
 908     set l [db_getsl $f]
 909     if {$l+0 != $rows} { error "wrong h $l $rows ?" }
 910 }
 911 proc read_database_entry/char {f context} {
 912     global database
 913     set bm $context
 914     set strq [db_getsl $f]
 915     while 1 {
 916         set l [db_getsl $f]
 917         if {![string length $l]} break
 918         lappend bm $l
 919     }
 920     set database($bm) $strq
 921 }
 922
 923 proc write_database_header/char {f} {
 924     global rows
 925     puts $f "$rows\n"
 926 }
 927 proc format_database_entry/char {bm strq} {
 928     global database rows
 929     set o "[lindex $bm 0]\n$strq\n"
 930     foreach x [lrange $bm 1 end] { append o "$x\n" }
 931     return $o
 932 }
 933
 934 proc dbkey {ctx l r} {
 935     global charkey
 936     set bm $ctx
 937     for {set x $l} {$x <= $r} {incr x} {
 938         lappend bm $charkey($x)
 939     }
 940     return $bm
 941 }
 942
 943 proc char_get_definition_cursors {} {
 944     global cur_0 cur_1
 945     if {$cur_0 <= $cur_1} {
 946         set cl $cur_0; set cr $cur_1
 947     } else {
 948         set cl $cur_1; set cr $cur_0
 949     }
 950     incr cr -1
 951     debug "CGD CURSORS $cl $cr"
 952     return [list $cl $cr]
 953 }
 954
 955 proc char_get_definition_contexts {} {
 956     global glyphsdone unk_l unk_contexts database
 957
 958     manyset [char_get_definition_cursors] c0 c1
 959
 960     if {$c0 == $unk_l} {
 961         set ncontexts $unk_contexts
 962     } else {
 963         foreach {l r context contexts got} $glyphsdone {
 964             if {$l==$c0} { set ncontexts $contexts; break }
 965         }
 966         if {![info exists ncontexts]} {
 967             set ncontexts {}
 968         }
 969     }
 970     debug "CGD CONTEXTS $ncontexts"
 971     return $ncontexts
 972 }
 973
 974 proc char_get_definition_context_actual {} {
 975     global new_context
 976     set ncontexts [char_get_definition_contexts]
 977     if {[llength $ncontexts]==1} {
 978         set c [lindex $ncontexts 0]
 979     } elseif {[lsearch -exact $ncontexts $new_context]>=0} {
 980         set c $new_context
 981     } else {
 982         set c {}
 983     }
 984     debug "CDG CONTEXT ACTUAL $c FROM NEW $new_context ALLOW $ncontexts"
 985     return $c
 986 }
 987
 988 proc update_database/DEFINE {strq} {
 989     manyset [char_get_definition_cursors] c0 c1
 990     set c [char_get_definition_context_actual]
 991     if {![string length $c]} {
 992         error "Selected context is not one of the many possibilities."
 993     }
 994     debug "DEFINE $strq"
 995     set bm [dbkey $c $c0 $c1]
 996     do_database_update $bm $strq
 997 }
 998
 999 proc update_database/DELETE {l r ctxs} {
1000     global database
1001     if {[llength $ctxs]!=1} { error "$ctxs ?" }
1002     foreach ctx $ctxs {
1003         set bm [dbkey $ctx $l $r]
1004         catch { unset database($bm) }
1005     }
1006     write_database
1007 }
1008
1009 proc RETURN_RESULT {how what} {
1010     return_result_start
1011
1012     place forget .d.csr.csr
1013     pack forget .d.csr.csr.e
1014
1015     debug "$how $what"
1016     eval update_database/$how $what
1017
1018     return_result_finish
1019 }
1020
1021 #========== server for approving updates ==========
1022
1023 proc remote-serv-log {dict pirate caller file event} {
1024     global remoteserv_logf
1025     set t [clock format [clock seconds] -format {%Y-%m-%d %H:%M:%S %Z}]
1026     set s [format "%s %-6s %-31s %-31s %s %s\n" \
1027                $t $dict $pirate $caller [file tail $file] $event]
1028     puts -nonewline $remoteserv_logf $s
1029 }
1030
1031 proc remote-serv/list {} {
1032     global dropdir
1033     foreach file [glob -nocomplain -type f -directory $dropdir _update.*.rdy] {
1034         puts yes
1035         puts $file
1036         set f [open $file]
1037         set d [read $f]
1038         close $f
1039         puts_counted stdout d
1040     }
1041     puts end
1042 }
1043
1044 proc remote-serv/take {yesno file dict} {
1045     global dropdir dictdir rows reqkind database
1046     set rows ""
1047     debug "TAKE [list $yesno $file $dict]"
1048     read_counted stdin pirate
1049     read_counted stdin caller
1050     read_counted stdin key
1051     read_counted stdin val
1052
1053     must_gets_exactly stdin confirmed
1054
1055     manyset [dict2_reqkind_rows $dict] reqkind rows
1056
1057     if {$yesno} {
1058         read_database $dictdir/master-$dict.txt
1059         set database($key) $val
1060         write_database
1061         set desc approve
1062     } else {
1063         set desc reject
1064     }
1065     remote-serv-log $dict $pirate $caller $file "$desc $reqkind $rows"
1066     file delete -force $file
1067
1068     puts done
1069 }
1070
1071 proc remote-serv/noop {} {
1072     puts ok
1073 }
1074
1075 set remoteserv_banner {ypp-sc-tools pctb remote-server v1}
1076
1077 proc main/remoteserv {} {
1078     global argv dropdir remoteserv_banner remoteserv_logf dictdir
1079     manyset $argv dropdir dictdir
1080     puts $remoteserv_banner
1081     set remoteserv_logf [open $dropdir/_dict.log a]
1082     fconfigure $remoteserv_logf -buffering line
1083     while 1 {
1084         flush stdout
1085         if {[gets stdin l] < 0} break
1086         eval remote-serv/$l
1087     }
1088 }
1089
1090 #========== updates approver ==========
1091
1092 proc puts_server {s} {
1093     global server
1094     debug ">> $s"
1095     puts $server $s
1096 }
1097 proc must_gets_server {lv} {
1098     upvar 1 $lv l
1099     global server
1100     must_gets $server l
1101     debug "<< $l"
1102 }
1103
1104 proc must_gets_exactly_server {expected} {
1105     must_gets_server got
1106     if {[string compare $expected $got]} { error "$expected $got ?" }
1107 }
1108
1109 proc regsub-data {exp subspec args} {
1110     global data
1111     if {![eval regsub $args -- [list $exp $data $subspec data]]} {
1112         error "$exp >$data< ?"
1113     }
1114 }
1115
1116 proc dict2_reqkind_rows {dict} {
1117     if {![string compare pixmap $dict]} {
1118         return {pixmap {}}
1119         debug "DICT PIXMAP"
1120     } elseif {[regexp {^(char)([1-9]\d*)$} $dict dummy reqkind rows]} {
1121         debug "DICT CHAR rqk=$reqkind r=$rows."
1122         return [list $reqkind $rows]
1123     } else {
1124         error "$dict ?"
1125     }
1126 }
1127
1128 proc chop_counted {var} {
1129     upvar 1 $var val
1130     global data
1131     if {![regexp {^(0|[1-9]\d*)\n} $data dummy l]} { error "$data ?" }
1132     regsub-data {^.*\n} {} -line
1133     set val [string range $data 0 [expr {$l-1}]]
1134     set data [string range $data $l end]
1135     debug "CHOP_COUNTED $l $var"
1136     regsub-data {^\n} {}
1137 }
1138
1139 proc approve_decompose_data {specdata} {
1140     global data aadepth
1141     set data $specdata
1142
1143     regsub-data "^ypp-sc-tools dictionary update v3 depth=$aadepth\\n" {}
1144     uplevel 1 chop_counted pirate
1145     uplevel 1 chop_counted caller
1146     uplevel 1 chop_counted dict
1147     uplevel 1 chop_counted ctx
1148     uplevel 1 chop_counted def
1149     uplevel 1 chop_counted image
1150     uplevel 1 chop_counted key
1151     uplevel 1 chop_counted val
1152
1153     return [uplevel 1 {list $dict $def $image}]
1154 }
1155
1156 proc approve_compare {fd1 fd2} {
1157     manyset $fd1 file data; set sv1 [approve_decompose_data $data]
1158     manyset $fd2 file data; set sv2 [approve_decompose_data $data]
1159     return [string compare $sv1 $sv2]
1160 }
1161
1162 proc string2unicodenames {str} {
1163     return [exec perl -e {
1164         use Unicode::CharName qw(uname);
1165         $ARGV[0] =~ s/^ //;
1166         foreach $_ (split //,$ARGV[0]) {
1167             print uname(ord),"\n" or die $!
1168         }
1169     } " $str"]
1170 }
1171
1172 proc approve_showentry {ix file specdata} {
1173     global approve_ixes reqkind approve_entryhow
1174
1175     approve_decompose_data $specdata
1176
1177     set wb .app.e$ix
1178
1179     frame $wb-inf
1180     label $wb-inf.who -text $pirate
1181
1182     entry $wb-inf.file -font fixed -relief flat
1183     $wb-inf.file insert end [file tail $file]
1184     $wb-inf.file configure -state readonly -width -1
1185
1186     pack $wb-inf.who $wb-inf.file -side top
1187
1188     frame $wb-def
1189     label $wb-def.scope -text "$dict $ctx"
1190     label $wb-def.def -text $def
1191     pack $wb-def.scope $wb-def.def -side bottom
1192
1193     if {[regexp {^P2} $image]} {
1194         set image [exec pgmtoppm {#008-white} << $image | pnmnoraw]
1195         append image "\n"
1196     }
1197     set image [exec pnmscale 2 << $image]
1198
1199     image create photo approve/$ix -data $image
1200     label $wb-image -image approve/$ix -bd 2 -relief flat -bg black
1201
1202     manyset [dict2_reqkind_rows $dict] reqkind
1203     approve_showentry_xinfo/$reqkind $wb-xinfo $def
1204
1205     if {$ix} {
1206         label $wb-div -bd 1 -relief sunken -image image/empty
1207         grid configure $wb-div -columnspan 5 -sticky ew -padx 5
1208     }
1209
1210     frame $wb-act -bd 2 -relief groove
1211     set approve_entryhow($ix) approve
1212     foreach how {approve reject defer} {
1213         set w $wb-act.$how
1214         radiobutton $w -variable approve_entryhow($ix) \
1215             -text [string totitle $how] -value $how
1216         pack $w -side left
1217     }
1218
1219     grid $wb-def $wb-image $wb-xinfo $wb-act $wb-inf -padx 3
1220     grid configure $wb-image -ipadx 3 -ipady 3 -sticky w
1221
1222     lappend approve_ixes $ix
1223 }
1224
1225 proc approve_approve_reject_one {ix yesno} {
1226     global approve_list server
1227     manyset [lindex $approve_list $ix] file tdata
1228     approve_decompose_data $tdata
1229     puts_server "take $yesno $file $dict"
1230     puts_counted $server pirate
1231     puts_counted $server caller
1232     puts_counted $server key
1233     puts_counted $server val
1234     puts_server confirmed
1235     flush $server
1236     must_gets_exactly_server done
1237 }
1238
1239 proc approve_check_server {} {
1240     global server
1241     puts_server noop
1242     flush $server
1243     must_gets_exactly_server ok
1244 }
1245
1246 proc approve_confirm {} {
1247     global approve_ixes approve_entryhow
1248     approve_check_server
1249     foreach ix $approve_ixes {
1250         set how $approve_entryhow($ix)
1251         switch -exact $how {
1252             approve { approve_approve_reject_one $ix 1 }
1253             reject  { approve_approve_reject_one $ix 0 }
1254             defer   { }
1255             default { error $how? }
1256         }
1257     }
1258     approve_fetch_list
1259 }
1260
1261 proc approve_fetch_list {} {
1262     global server approve_list
1263     set approve_list {}
1264     puts_server list
1265     flush $server
1266     while 1 {
1267         must_gets_server more
1268         switch -exact $more {
1269             yes { }
1270             end { break }
1271             default { error "$more ?" }
1272         }
1273         must_gets_server file
1274         read_counted $server data
1275         lappend approve_list [list $file $data]
1276     }
1277
1278     if {![llength $approve_list]} { puts "Nothing (more) to approve."; exit 0 }
1279
1280     set approve_list [lsort -command approve_compare $approve_list]
1281     approve_show_page 0
1282 }
1283
1284 proc main/approve {} {
1285     global argv server remoteserv_banner data approve_list approve_page
1286     global userhost directory dictdir debug
1287
1288     if {[llength $argv] != 3} { error "wrong # args" }
1289     manyset $argv userhost directory dictdir
1290     debug "APPROVER FOR $userhost $directory $dictdir"
1291
1292     set cmd [list tclsh $directory/dictionary-manager]
1293     if {$debug} { lappend cmd --debug-server }
1294     lappend cmd --remote-server-1 $directory $dictdir
1295     switch -glob $userhost {
1296         {} { }
1297         {* *} { set cmd $userhost }
1298         * { set cmd [concat [list ssh -o compression=yes $userhost] $cmd] }
1299     }
1300     debug "APPROVER RUNS $cmd"
1301
1302     lappend cmd 2>@ stderr
1303     set server [open |$cmd r+]
1304     must_gets_exactly_server $remoteserv_banner
1305
1306     button .left -text {<<} -command {approve_show_page -1}
1307     button .right -text {>>} -command {approve_show_page +1}
1308
1309     label .title -text {}
1310     frame .app -bd 2 -relief groove
1311     button .ok -text "Confirm" -command approve_confirm
1312     pack .title .app -side top
1313     pack .left -side left
1314     pack .right -side right
1315     pack .ok -side bottom
1316
1317     image create bitmap image/empty
1318
1319     set approve_page 0
1320     approve_fetch_list
1321 }
1322
1323 proc approve_show_page {delta} {
1324     global approve_page approve_ixes approve_list userhost directory dictdir
1325
1326     eval destroy [winfo children .app]
1327     set approve_ixes {}
1328
1329     set per_page 10
1330     incr approve_page $delta
1331
1332     set ll [llength $approve_list]
1333     set npages [expr {($ll+$per_page-1)/$per_page}]
1334     if {$approve_page >= $npages} { incr approve_page -1 }
1335
1336     set page_start [expr {$approve_page*$per_page}]
1337     set page_end [expr {$page_start+$per_page-1}]
1338
1339     for {set ix $page_start} {$ix < $ll && $ix <= $page_end} {incr ix} {
1340         set fd [lindex $approve_list $ix]
1341         eval approve_showentry $ix $fd
1342     }
1343
1344     .title configure -text \
1345  "$userhost\n$directory => $dictdir\nPage [expr {$approve_page+1}]/$npages"
1346
1347     .left configure -state disabled
1348     .right configure -state disabled
1349     if {$approve_page>0} { .left configure -state normal }
1350     if {$approve_page<$npages-1} { .right configure -state normal }
1351 }
1352
1353 #========== main program ==========
1354
1355 proc return_result_start {} {
1356     helptext {{{ Processing }}}
1357     unbind_all_keys
1358     update idletasks
1359 }
1360 proc return_result_finish {} {
1361     global mainkind
1362     done/$mainkind
1363 }
1364
1365 proc main/default {} {
1366     puts stderr "Do not run this program directly."
1367     exit 12
1368 }
1369 proc done/default {} {
1370 }
1371
1372 proc required {} {
1373     global reqkind
1374
1375     fileevent stdin readable {}
1376     fconfigure stdin -blocking yes
1377
1378     if {[gets stdin reqkind]<0} {
1379         if {[eof stdin]} { fconfigure stdin -blocking yes; exit 0 }
1380         return
1381     }
1382     init_widgets
1383
1384     required/$reqkind
1385 }
1386
1387 proc main/automatic {} {
1388     fconfigure stdin -blocking no
1389     fileevent stdin readable required
1390 }
1391 proc done/automatic {} {
1392     exec sh -c {printf \\0 >&4}
1393     main/automatic
1394 }
1395
1396 proc debug {m} { }
1397
1398 set mainkind default
1399 set ai 0
1400 set debug 0
1401 set debug_rect 0
1402 set quiet 0
1403 foreach arg $argv {
1404     incr ai
1405     switch -exact -- $arg {
1406         {--quiet}           { set quiet 1 }
1407         {--debug}           { set debug 1 }
1408         {--debug-rect}      { set debug_rect 1 }
1409         {--debug-server}    { proc debug {m} { puts stderr "DICT-MGR-SVR $m" }}
1410         {--noop-arg}        { }
1411         {--approve-updates} { set mainkind approve; break }
1412         {--automatic-1}     { set mainkind automatic; break }
1413         {--remote-server-1} { set mainkind remoteserv; break }
1414         {--automatic*} - {--remote-server}
1415                             { error "incompatible versions - install problem" }
1416         default             { error "huh $argv ?" }
1417     }
1418 }
1419 if {$debug} {
1420     proc debug {m} { puts stderr "DICT-MGR $m" }
1421 }
1422 set argv [lrange $argv $ai end]
1423
1424 main/$mainkind