pctb/yppsc-ocr-resolver

   1 #!/usr/bin/wish
   2
   3 # helper program for OCR in PCTB upload client
   4
   5 # This is part of ypp-sc-tools, a set of third-party tools for assisting
   6 # players of Yohoho Puzzle Pirates.
   7 #
   8 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
   9 #
  10 # This program is free software: you can redistribute it and/or modify
  11 # it under the terms of the GNU General Public License as published by
  12 # the Free Software Foundation, either version 3 of the License, or
  13 # (at your option) any later version.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU General Public License for more details.
  19 #
  20 # You should have received a copy of the GNU General Public License
  21 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  22 #
  23 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
  24 # are used without permission.  This program is not endorsed or
  25 # sponsored by Three Rings.
  26
  27
  28 # invocation:
  29 #  run this without args
  30 #  then on stdin write
  31 #     one line which is a Tcl list for unk_{l,r} unk_contexts glyphsdone etc.
  32 #     the xpm in the format expected
  33 #  then expect child to exit 0, or write a single 0 byte to fd 4
  34 #  if it wrote a byte to fd 4, it can take another question
  35
  36
  37 proc manyset {list args} {
  38     foreach val $list var $args {
  39         upvar 1 $var my
  40         set my $val
  41     }
  42 }
  43
  44
  45 #---------- display core ----------
  46
  47 set mul 6
  48 set inter 1
  49
  50 set gotsh 20
  51 set csrh 20
  52 set ctxh 20
  53
  54 proc init_widgets {} {
  55     # idempotent
  56     global csrh gotsh ctxh
  57
  58     if {[winfo exists .d]} return
  59
  60     frame .d
  61
  62     image create bitmap image/main
  63     label .d.mi -image image/main -borderwidth 0
  64
  65     frame .d.csr -bg black -height $csrh
  66     frame .d.got -bg black -height $gotsh
  67     frame .d.ctx -bg black
  68
  69     image create bitmap image/cursor -data \
  70 {#define csr_width 11
  71 #define csr_height 11
  72 static unsigned char csr_bits[] = {
  73    0x20, 0x00, 0x20, 0x00, 0x20, 0x00, 0x21, 0x04, 0x22, 0x02, 0x25, 0x05,
  74    0xaa, 0x02, 0x74, 0x01, 0xa8, 0x00, 0x70, 0x00, 0x20, 0x00};
  75 }
  76
  77     frame .d.csr.csr
  78     label .d.csr.csr.l -image image/cursor -compound left
  79     entry .d.csr.csr.e -bd 0
  80     pack .d.csr.csr.l -side left
  81
  82     frame .d.mi.csr_0 -bg white -width 1
  83     frame .d.mi.csr_1 -bg white -width 1
  84
  85     pack .d.csr .d.mi .d.got .d.ctx -side top
  86     pack .d
  87
  88     frame .help
  89     pack .help
  90 }
  91
  92 proc show_context {maxhv x ctxs} {
  93     global mul
  94     upvar 1 $maxhv maxh
  95     set w .d.ctx.at$x
  96     if {[llength $ctxs]==1} { set fg blue } { set fg yellow }
  97     label $w -bg black -fg $fg -text [join $ctxs "/\n"] -justify left
  98     place $w -x [expr {($x-1)*$mul}] -y 0
  99     set wh [winfo reqheight $w]
 100     if {$wh > $maxh} { set maxh $wh }
 101 }
 102
 103 proc resize_widgets {} {
 104     global mulcols mulrows csrh gotsh ctxh glyphsdone
 105     global unk_l unk_contexts
 106
 107     foreach w {.d.csr .d.got .d.ctx} {
 108         $w configure -width $mulcols
 109     }
 110     #.d configure -height [expr {$csrh+$mulrows+$gotsh+$ctxh}]
 111     foreach w {0 1} {
 112         .d.mi.csr_$w configure -height $mulrows
 113     }
 114
 115     eval destroy [winfo children .d.ctx]
 116
 117     set maxh 0
 118     foreach {min max contexts got} $glyphsdone {
 119         show_context maxh $min $contexts
 120     }
 121     show_context maxh $unk_l $unk_contexts
 122     .d.ctx configure -height $maxh
 123 }
 124
 125
 126 #---------- xpm input processor ----------
 127
 128 proc read_xpm {f} {
 129     global glyphsdone mul inter rhsmost_max unk_l unk_r mulcols mulrows
 130     global cols rows wordmap
 131
 132     set o {}
 133     set y -3
 134     while 1 {
 135         if {[gets $f l] < 0} { error "huh? "}
 136         if {![regexp {^"(.*)",$} $l dummy l]} {
 137             append o "$l\n"
 138             if {[regexp {^\}\;$} $l]} break
 139             continue
 140         }
 141         if {$y==-3} {
 142             manyset $l cols rows colours cpp
 143             if {$colours!=2 || $cpp!=1} { error "$l ?" }
 144
 145             set chop_l [expr {$unk_l - 80}]
 146             set chop_r [expr {$cols - $unk_l - 100}]
 147             if {$chop_l<0} { set chop_l 0 }
 148
 149             set unk_l [expr {$unk_l - $chop_l}]
 150             set unk_r [expr {$unk_r - $chop_l}]
 151             set ngd {}
 152             foreach {min max contexts got} $glyphsdone {
 153                 lappend ngd \
 154                     [expr {$min-$chop_l}] \
 155                     [expr {$max-$chop_l}] \
 156                     $contexts $got
 157             }
 158             set glyphsdone $ngd
 159
 160             set realcols $cols
 161             set cols [expr {$cols - $chop_l - $chop_r}]
 162             debug "NOW cols=$cols chop_l,r=$chop_l,$chop_r rows=$rows\
 163                 $unk_l $unk_r $ngd"
 164
 165             set mulcols [expr {$cols*$mul+$inter}]
 166             set mulrows [expr {$rows*$mul+$inter}]
 167             append o "\"$mulcols $mulrows 9 1\",\n"
 168             for {set x 0} {$x<$cols} {incr x} { set wordmap($x) 0 }
 169         } elseif {$y==-2} { # first pixel
 170             append o \
 171 "\"+ c #111\",
 172 \"a c #800\",
 173 \"A c #fcc\",
 174 \"b c #00c\",
 175 \"B c #fff\",
 176 \"u c #000\",
 177 \"U c #ff0\",
 178 \"q c #000\",
 179 \"Q c #ff0\",\n"
 180         } elseif {$y==-1} { # 2nd pixel but we've already printed ours
 181         } else {
 182             set ybit [expr {1<<$y}]
 183             set x 0
 184             set ol "\"+"
 185             set olh $ol
 186             if {$chop_r>=0} {
 187                 set l [string range $l $chop_l end-$chop_r]
 188             } else {
 189                 set l [string range $l $chop_l end]
 190                 append l [string repeat " " [expr -$chop_r]]
 191             }
 192             foreach c [split $l ""] {
 193                 set how "u"
 194                 if {$x >= $unk_l && $x <= $unk_r} {
 195                     set how q
 196                 } else {
 197                     set ab 0
 198                     foreach {min max contexts got} $glyphsdone {
 199                         set rhsmost_max $max
 200                         if {$x >= $min && $x <= $max} {
 201                             set how [lindex {a b} $ab]
 202                             break
 203                         }
 204                         set ab [expr {!$ab}]
 205                     }
 206                 }
 207                 switch -exact $c {
 208                     " " { set p $how }
 209                     "o" {
 210                         set p [string toupper $how]
 211                         incr wordmap($x) $ybit
 212                     }
 213                     default { error "$c ?" }
 214                 }
 215                 append ol "[string repeat $p [expr {$mul-$inter}]][
 216                          string repeat + $inter]"
 217                 append olh [string repeat + $mul]
 218                 incr x
 219             }
 220             set ole "\",\n"
 221             append ol $ole
 222             append olh $ole
 223             set olhn [string repeat $olh $inter]
 224             if {!$y} { append o $olhn }
 225             append o [string repeat $ol [expr {$mul-1}]]
 226             append o $olhn
 227         }
 228         incr y
 229     }
 230     set data [exec xpmtoppm << $o]
 231     image create photo image/main -data $data
 232 }
 233
 234
 235 #---------- per-invocation display ----------
 236
 237 proc draw_glyphsdone {} {
 238     global glyphsdone mul inter
 239     eval destroy [winfo children .d.got]
 240     foreach {min max contexts got} $glyphsdone {
 241         frame .d.got.m$min -bd 0 -background \#888
 242         label .d.got.m$min.l -text "$got" -fg white -bg black -bd 0
 243         pack .d.got.m$min.l -padx 1 -pady 1
 244         place .d.got.m$min -x [expr {$min*$mul+$inter}] -y 0
 245     }
 246 }
 247
 248 proc startup_cursor {} {
 249     global cur_already cur_mode cur_0 cur_1 last_ht
 250     global glyphsdone unk_l unk_r
 251
 252     set cur_already [expr {[llength $glyphsdone]/4-1}]
 253     set cur_mode 1 ;# one of:   0 1 already text
 254
 255     set cur_0 $unk_l
 256     set cur_1 [expr {$unk_r+1}]
 257     set last_ht {}
 258
 259     recursor
 260 }
 261
 262
 263 #---------- runtime display and keystroke handling ----------
 264
 265 proc helptext {t} {
 266     global last_ht
 267     if {![string compare $t $last_ht]} return
 268     eval destroy [grid slaves .help]
 269     set y 0; foreach l $t {
 270         set x 0; foreach c $l {
 271             set w .help.at${x}x${y}
 272             label $w -text $c
 273             grid $w -row $y -column $x -padx 5
 274             incr x
 275         }
 276         incr y
 277     }
 278     set last_ht $t
 279 }
 280
 281 proc recursor/0 {} { recursor//01 0 }
 282 proc recursor/1 {} { recursor//01 1 }
 283 proc recursor//01 {z1} {
 284     global mul rhsmost_max cols glyphsdone
 285     upvar #0 cur_$z1 cur
 286     .d.csr.csr.l configure -text {adjust}
 287     place .d.csr.csr -x [expr {$cur*$mul - 7}]
 288     bind_key space { othercursor }
 289     bind_leftright_q cur_$z1 0 [expr {$cols-1}]
 290     if {[llength $glyphsdone]} {
 291         bind_key Tab { set cur_mode already; recursor }
 292     } else {
 293         bind_key Tab {}
 294     }
 295     bind_key Return {
 296         if {$cur_0 != $cur_1} {
 297             .d.csr.csr.e delete 0 end
 298             set cur_mode text
 299             recursor
 300         }
 301     }
 302     helptext {
 303         {{<- ->}   {move cursor, adjusting area to define}}
 304         {Space     {switch to moving other cursor}}
 305         {Return    {confirm location, enter letter(s)}}
 306         {Tab       {switch to correcting earlier ocr}}
 307         {Q         {quit and abandon OCR run}}
 308     }
 309 }
 310 proc othercursor {} {
 311     global cur_mode
 312     set cur_mode [expr {!$cur_mode}]
 313     recursor
 314 }
 315
 316 proc recursor/text {} {
 317     helptext {
 318         {Return   {confirm entry of new glyph}}
 319         {Escape   {abandon entry}}
 320     }
 321     unbind_all_keys
 322     .d.csr.csr.l configure -text {define:}
 323     pack .d.csr.csr.e -side left
 324     focus .d.csr.csr.e
 325     bind_key Return {
 326         set strq [.d.csr.csr.e get]
 327         if {[regexp {^(?:[!-[]|[]-~]|\\\\|\\x[0-9a-f]{2})+} $strq]} {
 328             RETURN_RESULT DEFINE "$cur_0 $cur_1 $strq"
 329         }
 330     }
 331     bind_key Escape {
 332         bind_key Escape {}
 333         pack forget .d.csr.csr.e
 334         set cur_mode 1
 335         recursor
 336     }
 337 }
 338
 339 proc recursor/already {} {
 340     global mul
 341     global glyphsdone
 342     global cur_already mul
 343     global glyphsdone cur_already mul
 344     .d.csr.csr.l configure -text {correct}
 345     set rmax [lindex $glyphsdone [expr {$cur_already*4}]]
 346     place .d.csr.csr -x [expr {$rmax*$mul-3}]
 347     bind_key Return {}
 348     bind_key space {}
 349     bind_leftright_q cur_already 0 [expr {[llength $glyphsdone]/4-1}]
 350     bind_key Tab { bind_key Delete {}; set cur_mode 1; recursor }
 351     bind_key Delete {
 352         RETURN_RESULT DELETE [lrange $glyphsdone \
 353                                   [expr $cur_already*4] \
 354                                   [expr $cur_already*4+2]]
 355     }
 356     helptext {
 357         {{<- ->}   {move cursor, selecting glyph to correct}}
 358         {Del       {clear this glyph from the recognition database}}
 359         {Tab       {switch to selecting area to define as new glyph}}
 360         {Q         {quit and abandon OCR run}}
 361     }
 362 }
 363
 364 proc bind_key {k proc} {
 365     global keybindings
 366     bind . <Key-$k> $proc
 367     set keybindings($k) [expr {!![string length $proc]}]
 368 }
 369 proc unbind_all_keys {} {
 370     global keybindings
 371     foreach k [array names keybindings] { bind_key $k {} }
 372 }
 373
 374 proc bind_leftright_q {var min max} {
 375     bind_key Left  [list leftright $var $min $max -1]
 376     bind_key Right [list leftright $var $min $max +1]
 377     bind_key q     {
 378         puts stderr "\nCharacter resolver quitting as you requested."
 379         exit 1
 380     }
 381 }
 382 proc leftright {var min max inc} {
 383     upvar #0 $var v
 384     set vnew $v
 385     incr vnew $inc
 386     if {$vnew < $min || $vnew > $max} return
 387     set v $vnew
 388     recursor
 389 }
 390
 391 proc recursor {} {
 392     global csrh cur_mode cur_0 cur_1 mul
 393     foreach z1 {0 1} {
 394         place .d.mi.csr_$z1 -y 0 -x [expr {[set cur_$z1] * $mul}]
 395     }
 396     recursor/$cur_mode
 397 }
 398
 399
 400 #---------- database read and write ----------
 401
 402 # database format:
 403 # series of glyphs:
 404 #   <context> <ncharacters> <hex>...
 405 #   width
 406 #   <hex-bitmap>
 407
 408 # $database($context 0x<bits> 0x<bits>...) = $hex
 409
 410 set database_header {# ypp-sc-tools pctb font v1}
 411
 412 proc db_getsl {f} {
 413     if {[gets $f l] < 0} { error "unexpected db eof" }
 414     return $l
 415 }
 416
 417 proc read_database {} {
 418     global database database_header rows database_fn
 419     catch { unset database }
 420     set database_fn ./charset-$rows.txt
 421     if {![file exists $database_fn]} return
 422     set f [open $database_fn r]
 423     if {[string compare [db_getsl $f] $database_header]} { error "$l ?" }
 424     if {([db_getsl $f])+0 != $rows} { error "wrong h ?" }
 425     while 1 {
 426         set context [db_getsl $f]
 427         if {![string length $context]} continue
 428         if {[regexp {^\#} $context]} continue
 429         if {![string compare . $context]} break
 430
 431         set bm $context
 432         set strq [db_getsl $f]
 433         while 1 {
 434             set l [db_getsl $f]
 435             if {![string length $l]} break
 436             lappend bm [format %x 0x$l]
 437         }
 438         set database($bm) $strq
 439     }
 440     close $f
 441 }
 442
 443 proc write_database {} {
 444     global database rows database_fn database_header
 445     set ol {}
 446     foreach bm [array names database] {
 447         set strq $database($bm)
 448         set o "[lindex $bm 0]\n$strq\n"
 449         foreach x [lrange $bm 1 end] { append o "$x\n" }
 450
 451         lappend ol $o
 452     }
 453     set f [open $database_fn.new w]
 454     puts $f "$database_header\n$rows\n"
 455     foreach o [lsort $ol] {
 456         puts $f $o
 457     }
 458     puts $f "."
 459     close $f
 460     file rename -force $database_fn.new $database_fn
 461 }
 462
 463 proc dbkey {ctx l r} {
 464     global wordmap
 465     set bm $ctx
 466     for {set x $l} {$x <= $r} {incr x} {
 467         lappend bm [format %x $wordmap($x)]
 468     }
 469     return $bm
 470 }
 471
 472 proc update_database/DEFINE {c0 c1 strq} {
 473     global glyphsdone unk_l unk_contexts wordmap database
 474     if {$c0 > $c1} { manyset [list $c0 $c1] c1 c0 }
 475     if {$c0 == $unk_l} {
 476         set ncontexts $unk_contexts
 477     } else {
 478         foreach {l r contexts got} $glyphsdone {
 479             if {$l==$c0} { set ncontexts $contexts; break }
 480         }
 481         if {![info exists ncontexts]} {
 482             puts stderr "must start at letter LHS!"
 483             return
 484         }
 485     }
 486     incr c1 -1
 487     foreach c $ncontexts {
 488         set bm [dbkey $c $c0 $c1]
 489         set database($bm) $strq
 490     }
 491     write_database
 492 }
 493
 494 proc update_database/DELETE {l r ctxs} {
 495     global database
 496     foreach ctx $ctxs {
 497         set bm [dbkey $ctx $l $r]
 498         catch { unset database($bm) }
 499     }
 500     write_database
 501 }
 502
 503
 504 proc RETURN_RESULT {how what} {
 505     global mainkind
 506     place forget .d.csr.csr
 507     pack forget .d.csr.csr.e
 508     helptext {{{ Processing }}}
 509     unbind_all_keys
 510     update idletasks
 511     debug "$how $what"
 512     eval update_database/$how $what
 513     done/$mainkind
 514 }
 515
 516 #---------- main progrm ----------
 517
 518 proc main/default {} {
 519     puts stderr "Do not run this program directly."
 520     exit 12
 521
 522     global glyphsdone unk_l unk_r unk_contexts
 523
 524     set glyphsdone {
 525         7 11 1 M
 526         13 17 0 a
 527         19 23 0 n
 528     }
 529     set unk_l 25
 530     set unk_r 29
 531     set unk_contexts Test
 532
 533     set f [open text.xpm]
 534     read_xpm $f
 535     close $f
 536
 537     read_database
 538     resize_widgets
 539     draw_glyphsdone
 540     startup_cursor
 541 }
 542 proc done/default {} {
 543 }
 544
 545 proc required {} {
 546     global glyphsdone unk_l unk_r unk_contexts
 547
 548     if {[gets stdin l]<0} {
 549         if {[eof stdin]} { fconfigure stdin -blocking yes; exit 0 }
 550         return
 551     }
 552     init_widgets
 553     manyset [lrange $l 0 3] unk_l unk_r unk_contexts
 554     set glyphsdone [lrange $l 3 end]
 555     debug "GOT $l"
 556
 557     fileevent stdin readable {}
 558     fconfigure stdin -blocking yes
 559
 560     read_xpm stdin
 561     resize_widgets
 562     read_database
 563     draw_glyphsdone
 564     startup_cursor
 565 }
 566
 567 proc main/automatic {} {
 568     fconfigure stdin -blocking no
 569     fileevent stdin readable required
 570 }
 571 proc done/automatic {} {
 572     exec sh -c {printf \\0 >&4}
 573     main/automatic
 574 }
 575
 576 proc debug {m} { }
 577
 578 set mainkind default
 579 foreach arg $argv {
 580     switch -exact -- $arg {
 581         {--debug}        { proc debug {m} { puts stderr "SHOW-THING $m" } }
 582         {--noop-arg}     { }
 583         {--automatic-1}  { set mainkind automatic }
 584         {--automatic*}   { error "incompatible versions - install problem" }
 585         default          { error "huh $argv ?" }
 586     }
 587 }
 588
 589 main/$mainkind