chiark / gitweb /
WIP commod-update-receiver testing - seems to work
[ypp-sc-tools.web-live.git] / pctb / dictionary-update-receiver
index 9132c4e9d22036ab35a249ffbe8e54d388666662..d088236b7429f2cb080b22624aa4949212ae7628 100755 (executable)
@@ -1,36 +1,54 @@
 #!/usr/bin/perl -w
 #
-# This script is invoked when the YPP SC PCTB client phones home to
-# provide updated character set OCR data or updated screenshot pixmap
-# interpretation (island name) data.
+# This script is invoked when the YPP SC PCTB client talks to the
+# dictionary server.  See README.privacy.
+
+# This is part of ypp-sc-tools, a set of third-party tools for assisting
+# players of Yohoho Puzzle Pirates.
+#
+# Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
+#
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+#
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
 #
-# The client will also phone home anyway to fetch the latest parsedb
-# before 
+# You should have received a copy of the GNU General Public License
+# along with this program.  If not, see <http://www.gnu.org/licenses/>.
 #
-# This allows me (the operator of the SC server) to:
-#    - review the choices made by the user
-#    - if they are correct, incorporate them in the next client version
-#    - if they are wrong, incorporate fixes of them, or contradictions of them,
-#      in
+# Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
+# are used without permission.  This program is not endorsed or
+# sponsored by Three Rings.
 
-# The information reported 
-# The SC PCTB client does this so that 
+
+# upload testing runes:
+#
+# YPPSC_PCTB_DICT_UPDATE=./ YPPSC_PCTB_DICT_SUBMIT=./ ./ypp-commodities --ocean midnight --pirate aristarchus --find-island --same --raw-tsv >raw.tsv  
+# ./dictionary-manager --debug --approve-updates '' . .
 
 use strict (qw(vars));
+use POSIX;
 
-$CGI::POST_MAX= 65536;
+$CGI::POST_MAX= 1024*1024;
 $CGI::DISABLE_UPLOADS= 1;
 
 use CGI qw/:standard -private_tempfiles/;
 use IO::Pipe;
 use IO::Handle;
 
+my $aadepth=2;
+
 #---------- pixmaps ----------
 
 sub parseentryin__pixmap ($) {
     my ($entry_in) = @_;
     $entry_in =~
-       m/^(\w+ \- \w[-+'"#! 0-9a-z]*)\nP3\n([1-9]\d{1,3}) ([1-9]\d{1,3})\n255\n/s or die; # ']);
+       m/^(\S+ \- .*)\nP3\n([1-9]\d{1,3}) ([1-9]\d{1,3})\n255\n/s or die;
     my ($def,$w,$h)= ($1, $2+0, $3+0);
     my @d= grep { m/./ } split /\s+/, $';
     @d == $w*$h*3 or die "$d[0]|$d[1]|...|$d[$#d-1]|$d[$#d] ?";
@@ -60,52 +78,62 @@ sub parseentryin__pixmap ($) {
 
     my $whole= pipeval($ppm,
                       'ppmtopgm',
-                      'pnmnorm -bpercent 40 -wpercent 20',
+                      'pnmnorm -bpercent 10 -wpercent 5',
                       'pgmtopbm -threshold',
                       'pnminvert',
                       'pbmtoascii');
-    
+
     my $entry= "$def\n$ppm";
-    return ('',$def,$entry,$icon,$w,$whole);
+
+    return ('',$def,$ppm,$ppm,$def, $w,$icon,$whole,$entry);
 }
 
 #---------- characters ----------
 
-sub parseentryin__char ($) {
-    my ($ei) = @_;
-    $ei =~ m/^([1-9]\d{0,2})\n(Digit|Upper|Lower)\n((?:[-&\'A-F0-9a-f ]|\x20)+)\n/s or die;
-    my ($h,$ctx,$str)= ($1+0,$2,$3);
-#print STDERR ">$'<\n";
+sub parseentryin__char ($$) {
+    my ($ei,$h) = @_;
+    $ei =~ m/^(Digit|Upper|Lower|Word)\n([^\n]+)\n/s or die;
+    my ($ctx,$str)= ($1,$2);
+print STDERR ">ctx=$ctx|str=$str|$'<\n";
     my @d= grep { m/./ } split /\n/, $';
-#print STDERR ">@d<\n";
-    die if $h>31;
+print STDERR ">@d<\n";
+    die if $h>100;
     die if @d>400;
-    my $maxval= (1<<$h)-1;
-    map {
-       m/^[0-9a-f]{1,8}$/ or die;
-       $_= hex $_;
-       die "$_ ?" if $_ > $maxval;
-    } @d;
+
     my $w= @d;
-    my $ppm= "P2\n$w $h\n1\n";
-    for (my $y=0; $y<$h; $y++) {
-       for (my $x=0; $x<$w; $x++) {
-           $ppm .= sprintf " %d", !!($d[$x] & (1<<$y));
-       }
-       $ppm .= "\n";
-    }
-    my $entry= sprintf "%d\n%s\n%s\n", $h,$ctx,$str;
-    map { $entry .= sprintf "%x\n", $_; } @d;
-    
-#print STDERR "[[[[\n$ppm\n]]]]";
 
-    my $icon= pipeval($ppm,
-#                    "pnmscale -xysize 78 $h",
+    my $maxval= (1<<$aadepth)-1;
+    die 'cannot do [^0...$maxval]!' if $maxval>9;
+
+    my $pgm= "P2\n$h $w\n$maxval\n";
+    map { # x, left to right
+       m/[^0-$maxval]/ and die "$_ ?";
+       my $l= $_;
+       $l =~ s/./ $&/g;
+       $pgm .= "$l\n";
+    } @d;
+
+    my $key= join ' ', $ctx, @d;
+
+    $pgm= pipeval($pgm,
+                 "pnmflip -xy",
+                 "pnmnoraw");
+
+    my $icon= pipeval($pgm,
+                     "pnmscale -xysize 156 ".($h*4),
                      'pgmtopbm -threshold',
                      'pnminvert',
-                     'pbmtoascii');
+                     'pbmtoascii -2x4');
 
-    return ("$ctx",$str,$entry, '',$w,$icon);
+    my $whole= pipeval($pgm,
+                      "pnmscale 4",
+                      'pgmtopbm -fs',
+                      'pnminvert',
+                      'pbmtoascii');
+
+    my $entry= "$ctx\n$str\n$key\n";
+    
+    return ($ctx,$str,$pgm,$key,$str, $w*4,$icon,$whole,$entry);
 }
 
 #---------- useful stuff ----------
@@ -151,39 +179,92 @@ sub pipeval ($@) {
     return $val;
 }
 
-#---------- main program ----------
+#========== main program ==========
+
+#---------- determine properties of the submission ----------
 
-my $path= path_info();
+my $version= param('version');
+my $spec_aadepth= param('depth');
+if ($version ne '3'  ||  $spec_aadepth ne $aadepth) {
+    print header('text/plain',
+                "403 YPP SC PCTB client is out of date".
+                " ($version, $spec_aadepth)");
+    print "\nYour YPP SC client is out of date.\n";
+    exit 0;
+}
+
+my $dict= param('dict');
 my $entry_in= param('entry');
-defined $entry_in or die;
+defined $entry_in or die Dump()." ?";
+
+my $ocean= param('ocean');
+my $pirate= param('pirate');
+if (defined $ocean && defined $pirate) {
+    $pirate= "$ocean - $pirate";
+} else {
+    $pirate= '';
+}
+
+my $caller= $ENV{'REMOTE_ADDR'};
+$caller= 'LOCAL' unless defined $caller;
 
-my $owner= `whoami`; $? and die $?;
-chomp $owner;
+my $fwdf= $ENV{'HTTP_X_FORWARDED_FOR'};
+if (defined $fwdf) {
+    $fwdf =~ s/\s//g;
+    $fwdf =~ s/[^0-9.,]/?/g;
+    $caller= "$fwdf,$pirate";
+}
 
 my $kind;
+my @xa;
 
-if ($path =~ /(pixmap|char)/) {
-    $kind=$1;
+if ($dict =~ m/^pixmap$/) {
+    $kind= $&;
+} elsif ($dict =~ m/^(char)([1-9]\d?)$/) {
+    ($kind,@xa)= ($1,$2);
 } else {
-    die "$path ?";
+    die "$dict ?";
 }
+$dict= $&;
+
+my ($ctx,$def,$image,$key,$val, $width,$icon,$whole,$entry)=
+    &{"parseentryin__$kind"}($entry_in, @xa);
 
-my ($ctx,$def,$entry,$icon,$width,$whole)= &{"parseentryin__$kind"}($entry_in);
+my $du=$ENV{'YPPSC_DICTUPDATES'};
+chdir $du or die "$du $!"
+    if defined $du;
 
-$icon =~ s/^/ /mg;
+my $instance= $du;
+$instance =~ s,ypp-sc-tools,,ig;
+$instance =~ s,ypp,,ig;
+$instance =~ s,pctb,,ig;
+$instance =~ s,/\W+/,/,g;
+$instance =~ s,/+$,,;
+$instance =~ s,^.*/,,;
+
+#---------- compute the email to send ----------
+
+my $whoami= `whoami`; $? and die $?;
+chomp $whoami;
 
 my $email= <<END
-To: $owner
-Subject: yppsc dictionary update
+To: $whoami
+Subject: pctb /$instance/ $dict $ctx $def [ypp-sc-tools]
 
-Context:    $kind $ctx
+Pirate:     $pirate
+Caller:     $caller
+Dictionary: $dict
+Context:    $ctx
 Definition: $def
 
-$icon
-
 END
     ;
 
+if (length $icon) {
+    $icon =~ s/^/ /gm;
+    $email .= "$icon\n\n";
+}
+
 $whole =~ s/(.*)\n/ sprintf "%-${width}s\n", $1 /mge;
 $whole =~ s/^/|/mg;
 $whole =~ s/\n/|\n/mg;
@@ -206,4 +287,48 @@ END
 my $cutline= "-8<-\n";
 $email .= $cutline.$entry.$cutline;
 
-print $email or die $!;
+#---------- prepare the database entry ----------
+
+my $fn_t= "_update.$$-xxxxxxxxxxxxxxxx.tmp";
+open F, "> $fn_t" or die "$fn_t $!";
+(stat F) or die $!;
+my $fn_i= sprintf "_update.$$-%016x.rdy", (stat _)[1];
+
+print F "ypp-sc-tools dictionary update v3 depth=$aadepth\n";
+
+foreach my $v ($pirate,$caller,$dict,$ctx,$def,$image,$key,$val) {
+    printf F "%d\n", length($v) or die $!;
+    print F $v,"\n" or die $!;
+}
+
+close F or die $!;
+
+my @tm= localtime;
+my $tm= strftime "%Y-%m-%d %H:%M:%S %Z", @tm;
+
+open L, ">> _dict.log" or die $!;
+my $ll= sprintf "%s %-6s %-31s %-31s %s", $tm, $dict, $pirate, $caller, $fn_i;
+
+#---------- commit everything ----------
+
+print L "$ll submit\n" or die $!;
+L->flush or die $!;
+
+if (eval {
+
+    open S, "|/usr/lib/sendmail -odb -oee -oi -t" or die $!;
+    print S $email or die $!;
+    $!=0; $?=0; close S or die $!; $? and die $?;
+
+    rename $fn_t, $fn_i or die "$fn_t $fn_i $!";
+
+    1;
+}) {
+    print L "$ll stored\n" or die $!;
+} else {
+    print L "$ll ERROR! $@\n" or die $!;
+    exit 1;
+}
+close L or die $!;
+
+print header('text/plain'), "OK $fn_i\n" or die $!;