chiark / gitweb /
WIP trade plan
[ypp-sc-tools.db-live.git] / yarrg / structure.c
1 /*
2  * Parsing of the structure of the YPP client's displayed image
3  */
4 /*
5  *  This is part of ypp-sc-tools, a set of third-party tools for assisting
6  *  players of Yohoho Puzzle Pirates.
7  * 
8  *  Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
9  * 
10  *  This program is free software: you can redistribute it and/or modify
11  *  it under the terms of the GNU General Public License as published by
12  *  the Free Software Foundation, either version 3 of the License, or
13  *  (at your option) any later version.
14  * 
15  *  This program is distributed in the hope that it will be useful,
16  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  *  GNU General Public License for more details.
19  * 
20  *  You should have received a copy of the GNU General Public License
21  *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
22  * 
23  *  Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
24  *  are used without permission.  This program is not endorsed or
25  *  sponsored by Three Rings.
26  */
27
28 #include "structure.h"
29
30 DEBUG_DEFINE_DEBUGF(struct)
31
32 #define START_MAIN {200,200}
33 #define MIN_COLUMNS         6
34 #define INTERESTING_COLUMNS 7
35 #define TEXT_COLUMNS        2
36 #define MAX_COLUMNS         7
37
38 struct PageStruct {
39   Rect mr;
40   int commbasey, comminty;
41   int colrightx[INTERESTING_COLUMNS];
42 };
43
44 const CanonImage *page_images[MAX_PAGES];
45 static PageStruct page_structs[MAX_PAGES];
46 const RgbImage *page0_rgbimage;
47 int npages;
48
49 static int text_h=-1, columns=-1;
50
51 static OcrReader *rd;
52
53 static const CanonImage *cim;
54 static PageStruct s;
55
56 char *archipelago, *island;
57
58 #define OTHERCOORD_x y
59 #define OTHERCOORD_y x
60
61
62 void select_page(int page) {
63   cim= page_images[page];
64   s= page_structs[page];
65   assert(cim);
66 }
67
68
69 typedef struct {
70   Rgb rgbx; /* on screen, REVERSED BYTES ie r||g||b */
71   char c; /* canonical */
72 } CanonColourInfo;
73
74 const CanonColourInfo canoncolourinfo_table[]= {
75   { 0x475A5E, '*' }, /* edge */
76   { 0x2C5F7A, '*' }, /* edge just under box heading shadow */
77   { 0xC5C7AE, '*' }, /* blank area of partial commodities list */
78   { 0x6B828C, '*' }, /* background of ship status meter area */
79   { 0x934405, '*' }, /* border of ship meter area */
80   { 0x7D9094, '+' }, /* interbox */
81   { 0x022158, 'O' }, /* ahoy /w output foreground */
82   { 0xB5B686, 'H' }, /* ahoy /w output heading background */
83
84   { 0xBDC5BF, ' ' }, /* background - pale  Sugar cane, etc. */
85   { 0xADB5AF, ' ' }, /* background - dark                   */
86   { 0xC7E1C3, ' ' }, /* background - pale  Swill, etc.      */
87   { 0xB5CFB1, ' ' }, /* background - dark                   */
88   { 0xD6CEB0, ' ' }, /* background - pale  Madder, etc.     */
89   { 0xC8C0A2, ' ' }, /* background - dark                   */
90   { 0xE0E1D3, ' ' }, /* background - pale  Lorandite, etc.  */
91   { 0xD0D1C3, ' ' }, /* background - dark                   */
92   { 0xE5E6C1, ' ' }, /* background - pale  Cloth            */
93   { 0xD7D8B3, ' ' }, /* background - dark                   */
94   { 0xEDDED9, ' ' }, /* background - pale  Dye              */
95   { 0xDACBC6, ' ' }, /* background - dark                   */
96   { 0xD3DEDF, ' ' }, /* background - pale  Paint            */
97   { 0xC5D0D1, ' ' }, /* background - dark                   */
98   { 0xDCD1CF, ' ' }, /* background - pale  Enamel           */
99   { 0xCEC3C1, ' ' }, /* background - dark                   */
100   { 0xF3F6F5, ' ' }, /* background - pale  fruit            */
101   { 0xE2E7E5, ' ' }, /* background - dark                   */
102
103   { 0x000000, 'o' }, /* foreground */
104   { 0xD4B356, ' ' }, /* background (cursor) */
105   { 0xFFFFFF, 'o' }, /* foreground (cursor) */
106
107   { 0x5B93BF, '_' }, /* selector dropdown background */
108   { 0xD7C94F, 'X' }, /* selector dropdown foreground */
109   { 0,0 }
110 };
111
112 CanonColourInfoReds canoncolourinfo_tree;
113
114 void canon_colour_prepare(void) {
115   const CanonColourInfo *cci;
116   for (cci=canoncolourinfo_table; cci->c; cci++) {
117     unsigned char r= cci->rgbx >> 16;
118     unsigned char g= cci->rgbx >>  8;
119     unsigned char b= cci->rgbx;
120
121     CanonColourInfoGreens *greens= canoncolourinfo_tree.red2[r];
122     if (!greens) {
123       greens= canoncolourinfo_tree.red2[r]= mmalloc(sizeof(*greens));
124       FILLZERO(*greens);
125     }
126
127     CanonColourInfoBlues *blues= greens->green2[g];
128     if (!blues) {
129       blues= greens->green2[g]= mmalloc(sizeof(*blues));
130       memset(blues, '?', sizeof(*blues));
131     }
132
133     blues->blue2[b]= cci->c;
134   }
135 }
136
137 static inline char get(int x, int y) { return cim->d[y * cim->w + x]; }
138 static inline char get_p(Point p) { return get(p.x,p.y); }
139
140
141 static void mustfail1(const char *file, int line, const char *what) {
142   fprintf(stderr,
143  "\n\n"
144  "Unable to figure out contents of YPP client display.\n"
145  "Please check the following:\n"
146  "   * YPP client is showing commodity listing screen\n"
147  "   * YPP client window is on top (we try to raise it but your window\n"
148  "      manager might have prevented that from succeeding)\n"
149  "\n"
150  "If all of these are true, please report this as a fault.\n\n"
151           "Technical details:"
152           " %s:%d: requirement failed:\n"
153           " %s\n",
154           file, line, what);
155 }
156 static void mustfail2(void) NORET;
157 static void mustfail2(void) {
158   fprintf(stderr, "\n\nGiving up.\n");
159   exit(8);
160 }
161
162 #define MUST(x, ifnot) do{                      \
163     if (__builtin_expect(!(x), 0)) {            \
164       mustfail1(__FILE__,__LINE__,#x);          \
165       ifnot;                                    \
166       mustfail2();                              \
167     }                                           \
168   }while(0)
169
170 #define MP(v) fprintf(stderr," %s=%d,%d",#v,(v).x,(v).y)
171 #define MI(v) fprintf(stderr," %s=%d",   #v,(v))
172 #define MIL(v) fprintf(stderr," %s=%ld", #v,(v))
173 #define MRGB(v) fprintf(stderr," %s=%06"PRIx32, #v,(v))
174 #define MC(v) fprintf(stderr," %s='%c'", #v,(v))
175 #define MS(v) fprintf(stderr," %s=\"%s\"", #v,(v))
176 #define MF(v) fprintf(stderr," %s=%f", #v,(v))
177 #define MSB(v) fprintf(stderr," %s", (v))
178 #define MR(v) fprintf(stderr," %s=%d,%d..%d,%d",\
179                       #v,(v).tl.x,(v).tl.y,(v).br.x,(v).br.y)
180
181
182 #define REQUIRE_RECTANGLE(tlx,tly,brx,bry,ok) \
183  require_rectangle(tlx, tly, brx, bry, ok, __LINE__);
184
185 #define FOR_P_RECT(p,rr)                                \
186   for ((p).x=(rr).tl.x; (p).x<=(rr).br.x; (p).x++)      \
187     for ((p).y=(rr).tl.y; (p).y<=(rr).br.y; (p).y++)
188
189 static void require_rectangle_r(Rect rr, const char *ok, int lineno) {
190   Point p;
191   FOR_P_RECT(p,rr) {
192     int c= get_p(p);
193     MUST( strchr(ok,c), ({
194       MI(lineno),MR(rr);MP(p);MS(ok);
195     }));
196   }
197 }
198 static void require_rectangle(int tlx, int tly, int brx, int bry,
199                               const char *ok, int lineno) {
200   Rect rr= {{tlx,tly},{brx,bry}};
201   require_rectangle_r(rr, ok, lineno);
202 }
203
204 static void debug_rect(const char *what, int whati, Rect rr) {
205   if (!DEBUGP(rect)) return;
206   int y,w;
207   fprintf(debug, "%s %d: %d,%d..%d,%d:\n", what, whati,
208           rr.tl.x,rr.tl.y, rr.br.x,rr.br.y);
209   w= rr.br.x - rr.tl.x + 1;
210   for (y=rr.tl.y; y<=rr.br.y; y++) {
211     fprintf(debug, "%4d%*s|", y, rr.tl.x,"");
212     fwrite(cim->d + y*cim->w + rr.tl.x, 1, w, debug);
213     fputc('|',debug);
214     fputc('\n',debug);
215   }
216   debug_flush();
217 }
218
219 static int commod_selector_matches(Rect search, const char *const *all,
220                                    int allh, int allw) {
221   int alloffy, alloffx;
222   for (alloffy=0; alloffy < search.br.y; alloffy++) {
223     if (alloffy+allh-1 < search.tl.y) continue;
224     for (alloffx=search.tl.x; alloffx+allw-1 <= search.br.x; alloffx++) {
225       int good=0, bad=0;
226       int x,y;
227       for (x=0; x<allw; x++)
228         for (y=0; y<allh; y++) {
229           int want= all[y][x];
230           if (want==' ') continue;
231           if (get(alloffx+x, alloffy+y) == want)
232             good++;
233           else
234             bad++;
235         }
236       debugf("CHECKCOMMOD alloff=%d,%d good=%d bad=%d\n",
237              alloffx,alloffy, good,bad);
238       if (good > 20*bad)
239         return 1;
240     }
241   }
242   return 0;
243 }
244
245 #define WALK_UNTIL(point,coord,increm,last,edge)                        \
246   for (;;) {                                                            \
247     if ((point).coord == (last)+(increm)) break;                        \
248     if (get_p((point)) == (edge)) { (point).coord -= (increm); break; } \
249     (point).coord += (increm);                                          \
250   }
251
252 #define WALK_UNTIL_MUST(point,coord,increm,last,edge)   \
253   do {                                                  \
254     WALK_UNTIL(point,coord,increm,last,edge);           \
255     MUST( (point).coord != (last)+(increm),             \
256           MP(point); MI(increm); MI(last); MC(edge);    \
257           );                                            \
258   }while(0)
259
260 #define ADJUST_BOX(search,insidechrs,OP,want, lim,LIMIT_MUST, TLBR,XY,increm) \
261   for (;;) {                                                                  \
262     LIMIT_MUST( (search).tl.XY != (search).br.XY &&                           \
263                 (search).TLBR.XY != (lim),                                    \
264                 MR((search));MSB(#TLBR);MSB(#XY) );                           \
265     int got=0;                                                                \
266     Point p=(search).tl;                                                      \
267     for (p.XY=(search).TLBR.XY;                                               \
268          p.OTHERCOORD_##XY <= (search).br.OTHERCOORD_##XY;                    \
269          p.OTHERCOORD_##XY++)                                                 \
270       got += !!strchr(insidechrs, get_p(p));                                  \
271     if ((got) OP (want))                                                      \
272       break;                                                                  \
273     (search).TLBR.XY += increm;                                               \
274   }
275
276 void find_structure(const CanonImage *im,
277                     PageStruct **pagestruct_r,
278                     int *max_relevant_y_r,
279                     Point *commod_focus_point_r,
280                     Point *commod_page_point_r,
281                     Point *commod_focuslast_point_r) {
282   cim= im;
283
284   FILLZERO(s);
285   Rect whole = { {0,0}, {cim->w-1,cim->h-1} };
286
287   if (DEBUGP(rect)) {
288     int xscaleunit, y,x;
289     for (y=0, xscaleunit=1; y<4; y++, xscaleunit*=10) {
290       fprintf(debug,"     ");
291       for (x=0; x<=cim->w; x++) {
292         if (x % xscaleunit) fputc(' ',debug);
293         else fprintf(debug,"%d",(x / xscaleunit)%10);
294       }
295       fputc('\n',debug);
296     }
297   }
298
299   Point mainr_tl= START_MAIN;
300   s.mr.tl= mainr_tl;
301   WALK_UNTIL_MUST(s.mr.tl, y,-1, whole.tl.y, ' ');
302   s.mr.br= s.mr.tl;
303
304   WALK_UNTIL_MUST(s.mr.tl, x,-1, whole.tl.x, '*');
305   WALK_UNTIL_MUST(s.mr.tl, y,-1, whole.tl.y, '*');
306   WALK_UNTIL_MUST(s.mr.br, x,+1, whole.br.x, '*');
307   WALK_UNTIL_MUST(s.mr.br, y,+1, whole.br.y, '*');
308
309   REQUIRE_RECTANGLE(s.mr.tl.x-1, s.mr.tl.y, s.mr.tl.x-1, s.mr.br.y, "*");
310   REQUIRE_RECTANGLE(s.mr.br.x+1, s.mr.tl.y, s.mr.br.x+1, s.mr.br.y, "*");
311   REQUIRE_RECTANGLE(s.mr.tl.x, s.mr.tl.y-1, s.mr.br.x, s.mr.tl.y-1, "*");
312   REQUIRE_RECTANGLE(s.mr.tl.x, s.mr.br.y+1, s.mr.br.x, s.mr.br.y+1, "*");
313
314 #define CHECK_STRIP_BORDER(tlbr,xy,increm)              \
315   do {                                                  \
316     Point csb_p, csb_p2;                                \
317     Rect csb_r;                                         \
318     csb_p= s.mr.tl;                                     \
319     csb_p.x++; csb_p.y++;                               \
320     csb_p2= csb_p;                                      \
321     csb_p2.x++; csb_p2.y++;                             \
322     csb_p.xy= s.mr.tlbr.xy;                             \
323     csb_p2.xy= s.mr.tlbr.xy;                            \
324     if (get_p(csb_p)=='+' &&                            \
325         get_p(csb_p2)=='+') {                           \
326       csb_r= s.mr;                                      \
327       csb_r.tl.xy= csb_p.xy;                            \
328       csb_r.br.xy= csb_p.xy;                            \
329       require_rectangle_r(csb_r, "+", __LINE__);        \
330       s.mr.tlbr.xy += increm;                           \
331     }                                                   \
332   } while(0)
333
334   debug_rect("s.mr",0, s.mr);
335
336   CHECK_STRIP_BORDER(tl,x,+1);
337   CHECK_STRIP_BORDER(tl,y,+1);
338   CHECK_STRIP_BORDER(br,x,-1);
339   CHECK_STRIP_BORDER(br,y,-1);
340
341   debug_rect("s.mr",1, s.mr);
342
343   Rect updown= {START_MAIN,START_MAIN};
344   const int chkw= 100;
345   updown.br.x += chkw-1;
346   updown.br.y++;
347   debug_rect("updown",__LINE__,updown);
348
349   ADJUST_BOX(updown, "+", >=,chkw, s.mr.tl.y,   MUST, tl,y,-1);
350   debug_rect("updown",__LINE__,updown);
351   updown.br.y= updown.tl.y;
352   updown.tl.y= updown.tl.y-1;
353
354   ADJUST_BOX(updown, "+*",>=,chkw, s.mr.tl.y-1, MUST, tl,y,-1);
355   debug_rect("updown",__LINE__,updown);
356
357   s.commbasey= updown.tl.y + 1;
358   s.comminty= updown.br.y - updown.tl.y;
359
360   Rect across= {{ s.mr.tl.x - 1, s.commbasey                 },
361                 { s.mr.tl.x,     s.commbasey + s.comminty-2 }};
362   int colno=0;
363   for (;;) {
364
365 #define LIMIT_QUITEQ(cond,mp) { if (!(cond)) break; }
366     debug_rect("across",colno*1000000+__LINE__, across);
367     ADJUST_BOX(across, "+",>=,s.comminty-1,s.mr.br.x,LIMIT_QUITEQ,br,x,+1);
368     debug_rect("across",colno*1000000+__LINE__, across);
369
370     MUST( colno < MAX_COLUMNS,
371           MI(colno);MR(across);MR(s.mr);MI(s.commbasey); );
372     int colrx= across.br.x-1;
373     if (colrx >= s.mr.br.x) colrx= s.mr.br.x;
374     if (colno < INTERESTING_COLUMNS)
375       s.colrightx[colno]= colrx;
376       
377     colno++;
378     
379     if (across.br.x >= s.mr.br.x)
380       break;
381
382     REQUIRE_RECTANGLE(across.br.x,s.mr.tl.y, across.br.x,s.mr.br.y, "+");
383     across.br.x++;
384   }
385   MUST( colno >= MIN_COLUMNS, MI(colno);MR(s.mr);MR(across); );
386
387   const int pagerh= 6;
388   Rect pager= {{ s.mr.br.x,     s.mr.br.y - (pagerh-1) },
389                { s.mr.br.x + 1, s.mr.br.y              }};
390
391   debug_rect("pager",__LINE__,pager);
392   ADJUST_BOX(pager, "o",>=,pagerh-2, whole.br.x,MUST, br,x,+1);
393   debug_rect("pager",__LINE__,pager);
394
395   pager.tl.x= pager.br.x;
396   pager.br.x= pager.br.x + 1;
397   debug_rect("pager",__LINE__,pager);
398   ADJUST_BOX(pager, "o",>=,pagerh-2, whole.br.x,MUST, br,x,+1);
399   debug_rect("pager",__LINE__,pager);
400
401   ADJUST_BOX(pager, "o",>=,RECT_W(pager)-2, s.mr.tl.y,LIMIT_QUITEQ, tl,y,-1);
402   debug_rect("pager",__LINE__,pager);
403
404 #define SET_ONCE(var,val) do{                                           \
405     int v= (val);                                                       \
406     if ((var)==-1) (var)= v;                                            \
407     else MUST( (var) == v, MSB(#var);MI((var));MI(v);MR(s.mr); );       \
408   }while(0)
409
410   SET_ONCE(columns, colno);
411   SET_ONCE(text_h, s.comminty - 1);
412
413   if (pagestruct_r) {
414     *pagestruct_r= mmalloc(sizeof(s));
415     **pagestruct_r= s;
416   }
417   
418   if (max_relevant_y_r)
419     SET_ONCE(*max_relevant_y_r, s.mr.br.y + 10);
420
421   if (commod_focus_point_r) {
422     *commod_focus_point_r= s.mr.tl;
423     commod_focus_point_r->x += 10;
424     commod_focus_point_r->y += s.comminty/3;
425   }
426   if (commod_focuslast_point_r) {
427     *commod_focuslast_point_r= s.mr.br;
428     commod_focuslast_point_r->x -= 10;
429     commod_focuslast_point_r->y -= s.comminty/3;
430   }
431   if (commod_page_point_r) {
432     commod_page_point_r->x= (pager.tl.x + pager.br.x) / 2;
433     commod_page_point_r->y=  pager.tl.y - 1;
434   }
435
436   MUST( text_h <= OCR_MAX_H, MI(text_h) );
437 }                   
438
439 void check_correct_commodities(void) {
440   Rect search= { { 50,39 }, { 130,59 } };
441
442   ADJUST_BOX(search,"_",>=,10, cim->h, MUST, tl,y,+1);
443   ADJUST_BOX(search,"_",>=,10, 0,      MUST, br,y,-1);
444
445   debug_rect("commodselr",1, search);
446
447   static const char *all_small[]= {
448     "   ___________________________________   ",
449     "  ________X____X__X____________________  ",
450     " ________ X___ X_ X_____XXXXXXXXXXX_____ ",
451     "_________X_X__ X_ X______XXXXXXXXX_______",
452     "________ X X__ X_ X_______XXXXXXX________",
453     "________X_ _X_ X_ X________XXXXX_________",
454     "_______ X__ X_ X_ X_________XXX__________",
455     "_______XXXXXXX X_ X__________X___________",
456     " _____ X     X X_ X______________________",
457     "  ____X_____ _XX_ X______________________",
458     "   __ _______  __ ______________________ ",
459   };
460   static const char *all_big[]= {
461     "???_______________________________________???",
462     "??_________________________________________??",
463     "?_________X______X___X______________________?",
464     "_________?X_____?X__?X______XXXXXXXXXXX______",
465     "_________X_X____?X__?X_______XXXXXXXXX_______",
466     "________?X?X____?X__?X________XXXXXXX________",
467     "________X_?_X___?X__?X_________XXXXX_________",
468     "_______?X__?X___?X__?X__________XXX__________",
469     "_______?XXXXX___?X__?X___________X___________",
470     "_______X????_X__?X__?X_______________________",
471     "?_____?X____?X__?X__?X_______________________",
472     "??____X_____?_X_?X__?X_______________________",
473     "???__?_______?__?___?_______________________?",
474   };
475
476 #define COMMOD_SELECTOR_MATCHES(all)                            \
477   commod_selector_matches(search, all,                          \
478                           sizeof((all))/sizeof((all)[0]),       \
479                           strlen((all)[0]))
480
481   if (!(COMMOD_SELECTOR_MATCHES(all_small) ||
482         COMMOD_SELECTOR_MATCHES(all_big)))
483     fatal("Commodities selector not set to `All'.");
484 }
485
486 CanonImage *alloc_canon_image(int w, int h) {
487   CanonImage *im= mmalloc(sizeof(CanonImage) + w*h);
488   im->w= w;
489   im->h= h;
490   memset(im->d,'?',w*h);
491   return im;
492 }
493
494 static void file_read_image_ppm(FILE *f) {
495   struct pam inpam;
496   unsigned char rgb_buf[3];
497   CanonImage *im;
498   RgbImage *ri;
499   PageStruct *pstruct;
500
501   progress("page %d reading       ...",npages);
502
503   pnm_readpaminit(f, &inpam, sizeof(inpam));
504   if (!(inpam.maxval == 255 &&
505         inpam.bytes_per_sample == 1 &&
506         inpam.format == RPPM_FORMAT))
507     fatal("PNM screenshot(s) file must be 8bpp 1 byte-per-sample RGB raw");
508
509   CANONICALISE_IMAGE(im, inpam.width, inpam.height, ri, {
510     errno=0; int rr= fread_unlocked(&rgb_buf,1,3,f);
511     sysassert(rr==3);
512     if (rr!=3) fatal("PNM screenshot(s) file ends unexpectedly");
513
514     rgb= rgb_buf[0] | (rgb_buf[1] << 8) | (rgb_buf[2] << 16);
515   });
516
517   sysassert(!ferror(screenshot_file));
518
519   if (!(npages < MAX_PAGES))
520     fatal("Too many images in screenshots file; max is %d.\n", MAX_PAGES);
521
522   find_structure(im,&pstruct, 0,0,0,0);
523   store_current_page(im,pstruct,ri);
524   npages++;
525 }
526
527 void store_current_page(CanonImage *ci, PageStruct *pstruct, RgbImage *rgb) {
528   assert(ci==cim);
529   progress("page %d unantialiasing...",npages);
530   adjust_colours(ci, rgb);
531   progress("page %d storing       ...",npages);
532   if (!npages) page0_rgbimage= rgb;
533   else free(rgb);
534   page_images[npages]= cim;
535   page_structs[npages]= *pstruct;
536   free(pstruct);
537 }
538
539 void read_one_screenshot(void) {
540   progress("reading screenshot...");
541   file_read_image_ppm(screenshot_file);
542   progress_log("read screenshot.");
543 }
544
545 void read_screenshots(void) {
546   struct stat stab;
547   
548   sysassert(! fstat(fileno(screenshot_file), &stab) );
549   
550   for (;;) {
551     if (S_ISREG(stab.st_mode)) {
552       long pos= ftell(screenshot_file);
553       if (pos == stab.st_size) break;
554     } else {
555       int c= fgetc(screenshot_file);
556       if (c==EOF) break;
557       ungetc(c, screenshot_file);
558     }
559     file_read_image_ppm(screenshot_file);
560   }
561   sysassert(!ferror(screenshot_file));
562   progress_log("read %d screenshots.",npages);
563 }
564
565 #define FIXPT_SHIFT 15
566
567 typedef long Fixpt;
568 static inline Fixpt int2fixpt(int x) { return x<<FIXPT_SHIFT; }
569 static inline Fixpt dbl2fixpt(double x) { return x * int2fixpt(1); }
570 static inline double fixpt2dbl(Fixpt x) { return x / (1.0*int2fixpt(1)); }
571 static inline Fixpt fixpt_mul(Fixpt a, Fixpt b) {
572   return (a*b + dbl2fixpt(0.5)) / int2fixpt(1);
573 }
574 #define MFP(v) fprintf(stderr," %s=%lx=%f", #v,(v),fixpt2dbl((v)))
575
576 static Fixpt aa_bg_chan[3], aa_scale_chan[3], aa_alpha_mean_max;
577 static Rgb aa_background, aa_foreground;
578
579 static void find_aa_density_prep(Rgb bg, Rgb fg, int fg_extra) {
580   int i;
581   unsigned char fg_chan[3];
582
583   aa_background= bg;
584   aa_foreground= fg;
585   aa_alpha_mean_max= fg_extra ? int2fixpt(1)-1 : int2fixpt(1);
586
587   for (i=0; i<3; i++) {
588     aa_bg_chan[i]= int2fixpt( (aa_background >> (i*8)) & 0xff );
589     fg_chan[i]=                aa_foreground >> (i*8);
590
591     aa_scale_chan[i]= 1.0 / (int2fixpt(fg_chan[i]) + fg_extra - aa_bg_chan[i])
592       * dbl2fixpt(1) * dbl2fixpt(1);
593   }
594 }
595
596 static inline Fixpt find_aa_density(const RgbImage *ri, Point p) {
597   Rgb here= ri_rgb(ri, p.x, p.y);
598
599   if (here==aa_background) return 0;
600
601   Fixpt alpha[3], alpha_total=0;
602   int i;
603   for (i=0; i<3; i++) {
604     unsigned char here_chan= here >> (i*8);
605
606     Fixpt alpha_chan= fixpt_mul(int2fixpt(here_chan) - aa_bg_chan[i],
607                                 aa_scale_chan[i]);
608     alpha[i]= alpha_chan;
609     alpha_total += alpha_chan;
610   }
611
612   Fixpt one_third= dbl2fixpt(1/3.0);
613   Fixpt alpha_mean= fixpt_mul(alpha_total, one_third);
614   
615   Fixpt thresh= dbl2fixpt(1.5/AAMAXVAL);
616   Fixpt alpha_min= alpha_mean - thresh*2;
617   Fixpt alpha_max= alpha_mean + thresh*2;
618
619   for (i=0; i<3; i++)
620     MUST( alpha_min <= alpha[i] && alpha[i] <= alpha_max,
621           MP(p);
622           MRGB(here);MRGB(aa_background);MRGB(aa_foreground);
623           MFP(aa_alpha_mean_max);MFP(thresh);MFP(alpha_mean);
624           MFP(alpha_min);MI(i);MFP(alpha[i]);MFP(alpha_max) );
625
626   MUST( -thresh <= alpha_mean && alpha_mean <= aa_alpha_mean_max + thresh,
627         MP(p);
628         MRGB(here);MRGB(aa_background);MRGB(aa_foreground);
629         MFP(aa_alpha_mean_max);MFP(thresh);
630         MFP(alpha_mean); MFP(alpha[0]);MFP(alpha[1]);MFP(alpha[2]); );
631
632   if (alpha_mean < 0)                 alpha_mean= 0;
633   if (alpha_mean > aa_alpha_mean_max) alpha_mean= aa_alpha_mean_max;
634
635   return alpha_mean;
636 }
637
638 static void find_commodity(int offset, Rect *rr) {
639   /* rr->tl.x==-1 if offset out of range */
640   rr->tl.y= s.commbasey - offset*s.comminty;
641   rr->br.y= rr->tl.y + s.comminty-2;
642   if (rr->tl.y < s.mr.tl.y || rr->br.y > s.mr.br.y) { rr->tl.x=-1; return; }
643   
644   rr->tl.x= s.mr.tl.x;
645   rr->br.x= s.mr.br.x;
646
647   if (rr->tl.y > s.mr.tl.y)
648     REQUIRE_RECTANGLE(rr->tl.x,rr->tl.y-1, rr->br.x,rr->tl.y-1, "+");
649   if (rr->br.y < s.mr.tl.y)
650     REQUIRE_RECTANGLE(rr->tl.x,rr->br.y+1, rr->br.x,rr->br.y+1, "+");
651 }
652
653 static void compute_table_location(Rect commod, int colno, Rect *cell) {
654   cell->tl.y= commod.tl.y;
655   cell->br.y= commod.br.y;
656   cell->tl.x= !colno ? commod.tl.x : s.colrightx[colno-1]+2;
657   cell->br.x=                        s.colrightx[colno];
658   debug_rect("cell", colno, *cell);
659 }
660
661 static void ocr_rectangle(Rect r, const OcrCellType ct, FILE *tsv_output) {
662   OcrResultGlyph *results, *res;
663
664   int w= r.br.x - r.tl.x + 1;
665   Pixcol cols[w+1];
666   int x,y;
667   for (x=0; x<w; x++) {
668     FILLZERO(cols[x]);
669     for (y=0; y<text_h; y++) {
670       Point here= { x+r.tl.x, y+r.tl.y };
671       int pixel= get_p(here);
672       if (pixel==' ') pixel= '0';
673       MUST( pixel >= '0' && pixel <= '0'+AAMAXVAL,
674             MC(pixel);MP(here);MSB(ocr_celltype_name(ct));MR(r); );
675       pixcol_p_add(&cols[x], y, pixel-'0');
676     }
677   }
678   FILLZERO(cols[w]);
679
680   results= ocr(rd,ct,w,cols);
681   for (res=results; res->s; res++)
682     fputs(res->s,tsv_output);
683 }
684
685 #define FOR_COMMODITY_CELL(ROW_START, CELL, ROW_END) do{        \
686     Rect rowr, cell;                                            \
687     int tryrect, colno;                                         \
688                                                                 \
689     for (tryrect= +cim->h; tryrect >= -cim->h; tryrect--) {     \
690       find_commodity(tryrect, &rowr);                           \
691       if (rowr.tl.x < 0)                                        \
692         continue;                                               \
693       debug_rect("commod",tryrect, rowr);                       \
694                                                                 \
695       ROW_START;                                                \
696                                                                 \
697       for (colno=0; colno<columns; colno++) {                   \
698         compute_table_location(rowr,colno,&cell);               \
699                                                                 \
700         CELL;                                                   \
701       }                                                         \
702                                                                 \
703       ROW_END;                                                  \
704     }                                                           \
705   }while(0);
706
707 static void adjust_colours_cell(CanonImage *ci, const RgbImage *ri,
708                                 int colno, Rect cell) {
709   Rgb background;
710   unsigned char chanbg[3];
711   long bg_count=0, light_count=0, dark_count=0;
712   int i;
713   Point p;
714
715   background= ri_rgb(ri, cell.br.x, cell.br.y);
716   for (i=0; i<3; i++)
717     chanbg[i]= background >> (i*8);
718
719   FOR_P_RECT(p,cell) {
720     Rgb herergb= ri_rgb(ri, p.x, p.y);
721     if (herergb==background) {
722       bg_count+=3;
723     } else {
724       for (i=0; i<3; i++) {
725         unsigned char here= herergb >> (i*8);
726         if (here == chanbg[i]) bg_count++;
727         else if (here < chanbg[i]) dark_count  += (chanbg[i] - here)/4 + 1;
728         else if (here > chanbg[i]) light_count += (here - chanbg[i])/4 + 1;
729       }
730     }
731   }
732   long total_count= RECT_W(cell) * RECT_H(cell) * 3;
733
734   MUST( bg_count > total_count / 2,
735         MR(cell);MIL(total_count);MIL(bg_count);
736         MIL(light_count);MIL(dark_count) );
737
738   if (bg_count == total_count)
739     return;
740
741   Rgb foreground;
742   double fg_extra;
743
744   if (light_count/16 > dark_count) {
745     foreground= 0xffffffU;
746     fg_extra= +1;
747   } else if (dark_count/16 > light_count) {
748     foreground= 0;
749     fg_extra= -1;
750   } else {
751     MUST( !"tell light from dark",
752           MR(cell);MIL(total_count);MIL(bg_count);
753           MIL(light_count);MIL(dark_count);MRGB(background); );
754   }
755
756   debugf("TABLEENTRY col=%d %d,%d..%d,%d bg=%ld light=%ld dark=%ld\n",
757          colno, cell.tl.x,cell.tl.y, cell.br.x,cell.br.y,
758          bg_count, light_count, dark_count);
759
760   int monochrome= 1;
761
762   find_aa_density_prep(background, foreground, fg_extra);
763
764   FOR_P_RECT(p,cell) {
765     Fixpt alpha= find_aa_density(ri,p);
766
767     int here_int= alpha >> (FIXPT_SHIFT - AADEPTH);
768     assert(here_int <= AAMAXVAL);
769     if (!(here_int==0 || here_int==AAMAXVAL)) monochrome=0;
770     ci->d[p.y * ci->w + p.x]= '0' + here_int;
771   }
772
773   debug_rect("cell0M", colno, cell);
774
775   require_rectangle_r(cell, "0123456789", __LINE__);
776 }
777
778 void adjust_colours(CanonImage *ci, const RgbImage *ri) {
779   if (!(o_mode & mf_analyse))
780     return;
781
782   cim= ci;
783
784   FOR_COMMODITY_CELL({},({
785     adjust_colours_cell(ci,ri,colno,cell);
786   }),{});
787 }
788
789 void analyse(FILE *tsv_output) {
790   int page;
791
792   for (page=0; page<npages; page++) {
793     select_page(page);
794
795     if (!page)
796       check_correct_commodities();
797
798     if (!rd)
799       rd= ocr_init(text_h);
800
801     progress("Processing page %d...",page);
802
803     const char *tab= "";
804     
805     FOR_COMMODITY_CELL({
806       tab= "";
807     },{
808       fputs(tab, tsv_output);
809       ocr_rectangle(cell,
810                     colno<TEXT_COLUMNS
811                     ? &ocr_celltype_text
812                     : &ocr_celltype_number,
813                     tsv_output);
814       tab= "\t";
815     },{
816       fputs("\n", tsv_output);
817       sysassert(!ferror(tsv_output));
818       sysassert(!fflush(tsv_output));
819     })
820   }
821   progress("Commodity table scan complete.");
822 }
823
824 //static Rect islandnamer;
825
826 DEBUG_DEFINE_SOME_DEBUGF(structcolon,colondebugf)
827
828 Rect find_sunshine_widget(void) {
829   Rect sunshiner;
830
831   sunshiner.tl.x= cim->w - 1034 +  885;
832   sunshiner.br.x= cim->w - 1034 + 1020;
833   sunshiner.tl.y= 227;
834   sunshiner.br.y= 228;
835
836   ADJUST_BOX(sunshiner,"o*",>=,30, 100,MUST, tl,y,-1);
837   ADJUST_BOX(sunshiner,"o*",>=,30, 100,MUST, br,y,+1);
838   debug_rect("sunshiner",0, sunshiner);
839
840   MUST(sunshiner.br.y - sunshiner.tl.y > 20, MR(sunshiner));
841   sunshiner.br.y--;
842
843   ADJUST_BOX(sunshiner,"o",>=,20, (cim->w - 1034 + 700), MUST, tl,x,-1);
844   ADJUST_BOX(sunshiner,"o",>=,20,  cim->w,               MUST, br,x,+1);
845   debug_rect("sunshiner",1, sunshiner);
846   return sunshiner;
847 }
848
849 void find_islandname(void) {
850   const RgbImage *rgbsrc= page0_rgbimage;
851   select_page(0);
852
853   RgbImage *ri= alloc_rgb_image(rgbsrc->w, rgbsrc->h);
854   memcpy(ri->data, rgbsrc->data, ri->w * ri->h * 3);
855   
856   Rect sunshiner= find_sunshine_widget();
857   char sunshine[MAXIMGIDENT], archisland[MAXIMGIDENT];
858
859   const Rgb *srcp;
860   Rgb *destp, *endp;
861   for (srcp= rgbsrc->data, destp=ri->data,
862          endp= ri->data + ri->w * ri->h;
863        destp < endp;
864        srcp++, destp++) {
865     Rgb new= *srcp & 0xf0f0f0;
866     *destp= new | (new>>4);
867   }
868
869   identify_rgbimage(ri, sunshiner, sunshine, "sunshine widget");
870   
871   if (!memcmp(sunshine,"Vessel ",5)) {
872     Rect islandnamer;
873     
874     islandnamer.tl.x= cim->w - 1034 +  885;
875     islandnamer.br.x= cim->w - 1034 + 1020;
876     islandnamer.tl.y=                 128;
877     islandnamer.br.y=                 156;
878
879     ADJUST_BOX(islandnamer,"o",>=,5, 0,      MUST, tl,y,+1);
880     ADJUST_BOX(islandnamer,"o",>=,5, cim->h, MUST, br,y,-1);
881
882     ADJUST_BOX(islandnamer,"o",>=,1, 0,      MUST, tl,x,+1);
883     ADJUST_BOX(islandnamer,"o",>=,1, cim->w, MUST, br,x,-1);
884
885     debug_rect("islandnamer",0, islandnamer);
886 //    int larger_islandnamebry= islandnamer.tl.y + 25;
887 //    MUST(islandnamer.br.y < larger_islandnamebry,
888 //       MR(islandnamer);MI(larger_islandnamebry));
889 //    islandnamer.br.y = larger_islandnamebry;
890     debug_rect("islandnamer",1, islandnamer);
891
892     int x,y;
893     for (x=islandnamer.tl.x; x<=islandnamer.br.x; x++)
894       for (y=islandnamer.tl.y; y<=islandnamer.br.y; y++) {
895         if ((ri_rgb(ri,x,y) & 0xff) < 0x40) {
896           *RI_PIXEL32(ri,x,y)= 0;
897         }
898       }
899
900     identify_rgbimage(ri, islandnamer, archisland, "island");
901   } else if (!strcmp(sunshine,"Land - Ahoy!")) {
902     Rect islandnamer;
903
904     islandnamer.tl.x= (sunshiner.tl.x + sunshiner.br.x) / 2;
905     islandnamer.tl.y= sunshiner.tl.y + 100;
906     islandnamer.br= islandnamer.tl;
907     debug_rect("islandnamer",__LINE__, islandnamer);
908     
909     WALK_UNTIL_MUST(islandnamer.tl,y, -1, sunshiner.br.y, 'H');
910     WALK_UNTIL_MUST(islandnamer.tl,x, -1, 0,              'o');
911     WALK_UNTIL_MUST(islandnamer.br,x, +1, cim->w,         'o');
912     debug_rect("islandnamer",__LINE__, islandnamer);
913
914 #define RW (RECT_W(islandnamer))
915 #define RH (RECT_H(islandnamer))
916
917     ADJUST_BOX(islandnamer,"O",>=,RW-4, cim->h, MUST,br,y,+1);
918     debug_rect("islandnamer",__LINE__, islandnamer);
919
920     islandnamer.br.y += 2;
921
922     ADJUST_BOX(islandnamer,"*",<,RW, cim->h, MUST,br,y,+1);
923     debug_rect("islandnamer",__LINE__, islandnamer);
924
925     islandnamer.tl.y= islandnamer.br.y-1;
926     islandnamer.br.y= islandnamer.br.y+1;
927     debug_rect("islandnamer",__LINE__, islandnamer);
928
929     ADJUST_BOX(islandnamer,"*",>=,RW, cim->h, MUST,br,y,+1);
930     debug_rect("islandnamer",__LINE__, islandnamer);
931
932     ADJUST_BOX(islandnamer,"*",<, RH, cim->w, MUST,tl,x,+1);
933     debug_rect("islandnamer",__LINE__, islandnamer);
934
935     MUST( RECT_H(islandnamer) <= 30, MR(islandnamer));
936
937     Point p;
938     int nspaces=1, might_be_colon=0;
939     uint32_t colon_pattern= 0;
940     p.y=-1;
941
942     for (p.x=islandnamer.br.x; p.x>islandnamer.tl.x; p.x--) {
943       colondebugf("structcolon: x=%4d nsp=%2d mbc=%d cp=%08"PRIx32" ",
944                   p.x, nspaces, might_be_colon, colon_pattern);
945
946       uint32_t pattern=0;
947       int runs[32], nruns=0;
948       runs[0]=0; runs[1]=0;
949
950       find_aa_density_prep(0xCCCCAA,0x002255,0);
951       
952       for (p.y=islandnamer.tl.y; p.y<=islandnamer.br.y; p.y++) {
953         pattern <<= 1;
954         Fixpt alpha= find_aa_density(ri,p);
955         if (alpha >= dbl2fixpt(0.49)) {
956            runs[nruns]++;
957            pattern |= 1u;
958         } else {
959           if (runs[nruns]) {
960             nruns++;
961             runs[nruns]=0;
962           }
963         }
964       }
965
966       colondebugf(" pat=%08"PRIx32" nruns=%d runs[]={%d,%d..} ",
967                   pattern, nruns, runs[0],runs[1]);
968
969       if (!pattern) {
970         if (might_be_colon)
971           /* omg it _is_ a colon */
972           goto colon_found;
973         nspaces++;
974         might_be_colon=0;
975       } else {
976         if (nruns==2 && runs[1]==runs[0]) {
977           if (!nspaces) {
978             if (pattern==colon_pattern)
979               goto ok_might_be_colon;
980           } else if (nspaces>=2) {
981             colon_pattern= pattern;
982             might_be_colon=1;
983             goto ok_might_be_colon;
984           }
985         } else if (nruns==1 && runs[0]==1 && might_be_colon) {
986           goto colon_found;
987         }
988         might_be_colon=0;
989       ok_might_be_colon:
990         nspaces= 0;
991       }
992       colondebugf(" nsp=%2d mbc=%d\n", nspaces, might_be_colon);
993     }
994     MUST(!"colon found", MP(p);MR(islandnamer) );
995
996   colon_found:
997     colondebugf(" found\n");
998     islandnamer.br.x= p.x;
999
1000     identify_rgbimage(ri, islandnamer, archisland, "island");
1001   } else {
1002
1003     MUST(!"sunshine shows ship or ahoy", MS(sunshine) );
1004
1005   }
1006
1007   char *delim= strstr(archisland," - ");
1008   assert(delim);
1009   archipelago= masprintf("%.*s", (int)(delim-archisland), archisland);
1010   island= masprintf("%s", delim+3);
1011
1012 }