chiark / gitweb /
Laxer identification for subpixel antialiasing
[ypp-sc-tools.db-test.git] / pctb / structure.c
index 2dc98d1c77a1590e0ae8d91e78eed19d4cbf90d0..f10addc56eed9c65f77ede4809407333a4ca780a 100644 (file)
 
 #include "structure.h"
 
-static const CanonImage *cim;
-
-static inline char get(int x, int y) { return cim->d[y * cim->w + x]; }
-static inline char get_p(Point p) { return get(p.x,p.y); }
-
 DEBUG_DEFINE_DEBUGF(struct)
 
 #define START_MAIN {200,200}
@@ -40,18 +35,43 @@ DEBUG_DEFINE_DEBUGF(struct)
 #define TEXT_COLUMNS        2
 #define MAX_COLUMNS         7
 
-static Rect mainr = { START_MAIN,START_MAIN };
-static int commbasey, comminty;
-static int colrightx[INTERESTING_COLUMNS];
+struct PageStruct {
+  Rect mr;
+  int commbasey, comminty;
+  int colrightx[INTERESTING_COLUMNS];
+};
+
+const CanonImage *page_images[MAX_PAGES];
+static PageStruct page_structs[MAX_PAGES];
+const RgbImage *page0_rgbimage;
+int npages;
+
 static int text_h=-1, columns=-1;
+
 static OcrReader *rd;
 
+static const CanonImage *cim;
+static PageStruct s;
+
 char *archipelago, *island;
 
 #define OTHERCOORD_x y
 #define OTHERCOORD_y x
 
-const CanonColourInfo canoncolourinfos[]= {
+
+void select_page(int page) {
+  cim= page_images[page];
+  s= page_structs[page];
+  assert(cim);
+}
+
+
+typedef struct {
+  Rgb rgbx; /* on screen, REVERSED BYTES ie r||g||b */
+  char c; /* canonical */
+} CanonColourInfo;
+
+const CanonColourInfo canoncolourinfo_table[]= {
   { 0x475A5E, '*' }, /* edge */
   { 0x2C5F7A, '*' }, /* edge just under box heading shadow */
   { 0xC5C7AE, '*' }, /* blank area of partial commodities list */
@@ -89,13 +109,45 @@ const CanonColourInfo canoncolourinfos[]= {
   { 0,0 }
 };
 
+CanonColourInfoReds canoncolourinfo_tree;
+
+void canon_colour_prepare(void) {
+  const CanonColourInfo *cci;
+  for (cci=canoncolourinfo_table; cci->c; cci++) {
+    unsigned char r= cci->rgbx >> 16;
+    unsigned char g= cci->rgbx >>  8;
+    unsigned char b= cci->rgbx;
+
+    CanonColourInfoGreens *greens= canoncolourinfo_tree.red2[r];
+    if (!greens) {
+      greens= canoncolourinfo_tree.red2[r]= mmalloc(sizeof(*greens));
+      FILLZERO(*greens);
+    }
+
+    CanonColourInfoBlues *blues= greens->green2[g];
+    if (!blues) {
+      blues= greens->green2[g]= mmalloc(sizeof(*blues));
+      memset(blues, '?', sizeof(*blues));
+    }
+
+    blues->blue2[b]= cci->c;
+  }
+}
+
+static inline char get(int x, int y) { return cim->d[y * cim->w + x]; }
+static inline char get_p(Point p) { return get(p.x,p.y); }
+
 
 static void mustfail1(const char *file, int line, const char *what) {
   fprintf(stderr,
-         "\n\n"
-         "Unable to figure out contents of YPP client display.\n"
-         " Check that your client is logged in has the correct display.\n"
-         " If that isn't the problem, please report this as a fault.\n\n"
+ "\n\n"
+ "Unable to figure out contents of YPP client display.\n"
+ "Please check the following:\n"
+ "   * YPP client is showing commodity listing screen\n"
+ "   * YPP client window is on top (we try to raise it but your window\n"
+ "      manager might have prevented that from succeeding)\n"
+ "\n"
+ "If all of these are true, please report this as a fault.\n\n"
          "Technical details:"
          " %s:%d: requirement failed:\n"
          " %s\n",
@@ -108,7 +160,7 @@ static void mustfail2(void) {
 }
 
 #define MUST(x, ifnot) do{                     \
-    if (!(x)) {                                        \
+    if (__builtin_expect(!(x), 0)) {           \
       mustfail1(__FILE__,__LINE__,#x);         \
       ifnot;                                   \
       mustfail2();                             \
@@ -117,8 +169,11 @@ static void mustfail2(void) {
 
 #define MP(v) fprintf(stderr," %s=%d,%d",#v,(v).x,(v).y)
 #define MI(v) fprintf(stderr," %s=%d",   #v,(v))
+#define MIL(v) fprintf(stderr," %s=%ld", #v,(v))
+#define MRGB(v) fprintf(stderr," %s=%06"PRIx32, #v,(v))
 #define MC(v) fprintf(stderr," %s='%c'", #v,(v))
 #define MS(v) fprintf(stderr," %s=\"%s\"", #v,(v))
+#define MF(v) fprintf(stderr," %s=%f", #v,(v))
 #define MSB(v) fprintf(stderr," %s", (v))
 #define MR(v) fprintf(stderr," %s=%d,%d..%d,%d",\
                       #v,(v).tl.x,(v).tl.y,(v).br.x,(v).br.y)
@@ -127,20 +182,23 @@ static void mustfail2(void) {
 #define REQUIRE_RECTANGLE(tlx,tly,brx,bry,ok) \
  require_rectangle(tlx, tly, brx, bry, ok, __LINE__);
 
-static void require_rectangle(int tlx, int tly, int brx, int bry,
-                             const char *ok, int lineno) {
+#define FOR_P_RECT(p,rr)                               \
+  for ((p).x=(rr).tl.x; (p).x<=(rr).br.x; (p).x++)     \
+    for ((p).y=(rr).tl.y; (p).y<=(rr).br.y; (p).y++)
+
+static void require_rectangle_r(Rect rr, const char *ok, int lineno) {
   Point p;
-  for (p.x=tlx; p.x<=brx; p.x++)
-    for (p.y=tly; p.y<=bry; p.y++) {
-      int c= get_p(p);
-      MUST( strchr(ok,c), ({
-            Rect rm={{tlx,tly},{brx,bry}};
-            MI(lineno),MR(rm);MP(p);MS(ok);
-      }));
-    }
+  FOR_P_RECT(p,rr) {
+    int c= get_p(p);
+    MUST( strchr(ok,c), ({
+      MI(lineno),MR(rr);MP(p);MS(ok);
+    }));
+  }
 }
-static void require_rectangle_r(Rect rr, const char *ok, int lineno) {
-  require_rectangle(rr.tl.x,rr.tl.y, rr.br.x,rr.br.y, ok, lineno);
+static void require_rectangle(int tlx, int tly, int brx, int bry,
+                             const char *ok, int lineno) {
+  Rect rr= {{tlx,tly},{brx,bry}};
+  require_rectangle_r(rr, ok, lineno);
 }
 
 static void debug_rect(const char *what, int whati, Rect rr) {
@@ -199,25 +257,31 @@ static int commod_selector_matches(Rect search, const char *const *all,
          );                                            \
   }while(0)
 
-#define ADJUST_BOX(search,insidechrs,want, lim,LIMIT_MUST, TLBR,XY,increm) \
-  for (;;) {                                                              \
-    LIMIT_MUST( (search).tl.XY != (search).br.XY &&                       \
-               (search).tl.XY != (lim),                                   \
-               MR((search));MSB(#TLBR);MSB(#XY) );                        \
-    int got=0;                                                            \
-    Point p=(search).tl;                                                  \
-    for (p.XY=(search).TLBR.XY;                                                   \
-        p.OTHERCOORD_##XY <= (search).br.OTHERCOORD_##XY;                 \
-        p.OTHERCOORD_##XY++)                                              \
-      got += !!strchr(insidechrs, get_p(p));                              \
-    if (got >= (want))                                                    \
-      break;                                                              \
-    (search).TLBR.XY += increm;                                                   \
+#define ADJUST_BOX(search,insidechrs,OP,want, lim,LIMIT_MUST, TLBR,XY,increm) \
+  for (;;) {                                                                 \
+    LIMIT_MUST( (search).tl.XY != (search).br.XY &&                          \
+               (search).TLBR.XY != (lim),                                    \
+               MR((search));MSB(#TLBR);MSB(#XY) );                           \
+    int got=0;                                                               \
+    Point p=(search).tl;                                                     \
+    for (p.XY=(search).TLBR.XY;                                                      \
+        p.OTHERCOORD_##XY <= (search).br.OTHERCOORD_##XY;                    \
+        p.OTHERCOORD_##XY++)                                                 \
+      got += !!strchr(insidechrs, get_p(p));                                 \
+    if ((got) OP (want))                                                     \
+      break;                                                                 \
+    (search).TLBR.XY += increm;                                                      \
   }
 
-void find_structure(const CanonImage *im, int *max_relevant_y_r) {
+void find_structure(const CanonImage *im,
+                   PageStruct **pagestruct_r,
+                   int *max_relevant_y_r,
+                   Point *commod_focus_point_r,
+                   Point *commod_page_point_r,
+                   Point *commod_focuslast_point_r) {
   cim= im;
-  
+
+  FILLZERO(s);
   Rect whole = { {0,0}, {cim->w-1,cim->h-1} };
 
   if (DEBUGP(rect)) {
@@ -232,89 +296,147 @@ void find_structure(const CanonImage *im, int *max_relevant_y_r) {
     }
   }
 
-  WALK_UNTIL_MUST(mainr.tl, x,-1, whole.tl.x, '*');
-  WALK_UNTIL_MUST(mainr.tl, y,-1, whole.tl.y, '*');
-  WALK_UNTIL_MUST(mainr.br, x,+1, whole.br.x, '*');
-  WALK_UNTIL_MUST(mainr.br, y,+1, whole.br.y, '*');
+  Point mainr_tl= START_MAIN;
+  s.mr.tl= mainr_tl;
+  WALK_UNTIL_MUST(s.mr.tl, y,-1, whole.tl.y, ' ');
+  s.mr.br= s.mr.tl;
 
-  REQUIRE_RECTANGLE(mainr.tl.x-1, mainr.tl.y, mainr.tl.x-1, mainr.br.y, "*");
-  REQUIRE_RECTANGLE(mainr.br.x+1, mainr.tl.y, mainr.br.x+1, mainr.br.y, "*");
-  REQUIRE_RECTANGLE(mainr.tl.x, mainr.tl.y-1, mainr.br.x, mainr.tl.y-1, "*");
-  REQUIRE_RECTANGLE(mainr.tl.x, mainr.br.y+1, mainr.br.x, mainr.br.y+1, "*");
+  WALK_UNTIL_MUST(s.mr.tl, x,-1, whole.tl.x, '*');
+  WALK_UNTIL_MUST(s.mr.tl, y,-1, whole.tl.y, '*');
+  WALK_UNTIL_MUST(s.mr.br, x,+1, whole.br.x, '*');
+  WALK_UNTIL_MUST(s.mr.br, y,+1, whole.br.y, '*');
+
+  REQUIRE_RECTANGLE(s.mr.tl.x-1, s.mr.tl.y, s.mr.tl.x-1, s.mr.br.y, "*");
+  REQUIRE_RECTANGLE(s.mr.br.x+1, s.mr.tl.y, s.mr.br.x+1, s.mr.br.y, "*");
+  REQUIRE_RECTANGLE(s.mr.tl.x, s.mr.tl.y-1, s.mr.br.x, s.mr.tl.y-1, "*");
+  REQUIRE_RECTANGLE(s.mr.tl.x, s.mr.br.y+1, s.mr.br.x, s.mr.br.y+1, "*");
 
 #define CHECK_STRIP_BORDER(tlbr,xy,increm)             \
   do {                                                 \
     Point csb_p;                                       \
     Rect csb_r;                                                \
-    csb_p= mainr.tl;                                   \
-    csb_p.xy= mainr.tlbr.xy;                           \
+    csb_p= s.mr.tl;                                    \
+    csb_p.x++; csb_p.y++;                              \
+    csb_p.xy= s.mr.tlbr.xy;                            \
     if (get_p(csb_p)=='+') {                           \
-      csb_r= mainr;                                    \
+      csb_r= s.mr;                                     \
       csb_r.tl.xy= csb_p.xy;                           \
       csb_r.br.xy= csb_p.xy;                           \
       require_rectangle_r(csb_r, "+", __LINE__);       \
-      mainr.tlbr.xy += increm;                         \
+      s.mr.tlbr.xy += increm;                          \
     }                                                  \
   } while(0)
 
-  debug_rect("mainr",0, mainr);
+  debug_rect("s.mr",0, s.mr);
 
   CHECK_STRIP_BORDER(tl,x,+1);
   CHECK_STRIP_BORDER(tl,y,+1);
   CHECK_STRIP_BORDER(br,x,-1);
   CHECK_STRIP_BORDER(br,y,-1);
 
-  debug_rect("mainr",1, mainr);
+  debug_rect("s.mr",1, s.mr);
+
+  Rect updown= {START_MAIN,START_MAIN};
+  const int chkw= 100;
+  updown.br.x += chkw-1;
+  updown.br.y++;
+  debug_rect("updown",__LINE__,updown);
 
-  Point up = START_MAIN;
-  WALK_UNTIL_MUST(up, y,-1, mainr.tl.y, '+');
+  ADJUST_BOX(updown, "+", >=,chkw, s.mr.tl.y,   MUST, tl,y,-1);
+  debug_rect("updown",__LINE__,updown);
+  updown.br.y= updown.tl.y;
+  updown.tl.y= updown.tl.y-1;
 
-  Point down = START_MAIN;
-  down.y++;
-  WALK_UNTIL_MUST(down, y,+1, mainr.br.y, '+');
+  ADJUST_BOX(updown, "+*",>=,chkw, s.mr.tl.y-1, MUST, tl,y,-1);
+  debug_rect("updown",__LINE__,updown);
 
-  commbasey= up.y;
-  comminty= down.y - up.y + 2;
+  s.commbasey= updown.tl.y + 1;
+  s.comminty= updown.br.y - updown.tl.y;
 
-  Point across= { mainr.tl.x, commbasey };
+  Rect across= {{ s.mr.tl.x - 1, s.commbasey                 },
+               { s.mr.tl.x,     s.commbasey + s.comminty-2 }};
   int colno=0;
   for (;;) {
-    MUST( get_p(across) != '+', MI(colno);MP(across);MR(mainr);MI(commbasey) );
-    WALK_UNTIL(across, x,+1, mainr.br.x, '+');
-    MUST( colno < MAX_COLUMNS, MP(across);MR(mainr);MI(commbasey); );
-    int colrx= across.x;
-    if (colrx > mainr.br.x) colrx= mainr.br.x;
+
+#define LIMIT_QUITEQ(cond,mp) { if (!(cond)) break; }
+    debug_rect("across",colno*1000000+__LINE__, across);
+    ADJUST_BOX(across, "+",>=,s.comminty-1,s.mr.br.x,LIMIT_QUITEQ,br,x,+1);
+    debug_rect("across",colno*1000000+__LINE__, across);
+
+    MUST( colno < MAX_COLUMNS,
+         MI(colno);MR(across);MR(s.mr);MI(s.commbasey); );
+    int colrx= across.br.x-1;
+    if (colrx >= s.mr.br.x) colrx= s.mr.br.x;
     if (colno < INTERESTING_COLUMNS)
-      colrightx[colno]= colrx;
+      s.colrightx[colno]= colrx;
       
     colno++;
     
-    if (across.x >= mainr.br.x-1)
+    if (across.br.x >= s.mr.br.x)
       break;
 
-    across.x++;
-    REQUIRE_RECTANGLE(across.x,mainr.tl.y, across.x,mainr.br.y, "+");
-    across.x++;
+    REQUIRE_RECTANGLE(across.br.x,s.mr.tl.y, across.br.x,s.mr.br.y, "+");
+    across.br.x++;
   }
-  MUST( colno >= MIN_COLUMNS, MI(colno);MR(mainr);MP(across); );
+  MUST( colno >= MIN_COLUMNS, MI(colno);MR(s.mr);MR(across); );
+
+  const int pagerh= 6;
+  Rect pager= {{ s.mr.br.x,     s.mr.br.y - (pagerh-1) },
+              { s.mr.br.x + 1, s.mr.br.y              }};
+
+  debug_rect("pager",__LINE__,pager);
+  ADJUST_BOX(pager, "o",>=,pagerh-2, whole.br.x,MUST, br,x,+1);
+  debug_rect("pager",__LINE__,pager);
+
+  pager.tl.x= pager.br.x;
+  pager.br.x= pager.br.x + 1;
+  debug_rect("pager",__LINE__,pager);
+  ADJUST_BOX(pager, "o",>=,pagerh-2, whole.br.x,MUST, br,x,+1);
+  debug_rect("pager",__LINE__,pager);
+
+  ADJUST_BOX(pager, "o",>=,RECT_W(pager)-2, s.mr.tl.y,LIMIT_QUITEQ, tl,y,-1);
+  debug_rect("pager",__LINE__,pager);
 
 #define SET_ONCE(var,val) do{                                          \
     int v= (val);                                                      \
     if ((var)==-1) (var)= v;                                           \
-    else MUST( (var) == v, MSB(#var);MI((var));MI(v);MR(mainr); );     \
+    else MUST( (var) == v, MSB(#var);MI((var));MI(v);MR(s.mr); );      \
   }while(0)
 
   SET_ONCE(columns, colno);
-  SET_ONCE(text_h, comminty - 1);
+  SET_ONCE(text_h, s.comminty - 1);
+
+  if (pagestruct_r) {
+    *pagestruct_r= mmalloc(sizeof(s));
+    **pagestruct_r= s;
+  }
+  
   if (max_relevant_y_r)
-    SET_ONCE(*max_relevant_y_r, mainr.br.y + 10);
+    SET_ONCE(*max_relevant_y_r, s.mr.br.y + 10);
+
+  if (commod_focus_point_r) {
+    *commod_focus_point_r= s.mr.tl;
+    commod_focus_point_r->x += 10;
+    commod_focus_point_r->y += s.comminty/3;
+  }
+  if (commod_focuslast_point_r) {
+    *commod_focuslast_point_r= s.mr.br;
+    commod_focuslast_point_r->x -= 10;
+    commod_focuslast_point_r->y -= s.comminty/3;
+  }
+  if (commod_page_point_r) {
+    commod_page_point_r->x= (pager.tl.x + pager.br.x) / 2;
+    commod_page_point_r->y=  pager.tl.y - 1;
+  }
+
+  MUST( text_h <= OCR_MAX_H, MI(text_h) );
 }                  
 
 void check_correct_commodities(void) {
   Rect search= { { 50,39 }, { 130,59 } };
 
-  ADJUST_BOX(search,"_",10, cim->h, MUST, tl,y,+1);
-  ADJUST_BOX(search,"_",10, 0,      MUST, br,y,-1);
+  ADJUST_BOX(search,"_",>=,10, cim->h, MUST, tl,y,+1);
+  ADJUST_BOX(search,"_",>=,10, 0,      MUST, br,y,-1);
 
   debug_rect("commodselr",1, search);
 
@@ -369,29 +491,23 @@ static void file_read_image_ppm(FILE *f) {
   struct pam inpam;
   unsigned char rgb_buf[3];
   CanonImage *im;
-  RgbImage *ri=0;
+  RgbImage *ri;
+  PageStruct *pstruct;
+
+  progress("page %d reading       ...",npages);
 
   pnm_readpaminit(f, &inpam, sizeof(inpam));
   if (!(inpam.maxval == 255 &&
        inpam.bytes_per_sample == 1 &&
        inpam.format == RPPM_FORMAT))
-    fatal("PNM screenshot(s) file must be 8bpp 1 byte per sample RGB");
-
-  if (!npages)
-    page0_rgbimage= ri= alloc_rgb_image(inpam.width, inpam.height);
+    fatal("PNM screenshot(s) file must be 8bpp 1 byte-per-sample RGB raw");
 
-  CANONICALISE_IMAGE(im, inpam.width, inpam.height, {
-    int r= fread(&rgb_buf,1,3,f);
-    sysassert(!ferror(f));
-    if (r!=3) fatal("PNM screenshot(s) file ends unexpectedly");
+  CANONICALISE_IMAGE(im, inpam.width, inpam.height, ri, {
+    errno=0; int rr= fread_unlocked(&rgb_buf,1,3,f);
+    sysassert(rr==3);
+    if (rr!=3) fatal("PNM screenshot(s) file ends unexpectedly");
 
-    rgb=
-       ((unsigned long)rgb_buf[0]<<16) |
-       ((unsigned long)rgb_buf[1]<<8) |
-                      (rgb_buf[2]);
-
-    if (ri)
-      CANONIMG_ALSO_STORERGB(ri);
+    rgb= rgb_buf[0] | (rgb_buf[1] << 8) | (rgb_buf[2] << 16);
   });
 
   sysassert(!ferror(screenshot_file));
@@ -399,7 +515,21 @@ static void file_read_image_ppm(FILE *f) {
   if (!(npages < MAX_PAGES))
     fatal("Too many images in screenshots file; max is %d.\n", MAX_PAGES);
 
-  page_images[npages++]= im;
+  find_structure(im,&pstruct, 0,0,0,0);
+  store_current_page(im,pstruct,ri);
+  npages++;
+}
+
+void store_current_page(CanonImage *ci, PageStruct *pstruct, RgbImage *rgb) {
+  assert(ci==cim);
+  progress("page %d unantialiasing...",npages);
+  adjust_colours(ci, rgb);
+  progress("page %d storing       ...",npages);
+  if (!npages) page0_rgbimage= rgb;
+  else free(rgb);
+  page_images[npages]= cim;
+  page_structs[npages]= *pstruct;
+  free(pstruct);
 }
 
 void read_one_screenshot(void) {
@@ -422,35 +552,106 @@ void read_screenshots(void) {
       if (c==EOF) break;
       ungetc(c, screenshot_file);
     }
-    progress("reading screenshot %d...",npages);
     file_read_image_ppm(screenshot_file);
   }
   sysassert(!ferror(screenshot_file));
   progress_log("read %d screenshots.",npages);
 }
 
+#define FIXPT_SHIFT 15
+
+typedef long Fixpt;
+static inline Fixpt int2fixpt(int x) { return x<<FIXPT_SHIFT; }
+static inline Fixpt dbl2fixpt(double x) { return x * int2fixpt(1); }
+static inline double fixpt2dbl(Fixpt x) { return x / (1.0*int2fixpt(1)); }
+static inline Fixpt fixpt_mul(Fixpt a, Fixpt b) {
+  return (a*b + dbl2fixpt(0.5)) / int2fixpt(1);
+}
+#define MFP(v) fprintf(stderr," %s=%lx=%f", #v,(v),fixpt2dbl((v)))
+
+static Fixpt aa_bg_chan[3], aa_scale_chan[3], aa_alpha_mean_max;
+static Rgb aa_background, aa_foreground;
+
+static void find_aa_density_prep(Rgb bg, Rgb fg, int fg_extra) {
+  int i;
+  unsigned char fg_chan[3];
+
+  aa_background= bg;
+  aa_foreground= fg;
+  aa_alpha_mean_max= fg_extra ? int2fixpt(1)-1 : int2fixpt(1);
+
+  for (i=0; i<3; i++) {
+    aa_bg_chan[i]= int2fixpt( (aa_background >> (i*8)) & 0xff );
+    fg_chan[i]=                aa_foreground >> (i*8);
+
+    aa_scale_chan[i]= 1.0 / (int2fixpt(fg_chan[i]) + fg_extra - aa_bg_chan[i])
+      * dbl2fixpt(1) * dbl2fixpt(1);
+  }
+}
+
+static inline Fixpt find_aa_density(const RgbImage *ri, Point p) {
+  Rgb here= ri_rgb(ri, p.x, p.y);
+
+  if (here==aa_background) return 0;
+
+  Fixpt alpha[3], alpha_total=0;
+  int i;
+  for (i=0; i<3; i++) {
+    unsigned char here_chan= here >> (i*8);
+
+    Fixpt alpha_chan= fixpt_mul(int2fixpt(here_chan) - aa_bg_chan[i],
+                               aa_scale_chan[i]);
+    alpha[i]= alpha_chan;
+    alpha_total += alpha_chan;
+  }
+
+  Fixpt one_third= dbl2fixpt(1/3.0);
+  Fixpt alpha_mean= fixpt_mul(alpha_total, one_third);
+  
+  Fixpt thresh= dbl2fixpt(1.5/AAMAXVAL);
+  Fixpt alpha_min= alpha_mean - thresh*2;
+  Fixpt alpha_max= alpha_mean + thresh*2;
+
+  for (i=0; i<3; i++)
+    MUST( alpha_min <= alpha[i] && alpha[i] <= alpha_max,
+         MP(p);
+         MRGB(here);MRGB(aa_background);MRGB(aa_foreground);
+         MFP(aa_alpha_mean_max);MFP(thresh);MFP(alpha_mean);
+         MFP(alpha_min);MI(i);MFP(alpha[i]);MFP(alpha_max) );
+
+  MUST( -thresh <= alpha_mean && alpha_mean <= aa_alpha_mean_max + thresh,
+       MP(p);
+       MRGB(here);MRGB(aa_background);MRGB(aa_foreground);
+       MFP(aa_alpha_mean_max);MFP(thresh);
+       MFP(alpha_mean); MFP(alpha[0]);MFP(alpha[1]);MFP(alpha[2]); );
+
+  if (alpha_mean < 0)                 alpha_mean= 0;
+  if (alpha_mean > aa_alpha_mean_max) alpha_mean= aa_alpha_mean_max;
+
+  return alpha_mean;
+}
+
 static void find_commodity(int offset, Rect *rr) {
   /* rr->tl.x==-1 if offset out of range */
-  rr->tl.y= commbasey - offset*comminty;
-  rr->br.y= rr->tl.y + comminty-2;
-  if (rr->tl.y < mainr.tl.y || rr->br.y > mainr.br.y) { rr->tl.x=-1; return; }
+  rr->tl.y= s.commbasey - offset*s.comminty;
+  rr->br.y= rr->tl.y + s.comminty-2;
+  if (rr->tl.y < s.mr.tl.y || rr->br.y > s.mr.br.y) { rr->tl.x=-1; return; }
   
-  rr->tl.x= mainr.tl.x;
-  rr->br.x= mainr.br.x;
+  rr->tl.x= s.mr.tl.x;
+  rr->br.x= s.mr.br.x;
 
-  if (rr->tl.y > mainr.tl.y)
+  if (rr->tl.y > s.mr.tl.y)
     REQUIRE_RECTANGLE(rr->tl.x,rr->tl.y-1, rr->br.x,rr->tl.y-1, "+");
-  if (rr->br.y < mainr.tl.y)
+  if (rr->br.y < s.mr.tl.y)
     REQUIRE_RECTANGLE(rr->tl.x,rr->br.y+1, rr->br.x,rr->br.y+1, "+");
 }
 
-static void find_table_entry(Rect commod, int colno, Rect *cellr) {
-  cellr->tl.y= commod.tl.y;
-  cellr->br.y= commod.br.y;
-  cellr->tl.x= !colno ? commod.tl.x : colrightx[colno-1]+2;
-  cellr->br.x=                        colrightx[colno];
-  debug_rect("cell", colno, *cellr);
-  require_rectangle_r(*cellr, " o", __LINE__);
+static void compute_table_location(Rect commod, int colno, Rect *cell) {
+  cell->tl.y= commod.tl.y;
+  cell->br.y= commod.br.y;
+  cell->tl.x= !colno ? commod.tl.x : s.colrightx[colno-1]+2;
+  cell->br.x=                        s.colrightx[colno];
+  debug_rect("cell", colno, *cell);
 }
 
 static void ocr_rectangle(Rect r, const OcrCellType ct, FILE *tsv_output) {
@@ -460,33 +661,132 @@ static void ocr_rectangle(Rect r, const OcrCellType ct, FILE *tsv_output) {
   Pixcol cols[w+1];
   int x,y;
   for (x=0; x<w; x++) {
-    Pixcol cx, rv;
-    for (y=0, cx=0, rv=1; y<text_h; y++, rv<<=1) {
+    FILLZERO(cols[x]);
+    for (y=0; y<text_h; y++) {
       Point here= { x+r.tl.x, y+r.tl.y };
       int pixel= get_p(here);
-      switch (pixel) {
-      case ' ':           break;
-      case 'o': cx |= rv; break;
-      default:
-       MUST(!"wrong pixel",
-            MC(pixel);MP(here);MSB(ocr_celltype_name(ct));MR(r); );
-      }
+      if (pixel==' ') pixel= '0';
+      MUST( pixel >= '0' && pixel <= '0'+AAMAXVAL,
+           MC(pixel);MP(here);MSB(ocr_celltype_name(ct));MR(r); );
+      pixcol_p_add(&cols[x], y, pixel-'0');
     }
-    cols[x]= cx;
   }
-  cols[w]= 0;
+  FILLZERO(cols[w]);
 
   results= ocr(rd,ct,w,cols);
   for (res=results; res->s; res++)
     fputs(res->s,tsv_output);
 }
 
+#define FOR_COMMODITY_CELL(ROW_START, CELL, ROW_END) do{       \
+    Rect rowr, cell;                                           \
+    int tryrect, colno;                                                \
+                                                               \
+    for (tryrect= +cim->h; tryrect >= -cim->h; tryrect--) {    \
+      find_commodity(tryrect, &rowr);                          \
+      if (rowr.tl.x < 0)                                       \
+       continue;                                               \
+      debug_rect("commod",tryrect, rowr);                      \
+                                                               \
+      ROW_START;                                               \
+                                                               \
+      for (colno=0; colno<columns; colno++) {                  \
+       compute_table_location(rowr,colno,&cell);               \
+                                                               \
+       CELL;                                                   \
+      }                                                                \
+                                                               \
+      ROW_END;                                                 \
+    }                                                          \
+  }while(0);
+
+static void adjust_colours_cell(CanonImage *ci, const RgbImage *ri,
+                               int colno, Rect cell) {
+  Rgb background;
+  unsigned char chanbg[3];
+  long bg_count=0, light_count=0, dark_count=0;
+  int i;
+  Point p;
+
+  background= ri_rgb(ri, cell.br.x, cell.br.y);
+  for (i=0; i<3; i++)
+    chanbg[i]= background >> (i*8);
+
+  FOR_P_RECT(p,cell) {
+    Rgb herergb= ri_rgb(ri, p.x, p.y);
+    if (herergb==background) {
+      bg_count+=3;
+    } else {
+      for (i=0; i<3; i++) {
+       unsigned char here= herergb >> (i*8);
+       if (here == chanbg[i]) bg_count++;
+       else if (here < chanbg[i]) dark_count  += (chanbg[i] - here)/4 + 1;
+       else if (here > chanbg[i]) light_count += (here - chanbg[i])/4 + 1;
+      }
+    }
+  }
+  long total_count= RECT_W(cell) * RECT_H(cell) * 3;
+
+  MUST( bg_count > total_count / 2,
+       MR(cell);MIL(total_count);MIL(bg_count);
+       MIL(light_count);MIL(dark_count) );
+
+  if (bg_count == total_count)
+    return;
+
+  Rgb foreground;
+  double fg_extra;
+
+  if (light_count/16 > dark_count) {
+    foreground= 0xffffffU;
+    fg_extra= +1;
+  } else if (dark_count/16 > light_count) {
+    foreground= 0;
+    fg_extra= -1;
+  } else {
+    MUST( !"tell light from dark",
+         MR(cell);MIL(total_count);MIL(bg_count);
+         MIL(light_count);MIL(dark_count);MRGB(background); );
+  }
+
+  debugf("TABLEENTRY col=%d %d,%d..%d,%d bg=%ld light=%ld dark=%ld\n",
+        colno, cell.tl.x,cell.tl.y, cell.br.x,cell.br.y,
+        bg_count, light_count, dark_count);
+
+  int monochrome= 1;
+
+  find_aa_density_prep(background, foreground, fg_extra);
+
+  FOR_P_RECT(p,cell) {
+    Fixpt alpha= find_aa_density(ri,p);
+
+    int here_int= alpha >> (FIXPT_SHIFT - AADEPTH);
+    assert(here_int <= AAMAXVAL);
+    if (!(here_int==0 || here_int==AAMAXVAL)) monochrome=0;
+    ci->d[p.y * ci->w + p.x]= '0' + here_int;
+  }
+
+  debug_rect("cell0M", colno, cell);
+
+  require_rectangle_r(cell, "0123456789", __LINE__);
+}
+
+void adjust_colours(CanonImage *ci, const RgbImage *ri) {
+  if (!(o_mode & mf_analyse))
+    return;
+
+  cim= ci;
+
+  FOR_COMMODITY_CELL({},({
+    adjust_colours_cell(ci,ri,colno,cell);
+  }),{});
+}
+
 void analyse(FILE *tsv_output) {
-  Rect thisr, entryr;
-  int page, tryrect, colno;
+  int page;
 
   for (page=0; page<npages; page++) {
-    find_structure(page_images[page], 0);
+    select_page(page);
 
     if (!page)
       check_correct_commodities();
@@ -494,29 +794,25 @@ void analyse(FILE *tsv_output) {
     if (!rd)
       rd= ocr_init(text_h);
 
-    progress("Scanning page %d...",page);
-
-    for (tryrect= +cim->h; tryrect >= -cim->h; tryrect--) {
-      find_commodity(tryrect, &thisr);
-      if (thisr.tl.x < 0)
-       continue;
-      debug_rect("commod",tryrect, thisr);
-
-      const char *tab= "";
-      for (colno=0; colno<columns; colno++) {
-       find_table_entry(thisr,colno,&entryr);
-       fputs(tab, tsv_output);
-       ocr_rectangle(entryr,
-                     colno<TEXT_COLUMNS
-                     ? &ocr_celltype_text
-                     : &ocr_celltype_number,
-                     tsv_output);
-       tab= "\t";
-      }
+    progress("Processing page %d...",page);
+
+    const char *tab= "";
+    
+    FOR_COMMODITY_CELL({
+      tab= "";
+    },{
+      fputs(tab, tsv_output);
+      ocr_rectangle(cell,
+                   colno<TEXT_COLUMNS
+                   ? &ocr_celltype_text
+                   : &ocr_celltype_number,
+                   tsv_output);
+      tab= "\t";
+    },{
       fputs("\n", tsv_output);
       sysassert(!ferror(tsv_output));
       sysassert(!fflush(tsv_output));
-    }
+    })
   }
   progress("Commodity table scan complete.");
 }
@@ -533,31 +829,37 @@ Rect find_sunshine_widget(void) {
   sunshiner.tl.y= 227;
   sunshiner.br.y= 228;
 
-  ADJUST_BOX(sunshiner,"o*",30, 100,MUST, tl,y,-1);
-  ADJUST_BOX(sunshiner,"o*",30, 100,MUST, br,y,+1);
+  ADJUST_BOX(sunshiner,"o*",>=,30, 100,MUST, tl,y,-1);
+  ADJUST_BOX(sunshiner,"o*",>=,30, 100,MUST, br,y,+1);
   debug_rect("sunshiner",0, sunshiner);
 
   MUST(sunshiner.br.y - sunshiner.tl.y > 20, MR(sunshiner));
   sunshiner.br.y--;
 
-  ADJUST_BOX(sunshiner,"o",20, (cim->w - 1034 + 700), MUST, tl,x,-1);
-  ADJUST_BOX(sunshiner,"o",20,  cim->w,               MUST, br,x,+1);
+  ADJUST_BOX(sunshiner,"o",>=,20, (cim->w - 1034 + 700), MUST, tl,x,-1);
+  ADJUST_BOX(sunshiner,"o",>=,20,  cim->w,               MUST, br,x,+1);
   debug_rect("sunshiner",1, sunshiner);
   return sunshiner;
 }
 
-void find_islandname(RgbImage *ri) {
+void find_islandname(void) {
+  const RgbImage *rgbsrc= page0_rgbimage;
+  select_page(0);
+
+  RgbImage *ri= alloc_rgb_image(rgbsrc->w, rgbsrc->h);
+  memcpy(ri->data, rgbsrc->data, ri->w * ri->h * 3);
+  
   Rect sunshiner= find_sunshine_widget();
   char sunshine[MAXIMGIDENT], archisland[MAXIMGIDENT];
 
-  const unsigned char *srcp;
-  unsigned char *destp, *endp;
-  for (srcp=page0_rgbimage->data, destp=ri->data,
-        endp= ri->data + 3 * ri->w * ri->h;
+  const Rgb *srcp;
+  Rgb *destp, *endp;
+  for (srcp= rgbsrc->data, destp=ri->data,
+        endp= ri->data + ri->w * ri->h;
        destp < endp;
        srcp++, destp++) {
-    unsigned char c= *srcp & 0xf0;
-    *destp= c | (c>>4);
+    Rgb new= *srcp & 0xf0f0f0;
+    *destp= new | (new>>4);
   }
 
   identify_rgbimage(ri, sunshiner, sunshine, "sunshine widget");
@@ -570,11 +872,11 @@ void find_islandname(RgbImage *ri) {
     islandnamer.tl.y=                 128;
     islandnamer.br.y=                 156;
 
-    ADJUST_BOX(islandnamer,"o",5, 0,      MUST, tl,y,+1);
-    ADJUST_BOX(islandnamer,"o",5, cim->h, MUST, br,y,-1);
+    ADJUST_BOX(islandnamer,"o",>=,5, 0,      MUST, tl,y,+1);
+    ADJUST_BOX(islandnamer,"o",>=,5, cim->h, MUST, br,y,-1);
 
-    ADJUST_BOX(islandnamer,"o",1, 0,      MUST, tl,x,+1);
-    ADJUST_BOX(islandnamer,"o",1, cim->w, MUST, br,x,-1);
+    ADJUST_BOX(islandnamer,"o",>=,1, 0,      MUST, tl,x,+1);
+    ADJUST_BOX(islandnamer,"o",>=,1, cim->w, MUST, br,x,-1);
 
     debug_rect("islandnamer",0, islandnamer);
 //    int larger_islandnamebry= islandnamer.tl.y + 25;
@@ -583,18 +885,16 @@ void find_islandname(RgbImage *ri) {
 //    islandnamer.br.y = larger_islandnamebry;
     debug_rect("islandnamer",1, islandnamer);
 
-    int x,y,i;
+    int x,y;
     for (x=islandnamer.tl.x; x<=islandnamer.br.x; x++)
       for (y=islandnamer.tl.y; y<=islandnamer.br.y; y++) {
-       if (RI_PIXEL(ri,x,y)[0] < 0x40) {
-         for (i=0; i<3; i++) {
-           RI_PIXEL(ri,x,y)[i]= 0;
-         }
+       if ((ri_rgb(ri,x,y) & 0xff) < 0x40) {
+         *RI_PIXEL32(ri,x,y)= 0;
        }
       }
 
     identify_rgbimage(ri, islandnamer, archisland, "island");
-  } else {
+  } else if (!strcmp(sunshine,"Land - Ahoy!")) {
     Rect islandnamer;
 
     islandnamer.tl.x= (sunshiner.tl.x + sunshiner.br.x) / 2;
@@ -607,27 +907,33 @@ void find_islandname(RgbImage *ri) {
     WALK_UNTIL_MUST(islandnamer.br,x, +1, cim->w,         'o');
     debug_rect("islandnamer",__LINE__, islandnamer);
 
-    require_rectangle_r(islandnamer, "O*", __LINE__);
+#define RW (RECT_W(islandnamer))
+#define RH (RECT_H(islandnamer))
 
-    int rw= RECT_W(islandnamer);
-    ADJUST_BOX(islandnamer,"O",rw-4, cim->h, MUST,br,y,+1);
+    ADJUST_BOX(islandnamer,"O",>=,RW-4, cim->h, MUST,br,y,+1);
     debug_rect("islandnamer",__LINE__, islandnamer);
 
     islandnamer.br.y += 2;
-    ADJUST_BOX(islandnamer,"O",1,    cim->h, MUST,br,y,+1);
+
+    ADJUST_BOX(islandnamer,"*",<,RW, cim->h, MUST,br,y,+1);
     debug_rect("islandnamer",__LINE__, islandnamer);
 
     islandnamer.tl.y= islandnamer.br.y-1;
     islandnamer.br.y= islandnamer.br.y+1;
-    ADJUST_BOX(islandnamer,"*",rw,   cim->h, MUST,br,y,+1);
-    ADJUST_BOX(islandnamer,"O",1,    cim->w, MUST,tl,x,+1);
     debug_rect("islandnamer",__LINE__, islandnamer);
 
-    MUST( RECT_H(islandnamer) <= 31, MR(islandnamer));
+    ADJUST_BOX(islandnamer,"*",>=,RW, cim->h, MUST,br,y,+1);
+    debug_rect("islandnamer",__LINE__, islandnamer);
+
+    ADJUST_BOX(islandnamer,"*",<, RH, cim->w, MUST,tl,x,+1);
+    debug_rect("islandnamer",__LINE__, islandnamer);
+
+    MUST( RECT_H(islandnamer) <= 30, MR(islandnamer));
 
     Point p;
     int nspaces=1, might_be_colon=0;
     uint32_t colon_pattern= 0;
+    p.y=-1;
 
     for (p.x=islandnamer.br.x; p.x>islandnamer.tl.x; p.x--) {
       colondebugf("structcolon: x=%4d nsp=%2d mbc=%d cp=%08"PRIx32" ",
@@ -636,13 +942,20 @@ void find_islandname(RgbImage *ri) {
       uint32_t pattern=0;
       int runs[32], nruns=0;
       runs[0]=0; runs[1]=0;
+
+      find_aa_density_prep(0xCCCCAA,0x002255,0);
       
       for (p.y=islandnamer.tl.y; p.y<=islandnamer.br.y; p.y++) {
        pattern <<= 1;
-       switch (get_p(p)) {
-       case 'O': runs[nruns]++;                         pattern |= 1u; break;
-       case '*': if (runs[nruns]) { nruns++; runs[nruns]=0; }          break;
-       default: abort();
+       Fixpt alpha= find_aa_density(ri,p);
+       if (alpha >= dbl2fixpt(0.49)) {
+          runs[nruns]++;
+          pattern |= 1u;
+       } else {
+         if (runs[nruns]) {
+           nruns++;
+           runs[nruns]=0;
+         }
        }
       }
 
@@ -665,6 +978,8 @@ void find_islandname(RgbImage *ri) {
            might_be_colon=1;
            goto ok_might_be_colon;
          }
+       } else if (nruns==1 && runs[0]==1 && might_be_colon) {
+         goto colon_found;
        }
        might_be_colon=0;
       ok_might_be_colon:
@@ -679,14 +994,15 @@ void find_islandname(RgbImage *ri) {
     islandnamer.br.x= p.x;
 
     identify_rgbimage(ri, islandnamer, archisland, "island");
+  } else {
+
+    MUST(!"sunshine shows ship or ahoy", MS(sunshine) );
 
-    assert(!"not vessel");
   }
 
   char *delim= strstr(archisland," - ");
   assert(delim);
-  archipelago= masprintf("%.*s", delim-archisland, archisland);
+  archipelago= masprintf("%.*s", (int)(delim-archisland), archisland);
   island= masprintf("%s", delim+3);
 
-  free(ri);
 }