chiark / gitweb /
page with the mouse to avoid the silly page-back-to-top effect
[ypp-sc-tools.main.git] / pctb / pages.c
index fbf33171bd3a90182cc7e650361654767f0181d6..72f9bb478a982f5b0206af12c2cc0b6209c6df83 100644 (file)
@@ -1,5 +1,34 @@
 /*
 /*
-  */
+ * Interaction with the YPP client via X11
+ */
+/*
+ *  This is part of ypp-sc-tools, a set of third-party tools for assisting
+ *  players of Yohoho Puzzle Pirates.
+ * 
+ *  Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
+ * 
+ *  This program is free software: you can redistribute it and/or modify
+ *  it under the terms of the GNU General Public License as published by
+ *  the Free Software Foundation, either version 3 of the License, or
+ *  (at your option) any later version.
+ * 
+ *  This program is distributed in the hope that it will be useful,
+ *  but WITHOUT ANY WARRANTY; without even the implied warranty of
+ *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ *  GNU General Public License for more details.
+ * 
+ *  You should have received a copy of the GNU General Public License
+ *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
+ * 
+ *  Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
+ *  are used without permission.  This program is not endorsed or
+ *  sponsored by Three Rings.
+ */
+
+/*
+ * Only this file #includes the X11 headers, as they're quite
+ * pollutant of the namespace.
+ */
 
 #include "structure.h"
 
 
 #include "structure.h"
 
 #include <X11/keysym.h>
 #include <X11/Xutil.h>
 
 #include <X11/keysym.h>
 #include <X11/Xutil.h>
 
+#include <X11/extensions/XShm.h>
+#include <sys/ipc.h>
+#include <sys/shm.h>
+
 CanonImage *page_images[MAX_PAGES];
 int npages;
 
 CanonImage *page_images[MAX_PAGES];
 int npages;
 
-char *ocean, *pirate;
+const char *ocean, *pirate;
 
 static XWindowAttributes attr;
 static Window id;
 static Display *disp;
 static struct timeval tv_startup;
 static unsigned wwidth, wheight;
 
 static XWindowAttributes attr;
 static Window id;
 static Display *disp;
 static struct timeval tv_startup;
 static unsigned wwidth, wheight;
+static int max_relevant_y= -1;
+static Point commod_focus_point, commod_page_point, commod_focuslast_point;
+
+static XImage *shmim;
+static XShmSegmentInfo shminfo;
 
 DEBUG_DEFINE_DEBUGF(pages)
 
 
 DEBUG_DEFINE_DEBUGF(pages)
 
+#define xassert(what)                                  \
+  ((what) ? (void)0 :                                  \
+   fatal("X11 operation unexpectedly failed."          \
+        " %s:%d: %s\n", __FILE__,__LINE__,#what))
+
 static KeyCode keycode(KeySym sym) {
   return XKeysymToKeycode(disp,sym);
 }
 
 void screenshot_startup(void) {
 static KeyCode keycode(KeySym sym) {
   return XKeysymToKeycode(disp,sym);
 }
 
 void screenshot_startup(void) {
-  int r;
   progress("starting...");
   progress("starting...");
-  disp= XOpenDisplay(0);  eassert(disp);
-  r= gettimeofday(&tv_startup,0);  eassert(!r);
+  disp= XOpenDisplay(0);
+  if (!disp) fatal("Unable to open X11 display.");
+  sysassert(! gettimeofday(&tv_startup,0) );
 }
 
 /*---------- pager ----------*/
 
 }
 
 /*---------- pager ----------*/
 
-typedef XImage Snapshot;
+typedef RgbImage Snapshot;
 
 static double last_input;
 static const double min_update_allowance= 0.25;
 
 static double timestamp(void) {
   struct timeval tv;
 
 static double last_input;
 static const double min_update_allowance= 0.25;
 
 static double timestamp(void) {
   struct timeval tv;
-  int r;
   
   
-  r= gettimeofday(&tv,0);  eassert(!r);
+  sysassert(! gettimeofday(&tv,0) );
   double t= (tv.tv_sec - tv_startup.tv_sec) +
             (tv.tv_usec - tv_startup.tv_usec) * 1e-6;
   debugf("PAGING %f\n",t);
   return t;
 }
 static void delay(double need_sleep) {
   double t= (tv.tv_sec - tv_startup.tv_sec) +
             (tv.tv_usec - tv_startup.tv_usec) * 1e-6;
   debugf("PAGING %f\n",t);
   return t;
 }
 static void delay(double need_sleep) {
-  int r;
   debugf("PAGING     delay %f\n",need_sleep);
   debugf("PAGING     delay %f\n",need_sleep);
-  r= usleep(need_sleep * 1e6);  eassert(!r);
+  sysassert(! usleep(need_sleep * 1e6) );
 }
 
 static void sync_after_input(void) {
 }
 
 static void sync_after_input(void) {
-  int r;
-  r= XSync(disp, False);  eassert(r);
+  xassert( XSync(disp, False) );
   last_input= timestamp();
 }
 
   last_input= timestamp();
 }
 
+static void translate_coords_toroot(int wx, int wy, int *rx, int *ry) {
+  Window dummy;
+  xassert( XTranslateCoordinates(disp, id,attr.root, wx,wy, rx,ry, &dummy) );
+}
+static void translate_coords_toroot_p(Point w, int *rx, int *ry) {
+  translate_coords_toroot(w.x, w.y, rx, ry);
+}
+
+static void check_client_window_all_on_screen(void) {
+  Rect onroot;
+  unsigned rwidth, rheight;
+  Window dummy;
+  unsigned bd, depth;
+  int rxpos, rypos;
+
+  xassert( XGetGeometry(disp,attr.root, &dummy, &rxpos,&rypos,
+                       &rwidth, &rheight,
+                       &bd,&depth) );
+  
+  translate_coords_toroot(0,0, &onroot.tl.x,&onroot.tl.y);
+  translate_coords_toroot(wwidth-1,wheight-1, &onroot.br.x,&onroot.br.y);
+  if (!(onroot.tl.x >= 0 &&
+       onroot.tl.y >= 0 &&
+       onroot.br.x < rwidth &&
+       onroot.br.y < rheight))
+    fatal("YPP client window is not entirely on the screen.");
+}
+
+static void check_not_disturbed(void) {
+  XEvent ev;
+  int r;
+  
+  for (;;) {
+    r= XCheckMaskEvent(disp, ~0, &ev);
+    if (r==False) return;
+
+    switch (ev.type) {
+    case VisibilityNotify:
+      if (ev.xvisibility.state != VisibilityUnobscured)
+       fatal("YPP client window has become obscured.");
+      break;
+    case ConfigureNotify:
+      check_client_window_all_on_screen();
+      break;
+    case FocusOut:
+      fatal("Focus left YPP client window.");
+      break;
+    case FocusIn:
+      warning("focus entered YPP client window ?!");
+      break;
+    default:
+      fatal("Received unexpected X11 event (type code %d)!", ev.type);
+    }
+  }
+}      
+
 static void send_key(KeySym sym) {
 static void send_key(KeySym sym) {
+  check_not_disturbed();
   XTestFakeKeyEvent(disp, keycode(sym),1, 10);
   XTestFakeKeyEvent(disp, keycode(sym),0, 10);
 }
   XTestFakeKeyEvent(disp, keycode(sym),1, 10);
   XTestFakeKeyEvent(disp, keycode(sym),0, 10);
 }
+static void mouse_1_updown_here(void) {
+  check_not_disturbed();
+  XTestFakeButtonEvent(disp,1,1, 10);
+  XTestFakeButtonEvent(disp,1,0, 10);
+}
+static void mouse_1_updown(int x, int y) {
+  check_not_disturbed();
+  int screen= XScreenNumberOfScreen(attr.screen);
+  int xpos, ypos;
+  translate_coords_toroot(x,y, &xpos,&ypos);
+  XTestFakeMotionEvent(disp, screen, xpos,ypos, 0);
+  mouse_1_updown_here();
+}
+static void pgdown_by_mouse(void) {
+  check_not_disturbed();
+  debugf("PAGING   Mouse\n");
+  mouse_1_updown_here();
+  sync_after_input();
+}
+
+static int pgupdown;
 
 static void send_pgup_many(void) {
   int i;
 
 static void send_pgup_many(void) {
   int i;
-  for (i=0; i<25; i++)
+  for (i=0; i<25; i++) {
     send_key(XK_Prior);
     send_key(XK_Prior);
+    pgupdown--;
+  }
   debugf("PAGING   PageUp x %d\n",i);
   sync_after_input();
 }
   debugf("PAGING   PageUp x %d\n",i);
   sync_after_input();
 }
-static void send_pgdown(void) {
-  send_key(XK_Next);
-  debugf("PAGING   PageDown\n");
+static void send_pgdown_torestore(void) {
+  debugf("PAGING   PageDown x %d\n", -pgupdown);
+  while (pgupdown < 0) {
+    send_key(XK_Next);
+    pgupdown++;
+  }
   sync_after_input();
 }
 
 static void free_snapshot(Snapshot **io) {
   sync_after_input();
 }
 
 static void free_snapshot(Snapshot **io) {
-  if (*io) XDestroyImage(*io);
+  free(*io);
   *io= 0;
 }
 
   *io= 0;
 }
 
+#define SAMPLEMASK 0xfful
+
+typedef struct {
+  int lshift, rshift;
+} ShMask;
+
+static void compute_shift_mask(ShMask *sm, unsigned long ximage_mask) {
+  sm->lshift= 0;
+  sm->rshift= 0;
+  
+  for (;;) {
+    if (ximage_mask <= (SAMPLEMASK>>1)) {
+      sm->lshift++;  ximage_mask <<= 1;
+    } else if (ximage_mask > SAMPLEMASK) {
+      sm->rshift++;  ximage_mask >>= 1;
+    } else {
+      break;
+    }
+    assert(!(sm->lshift && sm->rshift));
+  }
+  assert(sm->lshift < LONG_BIT);
+  assert(sm->rshift < LONG_BIT);
+  debugf("SHIFTMASK %p={.lshift=%d, .rshift=%d} image_mask=%lx\n",
+        sm, sm->lshift, sm->rshift, ximage_mask);
+}
+
+static void rtimestamp(double *t, const char *wh) {
+  double n= timestamp();
+  debugf("PAGING                INTERVAL %f  %s\n", n-*t, wh);
+  *t= n;
+}
+
 static void snapshot(Snapshot **output) {
 static void snapshot(Snapshot **output) {
-  free_snapshot(output);
+  XImage *im_use, *im_free=0;
+
+  ShMask shiftmasks[3];
 
   debugf("PAGING   snapshot\n");
 
 
   debugf("PAGING   snapshot\n");
 
-  timestamp();
-  *output= XGetImage(disp,id, 0,0, wwidth,wheight, AllPlanes, ZPixmap);
-  timestamp();
+  double begin= timestamp();
+  if (shmim) {
+    rtimestamp(&begin, "XShmGetImage before");
+    xassert( XShmGetImage(disp,id,shmim, 0,0, AllPlanes) );
+    rtimestamp(&begin, "XShmGetImage");
+
+    size_t dsz= shmim->bytes_per_line * shmim->height;
+    im_use= im_free= mmalloc(sizeof(*im_use) + dsz);
+    *im_free= *shmim;
+    im_free->data= (void*)(im_free+1);
+    memcpy(im_free->data, shmim->data, dsz);
+    rtimestamp(&begin, "mmalloc/memcpy");
+  } else {
+    rtimestamp(&begin, "XGetImage before");
+    xassert( im_use= im_free=
+            XGetImage(disp,id, 0,0, wwidth,wheight, AllPlanes, ZPixmap) );
+    rtimestamp(&begin, "XGetImage");
+  }
+
+#define COMPUTE_SHIFT_MASK(ix, rgb) \
+  compute_shift_mask(&shiftmasks[ix], im_use->rgb##_mask)
+  COMPUTE_SHIFT_MASK(0, red);
+  COMPUTE_SHIFT_MASK(1, green);
+  COMPUTE_SHIFT_MASK(2, blue);
   
   
+  if (!*output)
+    *output= alloc_rgb_image(wwidth, wheight);
+
+  rtimestamp(&begin, "compute_shift_masks+alloc_rgb_image");
+
+  int x,y,i;
+  unsigned char *op= (*output)->data;
+  for (y=0; y<wheight; y++) {
+    if (im_use->xoffset == 0 &&
+       im_use->format == ZPixmap &&
+       im_use->byte_order == LSBFirst &&
+       im_use->depth == 24 &&
+       im_use->bits_per_pixel == 32 &&
+       im_use->red_mask   == 0x0000ffU &&
+       im_use->green_mask == 0x00ff00U &&
+       im_use->blue_mask  == 0xff0000U) {
+      const char *p= im_use->data + y * im_use->bytes_per_line;
+//      debugf("optimised copy y=%d",y);
+      for (x=0; x<wwidth; x++) {
+       *op++ = *p++;
+       *op++ = *p++;
+       *op++ = *p++;
+       p++;
+      }
+    } else {
+      for (x=0; x<wwidth; x++) {
+       long xrgb= XGetPixel(im_use,x,y);
+       for (i=0; i<3; i++) {
+         unsigned long sample=
+           ((xrgb << shiftmasks[i].lshift) >> shiftmasks[i].rshift)
+           & SAMPLEMASK;
+         *op++= sample;
+       }
+      }
+    }
+  }
+
+  rtimestamp(&begin,"w*h*XGetPixel");
+  if (im_free)
+    XDestroyImage(im_free);
+  
+  rtimestamp(&begin,"XDestroyImage");
+  check_not_disturbed();
+
   debugf("PAGING   snapshot done.\n");
 }
 
 static int identical(const Snapshot *a, const Snapshot *b) {
   debugf("PAGING   snapshot done.\n");
 }
 
 static int identical(const Snapshot *a, const Snapshot *b) {
-  if (!(a->width == b->width &&
-       a->height == b->height &&
-       a->bytes_per_line == b->bytes_per_line &&
-       a->format == b->format))
+  if (!(a->w == b->w &&
+       a->h == b->h))
     return 0;
     return 0;
-  return !memcmp(a->data, b->data, a->bytes_per_line * a->height);
+
+  int compare_to= a->h;
+  if (max_relevant_y>=0 && compare_to > max_relevant_y)
+    compare_to= max_relevant_y;
+  
+  return !memcmp(a->data, b->data, a->w * 3 * compare_to);
 }
 
 }
 
+static void wait_for_stability(Snapshot **output,
+                              const Snapshot *previously,
+                              void (*with_keypress)(void),
+                              const char *fmt, ...)
+     FMT(4,5);
+
 static void wait_for_stability(Snapshot **output,
                               const Snapshot *previously,
                               void (*with_keypress)(void),
                               const char *fmt, ...) {
 static void wait_for_stability(Snapshot **output,
                               const Snapshot *previously,
                               void (*with_keypress)(void),
                               const char *fmt, ...) {
+  va_list al;
+  va_start(al,fmt);
+
   Snapshot *last=0;
   Snapshot *last=0;
-  int r;
+  int nidentical=0;
   /* waits longer if we're going to return an image identical to previously
    * if previously==0, all images are considered identical to it */
 
   /* waits longer if we're going to return an image identical to previously
    * if previously==0, all images are considered identical to it */
 
-  debugf("PAGING  wait_for_stability"
-         "  last_input=%f previously=%p\n",
-         last_input, previously);
-
   char *doing;
   char *doing;
-  va_list al;
-  va_start(al,fmt);
-  r= asprintf(&doing,fmt,al);  eassert(r>=0);
-  va_end(al);
+  sysassert( vasprintf(&doing,fmt,al) >=0 );
 
 
-  progress(doing);
+  debugf("PAGING  wait_for_stability"
+         "  last_input=%f previously=%p `%s'\n",
+         last_input, previously, doing);
 
 
+  double min_interval= 25000; /*us*/
   for (;;) {
   for (;;) {
-    double at_snapshot= timestamp();
-    double need_sleep= min_update_allowance - (at_snapshot - last_input);
-    if (need_sleep > 0) { delay(need_sleep); continue; }
+    progress_spinner("%s",doing);
+    
+    double since_last_input= timestamp() - last_input;
+    double this_interval= min_interval - since_last_input;
 
 
-    snapshot(output);
+    if (this_interval >= 0)
+      usleep(this_interval);
 
 
-    if (!with_keypress &&
-       !(previously && identical(*output,previously))) {
-      debugf("PAGING  wait_for_stability  simple\n");
-      break;
-    }
+    snapshot(output);
 
 
-    if (last && identical(*output,last)) {
-      debugf("PAGING  wait_for_stability  stabilised\n");
-      break;
+    if (!last) {
+      debugf("PAGING  wait_for_stability first...\n");
+      last=*output; *output=0;
+    } else if (!identical(*output,last)) {
+      debugf("PAGING  wait_for_stability changed...\n");
+      free_snapshot(&last); last=*output; *output=0;
+      nidentical=0;
+      if (!with_keypress) {
+       min_interval *= 3.0;
+       min_interval += 0.5;
+      }
+    } else {
+      nidentical++;
+      int threshold=
+       !previously ? 3 :
+       identical(*output,previously) ? 5
+       : 1;
+      debugf("PAGING  wait_for_stability nidentical=%d threshold=%d\n",
+             nidentical, threshold);
+      if (nidentical >= threshold)
+       break;
+
+      min_interval += 0.5;
+      min_interval *= 2.0;
     }
     }
-    
-    progress_spinner(doing);
-
-    debugf("PAGING  wait_for_stability  retry\n");
-
-    free_snapshot(&last); last=*output; *output=0;
 
     if (with_keypress)
       with_keypress();
 
     if (with_keypress)
       with_keypress();
-
-    delay(0.5);
   }
 
   free_snapshot(&last);
   free(doing);
   debugf("PAGING  wait_for_stability done.\n");
   }
 
   free_snapshot(&last);
   free(doing);
   debugf("PAGING  wait_for_stability done.\n");
-}
-
-static void translate_coords_toroot(int wx, int wy, int *rx, int *ry) {
-  int r;
-  Window dummy;
-  r= XTranslateCoordinates(disp, id,attr.root, wx,wy, rx,ry, &dummy);
-  eassert(r);
+  va_end(al);
 }
 
 static void raise_and_get_details(void) {
 }
 
 static void raise_and_get_details(void) {
-  int r;
   int evbase,errbase,majver,minver;
   int wxpos, wypos;
   unsigned bd,depth;
   int evbase,errbase,majver,minver;
   int wxpos, wypos;
   unsigned bd,depth;
-  Window dummy;
 
   progress("raising and checking YPP client window...");
 
   debugf("PAGING raise_and_get_details\n");
 
 
   progress("raising and checking YPP client window...");
 
   debugf("PAGING raise_and_get_details\n");
 
-  r= XTestQueryExtension(disp, &evbase,&errbase,&majver,&minver);
-  eassert(r==True);
+  int xtest= XTestQueryExtension(disp, &evbase,&errbase,&majver,&minver);
+  if (!xtest) fatal("X server does not support the XTEST extension.");
 
 
-  r= XRaiseWindow(disp, id);  eassert(r);
+  xassert( XRaiseWindow(disp, id) );
   /* in case VisibilityNotify triggers right away before we have had a
    * change to raise; to avoid falsely detecting lowering in that case */
   
   /* in case VisibilityNotify triggers right away before we have had a
    * change to raise; to avoid falsely detecting lowering in that case */
   
-  r= XSelectInput(disp, id,
-                 StructureNotifyMask|
-                 VisibilityChangeMask
-                 );  eassert(r);
+  xassert( XSelectInput(disp, id,
+                       StructureNotifyMask|
+                       VisibilityChangeMask
+                       ) );
 
 
-  r= XRaiseWindow(disp, id);  eassert(r);
+  xassert( XRaiseWindow(disp, id) );
   /* in case the window was lowered between our Raise and our SelectInput;
    * to avoid failing to detect that lowering */
 
   /* in case the window was lowered between our Raise and our SelectInput;
    * to avoid failing to detect that lowering */
 
-  r= XGetWindowAttributes(disp, id, &attr);  eassert(r);
-  r= XGetGeometry(disp,id, &attr.root,
-                 &wxpos,&wypos, &wwidth,&wheight,
-                 &bd,&depth);
+  xassert( XGetWindowAttributes(disp, id, &attr) );
+  xassert( XGetGeometry(disp,id, &attr.root,
+                       &wxpos,&wypos, &wwidth,&wheight,
+                       &bd,&depth) );
+
+  if (!(wwidth >= 320 && wheight >= 320))
+    fatal("YPP client window is implausibly small?");
+
+  if (attr.depth < 24)
+    fatal("Display is not 24bpp.");
+
+  check_client_window_all_on_screen();
+
+  Bool shmpixmaps=0;
+  int major=0,minor=0;
+  int shm= XShmQueryVersion(disp, &major,&minor,&shmpixmaps);
+  debugf("PAGING shm=%d %d.%d pixmaps=%d\n",shm,major,minor,shmpixmaps);
+  if (shm) {
+    xassert( shmim= XShmCreateImage(disp, attr.visual, attr.depth, ZPixmap,
+                                   0,&shminfo, wwidth,wheight) );
+
+    sigset_t oldset, all;
+    sigfillset(&all);
+    sysassert(! sigprocmask(SIG_BLOCK,&all,&oldset) );
+
+    int pfd[2];
+    pid_t cleaner;
+    sysassert(! pipe(pfd) );
+    sysassert( (cleaner= fork()) != -1 );
+    if (!cleaner) {
+      sysassert(! close(pfd[1]) );
+      for (;;) {
+       int r= read(pfd[0], &shminfo.shmid, sizeof(shminfo.shmid));
+       if (!r) exit(0);
+       if (r==sizeof(shminfo.shmid)) break;
+       assert(r==-1 && errno==EINTR);
+      }
+      for (;;) {
+       char bc;
+       int r= read(pfd[0],&bc,1);
+       if (r>=0) break;
+       assert(r==-1 && errno==EINTR);
+      }
+      sysassert(! shmctl(shminfo.shmid,IPC_RMID,0) );
+      exit(0);
+    }
+    sysassert(! close(pfd[0]) );
+
+    sysassert(! sigprocmask(SIG_SETMASK,&oldset,0) );
 
 
-  eassert(wwidth >= 320 && wheight >= 320);
+    assert(shmim->height == wheight);
+    sysassert( (shminfo.shmid=
+               shmget(IPC_PRIVATE, shmim->bytes_per_line * wheight,
+                      IPC_CREAT|0600)) >= 0 );
 
 
-  int rxpos, rypos;
-  unsigned rwidth, rheight;
-  r= XGetGeometry(disp,attr.root, &dummy, &rxpos,&rypos,
-                 &rwidth, &rheight,
-                 &bd,&depth);
-  
-  translate_coords_toroot(0,0, &rxpos,&rypos);
-  eassert(rxpos>=0 && rypos>=0);
+    sysassert( write(pfd[1],&shminfo.shmid,sizeof(shminfo.shmid)) ==
+              sizeof(shminfo.shmid) );
+    sysassert( shminfo.shmaddr= shmat(shminfo.shmid,0,0) );
+    shmim->data= shminfo.shmaddr;
+    shminfo.readOnly= False;
+    xassert( XShmAttach(disp,&shminfo) );
 
 
-  translate_coords_toroot(wwidth-1,wheight-1, &rxpos,&rypos);
-  eassert(rxpos<rwidth && rypos<rheight);
+    close(pfd[1]); /* causes IPC_RMID */
+  }
 }
 
 }
 
-static void set_focus(void) {
+static void set_focus_commodity(void) {
   int screen= XScreenNumberOfScreen(attr.screen);
 
   progress("taking control of YPP client window...");
 
   debugf("PAGING set_focus\n");
 
   int screen= XScreenNumberOfScreen(attr.screen);
 
   progress("taking control of YPP client window...");
 
   debugf("PAGING set_focus\n");
 
-  int xpos, ypos;
-  translate_coords_toroot(160,160, &xpos,&ypos);
-  XTestFakeMotionEvent(disp,screen, xpos,ypos, 0);
-
-  XTestFakeButtonEvent(disp,1,1, 50);
-  XTestFakeButtonEvent(disp,1,0, 50);
-
+  mouse_1_updown(commod_focus_point.x, commod_focus_point.y);
   sync_after_input();
 
   sync_after_input();
 
-  translate_coords_toroot(10,10, &xpos,&ypos);
-  XTestFakeMotionEvent(disp,screen, xpos,ypos, 0);
+  delay(0.5);
+  xassert( XSelectInput(disp, id,
+                       StructureNotifyMask|
+                       VisibilityChangeMask|
+                       FocusChangeMask
+                       ) );
+
+  int xpos,ypos;
+  translate_coords_toroot_p(commod_page_point, &xpos,&ypos);
+  XTestFakeMotionEvent(disp, screen, xpos,ypos, 0);
 
   sync_after_input();
 
   debugf("PAGING raise_and_set_focus done.\n");
 }
 
 
   sync_after_input();
 
   debugf("PAGING raise_and_set_focus done.\n");
 }
 
-#define SAMPLEMASK 0xfful
-
-typedef struct {
-  int lshift, rshift;
-} ShMask;
-
-static void compute_shift_mask(ShMask *sm, unsigned long ximage_mask) {
-  sm->lshift= 0;
-  sm->rshift= 0;
-  
-  for (;;) {
-    if (ximage_mask <= (SAMPLEMASK>>1)) {
-      sm->lshift++;  ximage_mask <<= 1;
-    } else if (ximage_mask > SAMPLEMASK) {
-      sm->rshift++;  ximage_mask >>= 1;
-    } else {
-      break;
-    }
-    assert(!(sm->lshift && sm->rshift));
-  }
-  assert(sm->lshift < LONG_BIT);
-  assert(sm->rshift < LONG_BIT);
-}
-
-static CanonImage *convert_page(Snapshot *sn) {
-  ShMask shiftmasks[3];
+static CanonImage *convert_page(const Snapshot *sn) {
   CanonImage *im;
 
   CanonImage *im;
 
-  fprintf(screenshots_file,
-         "P6\n"
-         "%d %d\n"
-         "255\n", sn->width, sn->height);
+  fwrite_ppmraw(screenshot_file, sn);
 
 
-#define COMPUTE_SHIFT_MASK(ix, rgb) \
-  compute_shift_mask(&shiftmasks[ix], sn->rgb##_mask)
-  COMPUTE_SHIFT_MASK(0, red);
-  COMPUTE_SHIFT_MASK(1, green);
-  COMPUTE_SHIFT_MASK(2, blue);
-
-  CANONICALISE_IMAGE(im, sn->width, sn->height, {
-    long xrgb= XGetPixel(sn, x, y);
-    int i;
-    rgb= 0;
-    for (i=0; i<3; i++) {
-      rgb <<= 8;
-      unsigned long sample=
-       ((xrgb << shiftmasks[i].lshift)
-             >> shiftmasks[i].rshift) & SAMPLEMASK;
-      rgb |= sample;
-      fputc(sample, screenshots_file);
-    }
+  const unsigned char *pixel= sn->data;
+  CANONICALISE_IMAGE(im, sn->w, sn->h, {
+    r= *pixel++;
+    g= *pixel++;
+    b= *pixel++;
   });
   });
-
-  eassert(!fflush(screenshots_file));
+    
+  sysassert(!ferror(screenshot_file));
+  sysassert(!fflush(screenshot_file));
 
   return im;
 }
 
 
   return im;
 }
 
-void take_screenshots(void) {
-  Snapshot *current=0, *last=0;
+static void prepare_ypp_client(void) {
   CanonImage *test;
   CanonImage *test;
-
+  Snapshot *current=0;
+  
   /* find the window and check it's on the right kind of screen */
   raise_and_get_details();
   wait_for_stability(&current,0,0, "checking current YPP client screen...");
   /* find the window and check it's on the right kind of screen */
   raise_and_get_details();
   wait_for_stability(&current,0,0, "checking current YPP client screen...");
+
   test= convert_page(current);
   test= convert_page(current);
-  find_structure(test);
+  find_structure(test, &max_relevant_y,
+                &commod_focus_point,
+                &commod_page_point,
+                &commod_focuslast_point);
+  check_correct_commodities();
+  Rect sunshine= find_sunshine_widget();
+
+  progress("poking client...");
+  mouse_1_updown((sunshine.tl.x   + sunshine.br.x) / 2,
+                (sunshine.tl.y*9 + sunshine.br.y) / 10);
+
   free(test);
 
   free(test);
 
+  wait_for_stability(&current,0,0, "checking basic YPP client screen...");
+  mouse_1_updown(250, wheight-10);
+  mouse_1_updown_here();
+  mouse_1_updown_here();
+  XSync(disp,False);
+  check_not_disturbed();
+  send_key(XK_slash);
+  send_key(XK_w);
+  send_key(XK_Return);
+  sync_after_input();
+
+  Snapshot *status=0;
+  wait_for_stability(&status,current,0, "awaiting status information...");
+  free_snapshot(&current);
+  free_snapshot(&status);
+}
+
+void take_screenshots(void) {
+  Snapshot *current=0, *last=0;
+
+  prepare_ypp_client();
+  
   /* page to the top - keep pressing page up until the image stops changing */
   /* page to the top - keep pressing page up until the image stops changing */
-  set_focus();
+  set_focus_commodity();
   wait_for_stability(&current,0, send_pgup_many,
                     "paging up to top of commodity list...");
 
   wait_for_stability(&current,0, send_pgup_many,
                     "paging up to top of commodity list...");
 
@@ -317,14 +591,18 @@ void take_screenshots(void) {
   for (;;) {
     debugf("paging page %d\n",npages);
 
   for (;;) {
     debugf("paging page %d\n",npages);
 
-    eassert(npages < MAX_PAGES);
+    if (!(npages < MAX_PAGES))
+      fatal("Paging down seems to generate too many pages - max is %d.",
+           MAX_PAGES);
+    
     page_images[npages]= convert_page(current);
     free_snapshot(&last); last=current; current=0;
 
     debugf("PAGING page %d converted\n",npages);
 
     wait_for_stability(&current,last, 0,
     page_images[npages]= convert_page(current);
     free_snapshot(&last); last=current; current=0;
 
     debugf("PAGING page %d converted\n",npages);
 
     wait_for_stability(&current,last, 0,
-                      "collecting screenshot of page %d...",npages+1);
+                      "collecting screenshot of page %d...",
+                      npages+1);
 
     if (npages &&  /* first pagedown doesn't do much */
        identical(current,last)) {
 
     if (npages &&  /* first pagedown doesn't do much */
        identical(current,last)) {
@@ -332,18 +610,23 @@ void take_screenshots(void) {
       break;
     }
 
       break;
     }
 
-    send_pgdown();
+    pgdown_by_mouse();
     npages++;
   }
     npages++;
   }
+  progress("finishing with the YPP client...");
+  mouse_1_updown(commod_focuslast_point.x, commod_focuslast_point.y);
+  sync_after_input();
+  send_pgdown_torestore();
+  sync_after_input();
+
   debugf("PAGING all done.\n");
   progress_log("collected %d screenshots.",npages);
 }    
 
 void take_one_screenshot(void) {
   Snapshot *current=0;
   debugf("PAGING all done.\n");
   progress_log("collected %d screenshots.",npages);
 }    
 
 void take_one_screenshot(void) {
   Snapshot *current=0;
-  
-  raise_and_get_details();
-  sync_after_input();
+
+  prepare_ypp_client();
   wait_for_stability(&current,0,0, "taking screenshot...");
   page_images[0]= convert_page(current);
   npages= 1;
   wait_for_stability(&current,0,0, "taking screenshot...");
   page_images[0]= convert_page(current);
   npages= 1;
@@ -356,111 +639,122 @@ void set_yppclient_window(unsigned long wul) {
 
 DEBUG_DEFINE_SOME_DEBUGF(findypp,debugfind)
 
 
 DEBUG_DEFINE_SOME_DEBUGF(findypp,debugfind)
 
-void find_yppclient_window(void) {
-  Window root, gotroot, gotparent;
-  int screen, r;
-  int nfound=0;
-  
-  if (id) return;
-  
-  progress("looking for YPP client window...");
+static int nfound;
+static Atom wm_name;
+static int screen;
+
+static void findypp_recurse(int depth, int targetdepth, Window w) {
+  unsigned int nchildren;
+  int i;
+  Window *children=0;
+  Window gotroot, gotparent;
 
   static const char prefix[]= "Puzzle Pirates - ";
   static const char onthe[]= " on the ";
   static const char suffix[]= " ocean";
 
   static const char prefix[]= "Puzzle Pirates - ";
   static const char onthe[]= " on the ";
   static const char suffix[]= " ocean";
-#define S(x) (sizeof((x))-1)
-
-  Atom wm_name= XInternAtom(disp,"WM_NAME",True);
-  eassert(wm_name != None);
-
-  for (screen=0; screen<ScreenCount(disp); screen++) {
-    debugfind("FINDYPP screen %d\n", screen);
-    root= RootWindow(disp,screen);
-    unsigned int nchildren1;
-    Window *children1=0;
-
-    r= XQueryTree(disp,root,
-                 &gotroot,&gotparent,
-                 &children1,&nchildren1);
-    eassert(r);
-    debugfind("FINDYPP screen %d nchildren1=%d\n", screen, nchildren1);
-
-    int i;
-    for (i=0; i<nchildren1; i++) {
-      Window w1= children1[i];
-      unsigned int nchildren2;
-      Window *children2=0;
-
-      r= XQueryTree(disp,w1,
-                   &gotroot,&gotparent,
-                   &children2,&nchildren2);
-      eassert(r);
-      debugfind("FINDYPP screen %d c1[%2d]=0x%08lx nchildren2=%d\n",
-               screen, i, (unsigned long)w1, nchildren2);
-
-      int j;
-      for (j=-1; j<(int)nchildren2; j++) {
-       Window w2= j<0 ? w1 : children2[j];
-       debugfind("FINDYPP screen %d c1[%2d]=0x%08lx c2[%2d]=0x%08lx",
-                 screen, i, (unsigned long)w1, j, (unsigned long)w2);
-
-       int gotfmt;
-       Atom gottype;
-       unsigned long len, gotbytesafter;
-       char *title;
-       unsigned char *gottitle=0;
-       r= XGetWindowProperty(disp,w2, wm_name,0,512, False,
-                             AnyPropertyType,&gottype, &gotfmt, &len,
-                             &gotbytesafter, &gottitle);
-       eassert(!r);
-       title= (char*)gottitle;
-
-       if (DEBUGP(findypp)) {
-         debugfind(" gf=%d len=%lu gba=%lu \"", gotfmt,len,gotbytesafter);
-         char *p;
-         for (p=title; p < title+len; p++) {
-           char c= *p;
-           if (c>=' ' && c<=126) fputc(c,debug);
-           else fprintf(debug,"\\x%02x",c & 0xff);
-         }
-         fputs("\": ",debug);
-       }
+#define S(x) ((int)sizeof((x))-1)
+
+  debugfind("FINDYPP %d/%d screen %d  %*s %lx",
+           depth,targetdepth,screen,
+           depth,"",(unsigned long)w);
+  
+  if (depth!=targetdepth) {
+    xassert( XQueryTree(disp,w,
+                       &gotroot,&gotparent,
+                       &children,&nchildren) );
+    debugfind(" nchildren=%d\n",nchildren);
+  
+    for (i=0; i<nchildren; i++) {
+      Window child= children[i];
+      findypp_recurse(depth+1, targetdepth, child);
+    }
+    XFree(children);
+    return;
+  }
+    
 
 
-#define REQUIRE(pred)                                                     \
-        if (!(pred)) { debugfind(" failed test  %s\n", #pred); continue; } \
-        else
+  int gotfmt;
+  Atom gottype;
+  unsigned long len, gotbytesafter;
+  char *title;
+  unsigned char *gottitle=0;
+  xassert( !XGetWindowProperty(disp,w, wm_name,0,512, False,
+                              AnyPropertyType,&gottype, &gotfmt, &len,
+                              &gotbytesafter, &gottitle) );
+  title= (char*)gottitle;
+
+  if (DEBUGP(findypp)) {
+    debugfind(" gf=%d len=%lu gba=%lu \"", gotfmt,len,gotbytesafter);
+    char *p;
+    for (p=title; p < title+len; p++) {
+      char c= *p;
+      if (c>=' ' && c<=126) fputc(c,debug);
+      else fprintf(debug,"\\x%02x",c & 0xff);
+    }
+    fputs("\": ",debug);
+  }
 
 
-       REQUIRE( gottype!=None );
-       REQUIRE( len );
-       REQUIRE( gotfmt==8 );
+#define REQUIRE(pred)                                                  \
+  if (!(pred)) { debugfind(" failed test  %s\n", #pred); return; }     \
+  else
 
 
-       REQUIRE( len >= S(prefix) + 1 + S(onthe) + 1 + S(suffix) );
+  REQUIRE( gottype!=None );
+  REQUIRE( len );
+  REQUIRE( gotfmt==8 );
 
 
-       char *spc1= strchr(  title        + S(prefix), ' ');  REQUIRE(spc1);
-       char *spc2= strrchr((title + len) - S(suffix), ' ');  REQUIRE(spc2);
+  REQUIRE( len >= S(prefix) + 1 + S(onthe) + 1 + S(suffix) );
 
 
-       REQUIRE( (title + len) - spc1  >= S(onthe)  + S(suffix) );
-       REQUIRE(  spc2         - title >= S(prefix) + S(onthe) );
+  char *spc1= strchr(  title        + S(prefix), ' ');  REQUIRE(spc1);
+  char *spc2= strrchr((title + len) - S(suffix), ' ');  REQUIRE(spc2);
 
 
-       REQUIRE( !memcmp(title,                   prefix, S(prefix)) );
-       REQUIRE( !memcmp(title + len - S(suffix), suffix, S(suffix))  );
-       REQUIRE( !memcmp(spc1,                    onthe,  S(onthe))  );
+  REQUIRE( (title + len) - spc1  >= S(onthe)  + S(suffix) );
+  REQUIRE(  spc2         - title >= S(prefix) + S(onthe) );
 
 
-#define ASSIGN(what, start, end) do {                                  \
-       r= asprintf(&what, "%.*s", end - start, start);  eassert(r>0);  \
-     }while(0)
-       ASSIGN(ocean,  title + S(prefix),  spc1);
-       ASSIGN(pirate, spc1 + S(onthe),   (title + len) - S(suffix));
+  REQUIRE( !memcmp(title,                   prefix, S(prefix)) );
+  REQUIRE( !memcmp(title + len - S(suffix), suffix, S(suffix))  );
+  REQUIRE( !memcmp(spc1,                    onthe,  S(onthe))  );
 
 
-       debugfind(" YES!\n");
-       id= w2;
-       nfound++;
-       progress_log("found YPP client window (0x%lx): %s on the %s ocean.",
-                    (unsigned long)id, pirate, ocean);
-      }
-      if (children2) XFree(children2);
+#define ASSIGN(what, start, end)                       \
+  what= masprintf("%.*s", (int)((end)-(start)), start);        \
+  if (o_##what) REQUIRE( !strcasecmp(o_##what, what) );        \
+  else
+
+  ASSIGN(ocean,  spc1 + S(onthe),   (title + len) - S(suffix));
+  ASSIGN(pirate, title + S(prefix),  spc1);
+
+  debugfind(" YES!\n");
+  id= w;
+  nfound++;
+  progress_log("found YPP client (0x%lx):"
+              " %s ocean - %s.",
+              (unsigned long)id, ocean, pirate);
+}
+
+void find_yppclient_window(void) {
+  int targetdepth;
+
+  nfound=0;
+  
+  if (id) return;
+  
+  progress("looking for YPP client window...");
+
+  xassert( (wm_name= XInternAtom(disp,"WM_NAME",True)) != None);
+
+  for (targetdepth=1; targetdepth<4; targetdepth++) {
+    for (screen=0; screen<ScreenCount(disp); screen++) {
+      debugfind("FINDYPP screen %d\n", screen);
+      findypp_recurse(0,targetdepth, RootWindow(disp,screen));
     }
     }
-    if (children1) XFree(children1);
+    if (nfound) break;
   }
   }
-  eassert(nfound==1);
+
+  if (nfound>1)
+    fatal("Found several possible YPP clients.   Close one,\n"
+         " disambiguate with --pirate or --ocean,"
+         " or specify --window-id.\n");
+  if (nfound<1)
+    fatal("Did not find %sYPP client."
+         " Use --window-id and/or report this as a fault.\n",
+         o_ocean || o_pirate ? "matching ": "");
 }
 }