yarrg/convert.c

   1 /*
   2  * yarrg main program: argument parsing etc.
   3  */
   4 /*
   5  *  This is part of ypp-sc-tools, a set of third-party tools for assisting
   6  *  players of Yohoho Puzzle Pirates.
   7  *
   8  *  Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
   9  *
  10  *  This program is free software: you can redistribute it and/or modify
  11  *  it under the terms of the GNU General Public License as published by
  12  *  the Free Software Foundation, either version 3 of the License, or
  13  *  (at your option) any later version.
  14  *
  15  *  This program is distributed in the hope that it will be useful,
  16  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  *  GNU General Public License for more details.
  19  *
  20  *  You should have received a copy of the GNU General Public License
  21  *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
  22  *
  23  *  Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
  24  *  are used without permission.  This program is not endorsed or
  25  *  sponsored by Three Rings.
  26  */
  27
  28 #include "convert.h"
  29
  30 void debug_flush(void) {
  31   sysassert(!ferror(debug));
  32   sysassert(!fflush(debug));
  33 }
  34
  35 const char *get_vardir(void) { return "."; }
  36 const char *get_libdir(void) { return "."; }
  37
  38
  39 enum outmodekind {
  40   omk_unset, omk_raw, omk_str, omk_upload_yarrg, omk_upload_pctb
  41 };
  42
  43 typedef struct {
  44   enum outmodekind kind; /* unset is sentinel */
  45   const char *str; /* non-0 iff not unset or raw */
  46 } OutputMode;
  47
  48 static OutputMode o_outmodes[10];
  49
  50 static char *o_screenshot_fn;
  51 static const char *o_serv_pctb, *o_serv_yarrg;
  52 static const char *o_serv_dict_fetch, *o_serv_dict_submit;
  53
  54 const char *o_resolver= "./dictionary-manager";
  55 FILE *screenshot_file;
  56 const char *o_ocean, *o_pirate;
  57 int o_quiet;
  58
  59 static pid_t screenshot_compressor=-1;
  60
  61 enum mode o_mode= mode_all;
  62 enum flags o_flags=
  63    ff_charset_allowedit |
  64    ff_dict_fetch|ff_dict_submit|ff_dict_pirate;
  65
  66 static void vbadusage(const char *fmt, va_list) FMT(1,0) NORET;
  67 static void vbadusage(const char *fmt, va_list al) {
  68   fputs("bad usage: ",stderr);
  69   vfprintf(stderr,fmt,al);
  70   fputc('\n',stderr);
  71   exit(12);
  72 }
  73 DEFINE_VWRAPPERF(static, badusage, NORET);
  74
  75 static void open_screenshot_file(int for_write) {
  76   if (!fnmatch("*.gz",o_screenshot_fn,0)) {
  77     int mode= for_write ? O_WRONLY|O_CREAT|O_TRUNC : O_RDONLY;
  78     sysassert(! gzopen(o_screenshot_fn, mode, &screenshot_file,
  79                        &screenshot_compressor, "-1") );
  80   } else {
  81     screenshot_file= fopen(o_screenshot_fn, for_write ? "w" : "r");
  82     if (!screenshot_file)
  83       fatal("could not open screenshots file `%s': %s",
  84             o_screenshot_fn, strerror(errno));
  85   }
  86 }
  87
  88 static void run_analysis(void) {
  89   FILE *tf;
  90   OutputMode *om;
  91
  92   sysassert( tf= tmpfile() );
  93   progress("running recognition...");
  94   analyse(tf);
  95
  96   if (o_flags & ff_upload) {
  97     if (npages<=1)
  98       fatal("Recognition successful, but refusing to upload partial data\n"
  99             " (--single-page specified).  Specify an output mode?");
 100   }
 101
 102   for (om=o_outmodes; om->kind != omk_unset; om++) {
 103     sysassert( fseek(tf,0,SEEK_SET) == 0);
 104
 105     progress_log("processing results (--%s)...", om->str);
 106     pid_t processor;
 107     sysassert( (processor= fork()) != -1 );
 108
 109     if (!processor) {
 110       sysassert( dup2(fileno(tf),0) ==0 );
 111       if (om->kind==omk_raw) {
 112         execlp("cat","cat",(char*)0);
 113         sysassert(!"execute cat");
 114       } else {
 115         EXECLP_HELPER("commod-results-processor", om->str, (char*)0);
 116       }
 117     }
 118
 119     waitpid_check_exitstatus(processor, "output processor/uploader", 0);
 120   }
 121
 122   fclose(tf);
 123   progress_log("all complete.");
 124 }
 125
 126 static void rsync_core(const char *stem, const char *suffix,
 127                        const char *zopt) {
 128   pid_t fetcher;
 129
 130   progress("Updating dictionary %s...",stem);
 131
 132   sysassert( (fetcher= fork()) != -1 );
 133   if (!fetcher) {
 134     const char *rsync= getenv("YPPSC_YARRG_RSYNC");
 135     if (!rsync) rsync= "rsync";
 136
 137     const char *src= getenv("YPPSC_YARRG_DICT_UPDATE");
 138     char *remote= masprintf("%s/master-%s.txt%s", src, stem, suffix);
 139     char *local= masprintf("_master-%s.txt%s", stem, suffix);
 140     if (DEBUGP(rsync))
 141       fprintf(stderr,"executing rsync to fetch %s to %s\n",remote,local);
 142     char *opts= masprintf("-Lt%s%s",
 143                           zopt,
 144                           DEBUGP(rsync) ? "v" : "");
 145     execlp(rsync, "rsync",opts,"--",remote,local,(char*)0);
 146     sysassert(!"exec rsync failed");
 147   }
 148
 149   waitpid_check_exitstatus(fetcher, "rsync", 0);
 150 }
 151
 152 void fetch_with_rsync_gz(const char *stem) { rsync_core(stem,".gz",""); }
 153 void fetch_with_rsync(const char *stem) { rsync_core(stem,"","z"); }
 154
 155 static void get_timestamp(void) {
 156   FILE *tf;
 157   pid_t child;
 158   sysassert( tf= tmpfile() );
 159
 160   sysassert( (child= fork()) != -1 );
 161   if (!child) {
 162     sysassert( dup2(fileno(tf),1)==1 );
 163     EXECLP_HELPER("database-info-fetch","timestamp",(char*)0);
 164   }
 165   waitpid_check_exitstatus(child,"timestamp request",0);
 166
 167   sysassert( fseek(tf,0,SEEK_SET) == 0 );
 168   static char lbuf[30];
 169   int l= fread(lbuf,1,sizeof(lbuf),tf);
 170   sysassert( !ferror(tf) );
 171   assert( feof(tf) );
 172   assert( l>1 );
 173   l--;
 174   assert( lbuf[l]=='\n' );
 175   lbuf[l]= 0;
 176
 177   sysassert(! setenv("YPPSC_DATA_TIMESTAMP",lbuf,1) );
 178   fclose(tf);
 179 }
 180
 181 static void set_server(const char *envname, const char *defprotocol,
 182                        const char *defvalue, const char *defvalue_test,
 183                        const char *userspecified,
 184                        int enable) {
 185   const char *value;
 186
 187   if (!enable) { value= "0"; goto ok; }
 188
 189   if (userspecified)
 190     value= userspecified;
 191   else if ((value= getenv(envname)))
 192     ;
 193   else if (o_flags & ff_testservers)
 194     value= defvalue_test;
 195   else
 196     value= defvalue;
 197
 198   if (value[0]=='/' || (value[0]=='.' && value[1]=='/'))
 199     /* absolute or relative pathname - or anyway, something with no hostname */
 200     goto ok;
 201
 202   const char *colon= strchr(value, ':');
 203   const char *slash= strchr(value, '/');
 204
 205   if (colon && (!slash || colon < slash))
 206     /* colon before the first slash, if any */
 207     /* rsync :: protocol specification - anyway, adding scheme:// won't help */
 208     goto ok;
 209
 210   int vallen= strlen(value);
 211
 212   value= masprintf("%s%s%s", defprotocol, value,
 213                    vallen && value[vallen-1]=='/' ? "" : "/");
 214
 215  ok:
 216   sysassert(! setenv(envname,value,1) );
 217 }
 218
 219 static void outputmode(enum outmodekind kind, const char *str) {
 220   OutputMode *om= o_outmodes;
 221   OutputMode *sentinel= o_outmodes + ARRAYSIZE(o_outmodes) - 1;
 222   for (;;) {
 223     if (om==sentinel) badusage("too many output modes specified");
 224     if (!om->kind) break;
 225     om++;
 226   }
 227   om->kind= kind;
 228   om->str=  str;
 229 }
 230
 231 static void outputmode_uploads(void) {
 232   outputmode(omk_upload_yarrg, "upload-yarrg");
 233   outputmode(omk_upload_pctb, "upload-pctb");
 234 }
 235
 236 int main(int argc, char **argv) {
 237   const char *arg;
 238
 239   sysassert( setlocale(LC_MESSAGES,"") );
 240   sysassert( setlocale(LC_CTYPE,"en_GB.UTF-8") ||
 241              setlocale(LC_CTYPE,"en.UTF-8") );
 242
 243 #define ARGVAL  ((*++argv) ? *argv : \
 244                  (badusage("missing value for option %s",arg),(char*)0))
 245
 246 #define IS(s) (!strcmp(arg,(s)))
 247
 248   while ((arg=*++argv)) {
 249     if (IS("--find-window-only"))      o_mode= mode_findwindow;
 250     else if (IS("--screenshot-only"))  o_mode= mode_screenshot;
 251     else if (IS("--show-charset"))     o_mode= mode_showcharset;
 252     else if (IS("--analyse-only") ||
 253              IS("--same"))             o_mode= mode_analyse;
 254     else if (IS("--everything"))       o_mode= mode_all;
 255     else if (IS("--find-island"))      o_flags |= ffs_printisland;
 256     else if (IS("--single-page"))      o_flags |= ff_singlepage;
 257     else if (IS("--quiet"))            o_quiet= 1;
 258     else if (IS("--edit-charset"))     o_flags |= ff_charset_edit;
 259     else if (IS("--no-edit-charset"))  o_flags &= ~(ffm_charset);
 260     else if (IS("--test-servers"))     o_flags |= ff_testservers;
 261     else if (IS("--dict-local-only"))  o_flags &= ~ffs_dict;
 262     else if (IS("--dict-read-only"))   o_flags &= (~ffs_dict | ff_dict_fetch);
 263     else if (IS("--dict-anon"))        o_flags &= ~ff_dict_pirate;
 264     else if (IS("--dict-submit"))      o_flags |= ff_dict_fetch|ff_dict_submit;
 265     else if (IS("--raw-tsv"))          outputmode(omk_raw,0);
 266     else if (IS("--upload"))           outputmode_uploads();
 267     else if (IS("--upload-yarrg"))     outputmode(omk_upload_yarrg,arg+2);
 268     else if (IS("--upload-pctb"))      outputmode(omk_upload_pctb,arg+2);
 269     else if (IS("--arbitrage") ||
 270              IS("--tsv") ||
 271              IS("--best-prices"))      outputmode(omk_str,arg+2);
 272     else if (IS("--screenshot-file")||
 273              IS("--screenshots-file")) o_screenshot_fn= ARGVAL;
 274     else if (IS("--yarrg-server"))        o_serv_yarrg=       ARGVAL;
 275     else if (IS("--pctb-server"))         o_serv_pctb=        ARGVAL;
 276     else if (IS("--dict-submit-server"))  o_serv_dict_submit= ARGVAL;
 277     else if (IS("--dict-update-server"))  o_serv_dict_fetch=  ARGVAL;
 278     else if (IS("--ocean"))            o_ocean=  ARGVAL;
 279     else if (IS("--pirate"))           o_pirate= ARGVAL;
 280 #define DF(f)                                   \
 281     else if (IS("-D" #f))                       \
 282       debug_flags |= dbg_##f;
 283     DEBUG_FLAG_LIST
 284 #undef DF
 285     else if (IS("--window-id")) {
 286       char *ep;
 287       unsigned long windowid= strtoul(ARGVAL,&ep,0);
 288       if (*ep) badusage("invalid window id");
 289       set_yppclient_window(windowid);
 290     } else
 291       badusage("unknown option `%s'",arg);
 292   }
 293
 294   /* Consequential changes to options */
 295
 296   if (o_mode & mf_analyse) {
 297     if (!o_outmodes[0].kind) {
 298       if (o_flags & ff_printisland) {
 299         o_flags |= ff_singlepage;
 300       } else {
 301         outputmode_uploads();
 302       }
 303     }
 304   } else {
 305     if (o_outmodes[0].kind)
 306       badusage("overall mode does not include analysis but output option(s)"
 307                " (eg `--%s') specified",  o_outmodes[0].str);
 308   }
 309
 310   OutputMode *om;
 311   for (om=o_outmodes; om->kind; om++) {
 312     switch (om->kind) {
 313     case omk_upload_yarrg: o_flags |= ffs_upload | ff_use_yarrg; break;
 314     case omk_upload_pctb:  o_flags |= ffs_upload | ff_use_pctb;  break;
 315     default: ;
 316     }
 317   }
 318
 319   if ((o_flags & (ff_needisland|ff_upload)) &&
 320       !(o_flags & (ffm_use)))
 321     o_flags |= ffm_use; /* all */
 322
 323   if (o_serv_yarrg && !o_serv_dict_submit)
 324     o_serv_dict_submit= o_serv_yarrg;
 325
 326   /* Defaults */
 327
 328   set_server("YPPSC_YARRG_YARRG",
 329              "http://",          "upload.yarrg.chiark.net",
 330                                  "upload.yarrg.chiark.net/test",
 331              o_serv_yarrg,       o_flags & ff_use_yarrg);
 332
 333   set_server("YPPSC_YARRG_PCTB",
 334              "http://",          "pctb.ilk.org" /*pctb.crabdance.com*/,
 335                                  "pctb.ilk.org",
 336              o_serv_pctb,        o_flags & ff_use_pctb);
 337
 338   set_server("YPPSC_YARRG_DICT_UPDATE",
 339              "rsync://",         "rsync.yarrg.chiark.net/yarrg",
 340                                  "rsync.yarrg.chiark.net/yarrg/test",
 341              o_serv_dict_fetch,   o_flags & ff_dict_fetch);
 342
 343   set_server("YPPSC_YARRG_DICT_SUBMIT",
 344              "http://",           "upload.yarrg.chiark.net",
 345                                   "upload.yarrg.chiark.net/test",
 346              o_serv_dict_submit,  o_flags & ff_dict_submit);
 347
 348   if (!o_screenshot_fn)
 349     o_screenshot_fn= masprintf("%s/_pages.ppm.gz", get_vardir());
 350
 351   /* Actually do the work */
 352
 353   if ((o_flags & ff_upload) && (o_flags & ff_use_yarrg))
 354     get_timestamp();
 355
 356   canon_colour_prepare();
 357
 358   if (o_mode & mf_findwindow) {
 359     screenshot_startup();
 360     find_yppclient_window();
 361   }
 362   if (!ocean)  ocean=  o_ocean;
 363   if (!pirate) pirate= o_pirate;
 364
 365   if (o_flags & ff_needisland)
 366     if (!ocean)
 367       badusage("need --ocean option when not using actual YPP client window"
 368                " (consider supplying --pirate too)");
 369   if (ocean)
 370     sysassert(! setenv("YPPSC_OCEAN",ocean,1) );
 371   if (pirate && (o_flags & ff_dict_pirate))
 372     sysassert(! setenv("YPPSC_PIRATE",pirate,1) );
 373
 374   switch (o_mode & mfm_special) {
 375   case 0:                                      break;
 376   case mode_showcharset:  ocr_showcharsets();  exit(0);
 377   default:                                     abort();
 378   }
 379
 380   if (o_mode & mf_screenshot) {
 381     open_screenshot_file(1);
 382     if (o_flags & ff_singlepage) take_one_screenshot();
 383     else take_screenshots();
 384     progress_log("OK for you to move the mouse now, and you can"
 385                  " use the YPP client again.");
 386     progress("Finishing handling screenshots...");
 387     gzclose(&screenshot_file,&screenshot_compressor,"screenshots output");
 388   }
 389   if (o_mode & mf_readscreenshot) {
 390     if ((o_flags & ff_upload) && !(o_flags & ff_testservers))
 391       badusage("must not reuse screenshots for upload to live databases");
 392     open_screenshot_file(0);
 393     if (o_flags & ff_singlepage) read_one_screenshot();
 394     else read_screenshots();
 395     gzclose(&screenshot_file,&screenshot_compressor,"screenshots input");
 396   }
 397   if (o_mode & mf_analyse) {
 398     if (o_flags & ff_needisland) {
 399       find_islandname();
 400       if (o_flags & ff_printisland)
 401         printf("%s, %s\n", archipelago, island);
 402       sysassert(! setenv("YPPSC_ISLAND",island,1) );
 403     }
 404     if (o_outmodes[0].kind==omk_raw && o_outmodes[1].kind==omk_unset)
 405       analyse(stdout);
 406     else
 407       run_analysis();
 408   }
 409   progress_log("Finished.");
 410   return 0;
 411 }
 412
 413
 414
 415
 416 DEFINE_VWRAPPERF(, progress, )
 417 DEFINE_VWRAPPERF(, progress_log, )
 418 DEFINE_VWRAPPERF(, progress_spinner, )
 419 DEFINE_VWRAPPERF(, warning, )
 420 DEFINE_VWRAPPERF(, fatal, NORET)
 421
 422 static int last_progress_len;
 423
 424 static void vprogress_core(int spinner, const char *fmt, va_list al) {
 425   int r;
 426
 427   if (o_quiet) return;
 428   if (!debug_flags && !isatty(2)) return;
 429
 430   if (last_progress_len)
 431     putc('\r',stderr);
 432
 433   r= vfprintf(stderr,fmt,al);
 434
 435   if (spinner) {
 436     putc(spinner,stderr);
 437     r++;
 438   }
 439
 440   if (r < last_progress_len) {
 441     fprintf(stderr,"%*s", last_progress_len - r, "");
 442     if (!r) putc('\r', stderr);
 443     else while (last_progress_len-- > r) putc('\b',stderr);
 444   }
 445   last_progress_len= r;
 446
 447   if (ferror(stderr) || fflush(stderr)) _exit(16);
 448 }
 449
 450 void vprogress(const char *fmt, va_list al) { vprogress_core(0,fmt,al); }
 451 void vprogress_spinner(const char *fmt, va_list al) {
 452   static const char spinchars[]="/-\\";
 453   static int spinner;
 454
 455   vprogress_core(spinchars[spinner],fmt,al);
 456   spinner++;
 457   spinner %= (sizeof(spinchars)-1);
 458 }
 459
 460 void vprogress_log(const char *fmt, va_list al) {
 461   if (o_quiet) return;
 462
 463   progress("");
 464   vfprintf(stderr,fmt,al);
 465   putc('\n',stderr);
 466   fflush(stderr);
 467 }
 468
 469 void vwarning(const char *fmt, va_list al) {
 470   progress("");
 471   fputs("Warning: ",stderr);
 472   vfprintf(stderr,fmt,al);
 473   fputs("\n",stderr);
 474   fflush(stderr);
 475 }
 476
 477 void vfatal(const char *fmt, va_list al) {
 478   progress("");
 479   fputs("\n\nFatal error: ",stderr);
 480   vfprintf(stderr,fmt,al);
 481   fflush(stderr);
 482   fputs("\n\n",stderr);
 483   _exit(4);
 484 }
 485
 486 void sysassert_fail(const char *file, int line, const char *what) {
 487   int e= errno;
 488   progress("");
 489   fprintf(stderr,
 490           "\nfatal operational error:\n"
 491           " unsuccessful execution of: %s\n"
 492           " %s:%d: %s\n\n",
 493           what, file,line, strerror(e));
 494   _exit(16);
 495 }
 496
 497 void waitpid_check_exitstatus(pid_t pid, const char *what, int sigpipeok) {
 498   pid_t got;
 499   int st;
 500   for (;;) {
 501     got= waitpid(pid, &st, 0);
 502     if (pid==-1) { sysassert(errno==EINTR); continue; }
 503     break;
 504   }
 505   sysassert( got==pid );
 506
 507   if (WIFEXITED(st)) {
 508     if (WEXITSTATUS(st))
 509       fatal("%s failed with nonzero exit status %d",
 510             what, WEXITSTATUS(st));
 511   } else if (WIFSIGNALED(st)) {
 512     if (!sigpipeok || WTERMSIG(st) != SIGPIPE)
 513       fatal("%s died due to signal %s%s", what,
 514             strsignal(WTERMSIG(st)), WCOREDUMP(st)?" (core dumped)":"");
 515   } else {
 516     fatal("%s gave strange wait status %d", what, st);
 517   }
 518 }
 519
 520 char *masprintf(const char *fmt, ...) {
 521   char *r;
 522   va_list al;
 523   va_start(al,fmt);
 524   sysassert( vasprintf(&r,fmt,al) >= 0);
 525   sysassert(r);
 526   va_end(al);
 527   return r;
 528 }