chiark / gitweb /
Privacy control UI
[ypp-sc-tools.db-test.git] / pctb / convert.c
index dd7f5d1b426dc32d5315ab37cb11793535f7c526..70b4769fe41d74b3539d99be65abb337fc7e2658 100644 (file)
@@ -33,8 +33,10 @@ void debug_flush(void) {
 }
 
 const char *get_vardir(void) { return "."; }
+const char *get_libdir(void) { return "."; }
 
-static enum {
+
+enum mode {
   mf_findwindow=      0001,
   mf_screenshot=      0010,
   mf_readscreenshot=  0020,
@@ -45,15 +47,24 @@ static enum {
   mode_analyse=       0120,
 
   mode_all=           0111,
-} o_mode= mode_all;
+};
+
+enum outmodekind {
+  omk_unset, omk_upload, omk_str, omk_raw, omk_none
+};
+static enum outmodekind o_outmode_kind;
+static const char *o_outmode_str= 0;
 
+static enum mode o_mode= mode_all;
 static char *o_screenshot_fn;
-static int o_single_page, o_quiet;
-static const char *o_outputmode= "upload";
+static int o_quiet;
+static const char *o_serv_pctb, *o_serv_dict_fetch, *o_serv_dict_submit;
 
-const char *o_resolver;
+const char *o_resolver= "./dictionary-manager";
 FILE *screenshot_file;
+const char *o_ocean, *o_pirate;
 
+enum flags o_flags= ff_dict_fetch|ff_dict_submit|ff_dict_pirate;
 
 static void vbadusage(const char *fmt, va_list) FMT(1,0) NORET;
 static void vbadusage(const char *fmt, va_list al) {
@@ -78,66 +89,128 @@ static void run_analysis(void) {
   progress("running recognition...");
   analyse(tf);
 
-  if (o_single_page && !strcmp(o_outputmode,"upload"))
-    fatal("Recognition successful, but refusing to upload partial data\n"
-         " (--single-page specified).  Specify an output mode?");
+  if (o_flags & ff_upload) {
+    if (o_flags & ff_singlepage)
+      fatal("Recognition successful, but refusing to upload partial data\n"
+           " (--single-page specified).  Specify an output mode?");
+  }
 
   sysassert( fseek(tf,0,SEEK_SET) == 0);
 
-  progress_log("processing results (--%s)...", o_outputmode);
+  progress_log("processing results (--%s)...", o_outmode_str);
   pid_t processor;
   sysassert( (processor= fork()) != -1 );
 
   if (!processor) {
     sysassert( dup2(fileno(tf),0) ==0 );
-    execlp("./yppsc-commod-processor", "yppsc-commod-processor",
-          o_outputmode, (char*)0);
-    sysassert(!"execlp commod-processor failed");
+    EXECLP_HELPER("commod-results-processor", o_outmode_str, (char*)0);
   }
 
   waitpid_check_exitstatus(processor, "output processor/uploader");
   fclose(tf);
   progress_log("all complete.");
-}  
+}
+
+void fetch_with_rsync(const char *stem) {
+  pid_t fetcher;
+
+  sysassert( (fetcher= fork()) != -1 );
+  if (!fetcher) {
+    const char *rsync= getenv("YPPSC_PCTB_RSYNC");
+    if (!rsync) rsync= "rsync";
+  
+    const char *src= getenv("YPPSC_PCTB_DICT_UPDATE");
+    char *remote= masprintf("%s/master-%s.txt", src, stem);
+    char *local= masprintf("#master-%s#.txt", stem);
+    execlp(rsync, "rsync",
+          DEBUGP(rsync) ? "-vLt" : "-Lt",
+          "--",remote,local,(char*)0);
+    sysassert(!"exec rsync failed");
+  }
+
+  waitpid_check_exitstatus(fetcher, "rsync");
+}
+
+static void set_server(const char *envname, const char *defprotocol,
+                      const char *defvalue, const char *userspecified,
+                      int enable) {
+  const char *value;
+  
+  if (!enable) { value= "0"; goto ok; }
+
+  if (userspecified)
+    value= userspecified;
+  else if ((value= getenv(envname)))
+    ;
+  else
+    value= defvalue;
+
+  if (value[0]=='/' || (value[0]=='.' && value[1]=='/'))
+    /* absolute or relative pathname - or anyway, something with no hostname */
+    goto ok;
+
+  const char *colon= strchr(value, ':');
+  const char *slash= strchr(value, '/');
+
+  if (colon && (!slash || colon < slash))
+    /* colon before the first slash, if any */
+    /* rsync :: protocol specification - anyway, adding scheme:// won't help */
+    goto ok;
+
+  int vallen= strlen(value);
+
+  value= masprintf("%s%s%s", defprotocol, value,
+                  vallen && value[vallen-1]=='/' ? "" : "/");
+
+ ok:
+  sysassert(! setenv(envname,value,1) );
+}
 
 int main(int argc, char **argv) {
   const char *arg;
-  int r;
+
+  sysassert( setlocale(LC_MESSAGES,"") );
+  sysassert( setlocale(LC_CTYPE,"en_GB.UTF-8") ||
+            setlocale(LC_CTYPE,"en.UTF-8") );
 
 #define ARGVAL  ((*++argv) ? *argv : \
                 (badusage("missing value for option %s",arg),(char*)0))
 
+#define IS(s) (!strcmp(arg,(s)))
+
   while ((arg=*++argv)) {
-    if (!strcmp(arg,"--find-window-only"))
-      o_mode= mode_findwindow;
-    else if (!strcmp(arg,"--screenshot-only"))
-      o_mode= mode_screenshot;
-    else if (!strcmp(arg,"--analyse-only") ||
-            !strcmp(arg,"--same"))
-      o_mode= mode_analyse;
-    else if (!strcmp(arg,"--everything"))
-      o_mode= mode_all;
-    else if (!strcmp(arg,"--single-page"))
-      o_single_page= 1;
-    else if (!strcmp(arg,"--quiet"))
-      o_quiet= 1;
-    else if (!strcmp(arg,"--edit-charset"))
-      o_resolver= "./yppsc-ocr-resolver";
-    else if (!strcmp(arg,"--raw-tsv"))
-      o_outputmode= 0;
-    else if (!strcmp(arg,"--upload") ||
-            !strcmp(arg,"--arbitrage") ||
-            !strcmp(arg,"--tsv") ||
-            !strcmp(arg,"--best-prices"))
-      o_outputmode= arg+2;
-    else if (!strcmp(arg,"--screenshot-file"))
-      o_screenshot_fn= ARGVAL;
+    if (IS("--find-window-only"))      o_mode= mode_findwindow;
+    else if (IS("--screenshot-only"))  o_mode= mode_screenshot;
+    else if (IS("--analyse-only") ||
+            IS("--same"))             o_mode= mode_analyse;
+    else if (IS("--everything"))       o_mode= mode_all;
+    else if (IS("--find-island"))      o_flags |= ffs_printisland;
+    else if (IS("--single-page"))      o_flags |= ff_singlepage;
+    else if (IS("--quiet"))            o_quiet= 1;
+    else if (IS("--edit-charset"))     o_flags |= ff_editcharset;
+    else if (IS("--dict-local-only"))  o_flags &= ~ffs_dict;
+    else if (IS("--dict-read-only"))   o_flags &= (~ffs_dict | ff_dict_fetch);
+    else if (IS("--dict-anon"))        o_flags &= ~ff_dict_pirate;
+    else if (IS("--dict-submit"))      o_flags |= ff_dict_fetch|ff_dict_submit;
+    else if (IS("--raw-tsv"))          o_outmode_kind= omk_raw;
+    else if (IS("--upload"))           o_outmode_kind= omk_upload;
+    else if (IS("--arbitrage") ||
+            IS("--tsv") ||
+            IS("--best-prices"))      o_outmode_kind=omk_str,
+                                      o_outmode_str=arg+2;
+
+    else if (IS("--screenshot-file"))  o_screenshot_fn= ARGVAL;
+    else if (IS("--pctb-server"))         o_serv_pctb=        ARGVAL;
+    else if (IS("--dict-submit-server"))  o_serv_dict_submit= ARGVAL;
+    else if (IS("--dict-update-server"))  o_serv_dict_fetch=  ARGVAL;
+    else if (IS("--ocean"))            o_ocean=  ARGVAL;
+    else if (IS("--pirate"))           o_pirate= ARGVAL;
 #define DF(f)                                  \
-    else if (!strcmp(arg,"-D" #f))             \
+    else if (IS("-D" #f))                      \
       debug_flags |= dbg_##f;
     DEBUG_FLAG_LIST
 #undef DF
-    else if (!strcmp(arg,"--window-id")) {
+    else if (IS("--window-id")) {
       char *ep;
       unsigned long windowid= strtoul(ARGVAL,&ep,0);
       if (*ep) badusage("invalid window id");
@@ -145,33 +218,78 @@ int main(int argc, char **argv) {
     } else
       badusage("unknown option `%s'",arg);
   }
-  
-  if (!o_screenshot_fn) {
-    r= asprintf(&o_screenshot_fn,"%s/#pages#.ppm",get_vardir());
-    sysassert(r>=0);
+
+  /* Consequential changes to options */
+
+  if (o_mode & mf_analyse) {
+    if (!o_outmode_kind)
+      o_outmode_kind= (o_flags & ff_printisland) ? omk_none : omk_str;
+
+    if (o_outmode_kind==omk_upload) {
+      o_flags |= ffs_upload;
+      o_outmode_str= "upload";
+    }
   }
 
+  /* Defaults */
+  
+  set_server("YPPSC_PCTB_PCTB",
+            "http://",           "pctb.ilk.org",
+            o_serv_pctb,         o_flags & (ff_needisland|ff_upload));
+            
+  set_server("YPPSC_PCTB_DICT_UPDATE",
+            "rsync://",          "rsync.pctb.chiark.greenend.org.uk/pctb",
+            o_serv_dict_fetch,   o_flags & ff_dict_fetch);
+
+  set_server("YPPSC_PCTB_DICT_SUBMIT",
+            "http://",           "dictup.pctb.chiark.greenend.org.uk",
+            o_serv_dict_submit,  o_flags & ff_dict_submit);
+
+  if (!o_screenshot_fn)
+    o_screenshot_fn= masprintf("%s/#pages#.ppm",get_vardir());
+
+  /* Actually do the work */
+            
   if (o_mode & mf_findwindow) {
     screenshot_startup();
     find_yppclient_window();
   }
+  if (!ocean)  ocean=  o_ocean;
+  if (!pirate) pirate= o_pirate;
+  
+  if (o_flags & ff_needisland) {
+    if (!ocean)
+      badusage("need --ocean option when replaying images"
+              " (consider supplying --pirate too)");
+    sysassert(! setenv("YPPSC_OCEAN",ocean,1) );
+  }
+  if (pirate && (o_flags & ff_dict_pirate))
+    sysassert(! setenv("YPPSC_PIRATE",pirate,1) );
+
   if (o_mode & mf_screenshot) {
     open_screenshot_file("w");
-    if (o_single_page) take_one_screenshot();
+    if (o_flags & ff_singlepage) take_one_screenshot();
     else take_screenshots();
   }
   if (o_mode & mf_readscreenshot) {
     open_screenshot_file("r");
-    if (o_single_page) read_one_screenshot();
+    if (o_flags & ff_singlepage) read_one_screenshot();
     else read_screenshots();
   }
   if (o_mode & mf_analyse) {
-    find_islandname();
-    if (o_outputmode)
-      run_analysis();
-    else
-      analyse(stdout);
+    if (o_flags & ff_needisland) {
+      find_islandname();
+      if (o_flags & ff_printisland)
+       printf("%s, %s\n", archipelago, island);
+    }
+    switch (o_outmode_kind) {
+    case omk_upload: case omk_str:   run_analysis();        break;
+    case omk_raw:                    analyse(stdout);       break;
+    case omk_none:                                          break;
+    default: abort();
+    }
   }
+  progress_log("Finished.");
   return 0;
 }
 
@@ -280,3 +398,13 @@ void waitpid_check_exitstatus(pid_t pid, const char *what) {
     fatal("%s gave strange wait status %d", what, st);
   }
 }
+
+char *masprintf(const char *fmt, ...) {
+  char *r;
+  va_list al;
+  va_start(al,fmt);
+  sysassert( vasprintf(&r,fmt,al) >= 0);
+  sysassert(r);
+  va_end(al);
+  return r;
+}