pctb/commod-results-processor

   1 #!/usr/bin/perl -w
   2
   3 # helper program for processing commodity output
   4
   5 # This is part of ypp-sc-tools, a set of third-party tools for assisting
   6 # players of Yohoho Puzzle Pirates.
   7 #
   8 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
   9 #
  10 # This program is free software: you can redistribute it and/or modify
  11 # it under the terms of the GNU General Public License as published by
  12 # the Free Software Foundation, either version 3 of the License, or
  13 # (at your option) any later version.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU General Public License for more details.
  19 #
  20 # You should have received a copy of the GNU General Public License
  21 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  22 #
  23 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
  24 # are used without permission.  This program is not endorsed or
  25 # sponsored by Three Rings.
  26
  27
  28 use strict (qw(vars));
  29 use HTTP::Request;
  30 use IO::File;
  31 use POSIX;
  32 use LWP::UserAgent;
  33 use XML::Parser;
  34
  35 use Commods;
  36
  37 # $commod{'Hemp'}{Buy|Sell}{'stall'}{Stall}
  38 # $commod{'Hemp'}{Buy|Sell}{'stall'}{Price}
  39 # $commod{'Hemp'}{Buy|Sell}{'stall'}{Qty}
  40 # $commod{'Hemp'}{Hold}
  41
  42 our @v;
  43 our ($commod,$stall,%commod);
  44
  45 @ARGV==1 or die "You probably don't want to run this program directly.\n";
  46 our ($mode) = shift @ARGV;
  47
  48 # ./yppsc-commod-processor tsv <t |less -x40,80,90,100,110
  49
  50 sub bs_read ($$) {
  51     my ($bs,$c) = @_;
  52     return if @v <= $c;
  53     my ($price,$qty) = @v[$c..$c+1];
  54     return if !length($price) && !length($qty);
  55     die "$_ ?" unless length($price) && length($qty);
  56     $commod{$commod}{$bs}{$stall}= {
  57         Stall => $stall,
  58         Price => $price,
  59         Qty => $qty,
  60     };
  61 }
  62
  63 while (<>) {
  64     chomp;
  65     @v= split /\t/;
  66 #print STDERR "[".join("|",@v)."]\n";
  67     ($commod,$stall) = @v;
  68     bs_read(Buy,  2);
  69     bs_read(Sell, 4);
  70     $commod{$commod}{Hold}= $v[6]+0 if @v>6;
  71 }
  72
  73 our $current;
  74
  75 sub bs_p ($$$) {
  76     my ($commod,$bs,$sortmul) = @_;
  77     my $ary= $current->{$bs};
  78     my $r= [ ];
  79 #print Dumper($ary);
  80     foreach my $stall (sort {
  81         $sortmul * ($ary->{$a}{Price} <=> $ary->{$b}{Price});
  82     } keys %$ary) {
  83         push @$r, $ary->{$stall};
  84     }
  85     return $r;
  86 }
  87
  88 sub bs_p_bestprice ($) {
  89     my ($l) = @_;
  90     if (@$l) {
  91         printf("| %-25.25s %4d", $l->[0]{Stall}, $l->[0]{Price}) or die $!;
  92     } else {
  93         printf("| %25s %4s","","") or die $!;
  94     }
  95 }
  96
  97 sub main__arbitrage () {
  98     my @arbs= ();
  99     foreach $commod (sort keys %commod) {
 100         $current= $commod{$commod};
 101         my @buys=  @{ bs_p($commod,Buy, -1) };
 102         my @sells= @{ bs_p($commod,Sell,+1) };
 103         my $profit= 0;
 104         my $cqty= 0;
 105         my $info= '';
 106         my $arbs= [];
 107         for (;;) {
 108 #print Dumper($commod,\@buys,\@sells);
 109             last unless @buys;
 110             last unless @sells;
 111             my $pricediff= $buys[0]{Price} - $sells[0]{Price};
 112             last unless $pricediff > 0;
 113             our $qty= 1000;
 114             sub arb_check_qty (\@) {
 115                 my ($verbs) = @_;
 116                 my $vqty= $verbs->[0]{Qty};
 117                 return if $vqty =~ m/^\>/;
 118                 $qty= $vqty if $qty > $vqty;
 119                 return if $vqty;
 120                 my $verb= shift @$verbs;
 121             }
 122             arb_check_qty(@buys);
 123             arb_check_qty(@sells);
 124             next unless $qty;
 125             my $tprofit= $qty*$pricediff;
 126             $profit += $tprofit;
 127             $cqty += $qty;
 128
 129             $info.=
 130                 sprintf("%-13.13s| %-19.19s %4d| %-19.19s %4d|%3d x%3d =%3d\n",
 131                        $commod,
 132                        $buys[0]{Stall},$buys[0]{Price},
 133                        $sells[0]{Stall},$sells[0]{Price},
 134                        $qty, $pricediff, $tprofit);
 135             sub arb_subtract_qty (\@) {
 136                 my ($verbs) = @_;
 137                 my $verb= shift @$verbs;
 138                 unshift @$verbs, {
 139                     Stall => $verb->{Stall},
 140                     Price => $verb->{Price},
 141                     Qty => $verb->{Qty} - $qty
 142                 };
 143             }
 144             arb_subtract_qty(@buys);
 145             arb_subtract_qty(@sells);
 146         }
 147         next unless $profit;
 148         $info.=
 149             sprintf("%-13.13s| %19s %4s| %19s %4s|%3d      %4d\n",
 150                     $commod, '','', '','', $cqty, $profit);
 151         push @arbs, { Profit => $profit, Info => $info };
 152     }
 153     my $allprofit;
 154
 155     if (!@arbs) {
 156         print "No arbitrage opportunities.\n" or die $!;
 157         return;
 158     }
 159     my $bigdiv= <<END;
 160 =============+=========================+=========================+=============
 161 END
 162
 163     print <<END or die $!;
 164
 165 commodity    | seller             price| buyer              price| qty  ea prof
 166 END
 167
 168     my $div= $bigdiv;
 169     foreach my $arb (sort {
 170         $b->{Profit} <=> $a->{Profit};
 171     } @arbs) {
 172         print $div,$arb->{Info} or die $1;
 173         $div= <<END;
 174 -------------+-------------------------+-------------------------+-------------
 175 END
 176         $allprofit += $arb->{Profit};
 177     }
 178     print $bigdiv or die $!;
 179     printf("%-13.13s  %19s %4s  %19s %4s %-5s %7d\n",
 180            '', '','', '','', 'TOTAL', $allprofit)
 181         or die $!;
 182 }
 183
 184 sub main__bestprices () {
 185     foreach $commod (sort keys %commod) {
 186         $current= $commod{$commod};
 187         my $buys=  bs_p($commod,Buy, -1);
 188         my $sells= bs_p($commod,Sell,+1);
 189         printf("%-15.15s", $commod) or die $!;
 190         bs_p_bestprice($buys);
 191         bs_p_bestprice($sells);
 192         print("\n") or die $!;
 193     }
 194 }
 195
 196 sub bs_p_tsv ($) {
 197     my ($bs) = @_;
 198     if (exists $current->{$bs}{$stall}) {
 199         my $si= $current->{$bs}{$stall};
 200         printf("\t%d\t%s", $si->{Price}, $si->{Qty}) or die $!;
 201     } else {
 202         printf("\t\t") or die $!;
 203     }
 204 }
 205
 206 sub main__tsv () {
 207     foreach $commod (sort keys %commod) {
 208         $current= $commod{$commod};
 209         my %stalls;
 210         map { $stalls{$_}=1; } keys %{ $current->{Buy}  };
 211         map { $stalls{$_}=1; } keys %{ $current->{Sell} };
 212         foreach $stall (sort keys %stalls) {
 213             printf("%s\t%s", $commod, $stall) or die $!;
 214             bs_p_tsv(Buy);
 215             bs_p_tsv(Sell);
 216             print("\n") or die $!;
 217         }
 218     }
 219 }
 220
 221
 222 our ($pctb) = $ENV{'YPPSC_PCTB_PCTB'};
 223
 224 our ($ua)= LWP::UserAgent->new;
 225
 226 sub refresh_commodmap() {
 227     die unless $pctb;
 228     $pctb =~ s,/*$,,;
 229     my $resp= $ua->get("$pctb/commodmap.php?version=2");
 230     die $resp->status_line unless $resp->is_success;
 231
 232     my $cdata='';
 233     my $incommodmap=0;
 234     my $intag='';
 235     my %got;
 236     my $o= new IO::File "_commodmap.tsv.tmp",'w' or die $!;
 237     undef %pctb_commodmap;
 238
 239     my $xp= new XML::Parser
 240         (Handlers =>
 241          {
 242              Start => sub {
 243                  $_=$_[1];
 244 #print STDERR "START [$_] intag=$intag icm=$incommodmap\n";
 245                  if (m/^commodmap$/i) {
 246                      $incommodmap++;
 247                      undef %got;
 248                  } elsif (m/^(?:name|index)$/i) {
 249                      $cdata='';
 250                      $intag=lc($_) if $incommodmap;
 251 #print STDERR "START RECOGNISED $intag icm=$incommodmap\n";
 252 #                } else {
 253 #print STDERR "START UNRECOGNISED\n";
 254                  }
 255              },
 256              End => sub {
 257                  $_=$_[1];
 258 #print STDERR "END [$_] intag=$intag icm=$incommodmap\n";
 259                  if (m/^commodmap$/i) {
 260                      $incommodmap--;
 261                      die unless exists $got{'name'};
 262                      die unless exists $got{'index'};
 263                      die unless $got{'index'} =~ m/^\s*([1-9]\d{0,3})\s*$/;
 264                      my $index= $1;
 265                      $_= $got{'name'};
 266                      s/^\s+//; s/\s+$//; s/\n/ /g; s/\s+/ /;
 267                      die "$_ ?" if exists $pctb_commodmap{$_};
 268                      $pctb_commodmap{$_}= $index;
 269                      print $o "$_\t$index\n" or die $!;
 270                  } elsif (lc $_ eq $intag) {
 271                      $got{$intag}= $cdata;
 272                  }
 273              },
 274              Char => sub {
 275 #print STDERR "CHAR [$_[1]] intag=$intag icm=$incommodmap\n";
 276                  $cdata .= $_[1];
 277              }
 278          }) or die;
 279     my $content= $resp->content;
 280
 281 #    print STDERR "[[[$content]]]\n";
 282     $xp->parse($content);
 283     close $o or die $!;
 284     rename "_commodmap.tsv.tmp","_commodmap.tsv" or die $!;
 285 }
 286
 287 our %newcommods;
 288
 289 sub read_newcommods ($) {
 290     my ($file) = @_;
 291     if (!open NC, "< $file") {
 292         $!==&ENOENT or die $!;
 293         return;
 294     }
 295     while (<NC>) {
 296         chomp; s/^\s*//; s/\s+$//;
 297         next if m/^\#/;
 298         next unless m/\S/;
 299         $newcommods{$_}= 1;
 300     }
 301     NC->error and die $!;
 302     close NC or die $!;
 303 }
 304
 305 sub refresh_newcommods() {
 306     my $rsync= $ENV{'YPPSC_PCTB_RSYNC'};
 307     $rsync= 'rsync' if !defined $rsync;
 308
 309     my $local= "_master-newcommods.txt";
 310     my $src= $ENV{'YPPSC_PCTB_DICT_UPDATE'};
 311     if ($src) {
 312         my $remote= "$src/master-newcommods.txt";
 313         $!=0; system 'rsync','-Lt','--',$remote,$local;
 314         die "$? $!" if $! or $?;
 315     }
 316     read_newcommods($local);
 317     read_newcommods('_local-newcommods.txt');
 318 }
 319
 320 our (%stallmap, @stallmap);
 321
 322 sub bs_gen_md ($$) {
 323     my ($bs,$sortmul) = @_;
 324     my $count= 0;
 325     my $o= '';
 326
 327     foreach $commod (
 328                      sort { $pctb_commodmap{$a} <=> $pctb_commodmap{$b} }
 329                      grep { exists $pctb_commodmap{$_} }
 330                      keys %commod
 331                      ) {
 332 #print STDERR "COMMOD $commod\n";
 333         $current= $commod{$commod};
 334         my $l= bs_p($commod,$bs,$sortmul);
 335         next unless @$l;
 336 #print STDERR "COMMOD $commod  has ".scalar(@$l)."\n";
 337         $o .= writeint($pctb_commodmap{$commod});
 338         $o .= writeint(scalar @$l);
 339         foreach my $cs (@$l) {
 340             $stall= $cs->{Stall};
 341             my $stallix= $stallmap{$stall};
 342             if (!defined $stallix) {
 343                 push @stallmap, $stall;
 344                 $stallmap{$stall}= $stallix= @stallmap;
 345 #print STDERR "STALL DEF $stallix $stall\n";
 346             }
 347             my $qty= $cs->{Qty};
 348             $qty =~ s/^\>\s*//;
 349             $o .= writeint($stallix, $cs->{Price}, $qty+0);
 350             $count++;
 351         }
 352     }
 353 #print STDERR "COMMOD $commod COUNT WAS $count\n";
 354     return
 355         writeint($count).$o;
 356 }
 357
 358 sub writeint { return pack 'v*', @_; }
 359
 360 our (%stalltypetoabbrevmap)= qw(
 361                                 Apothecary    A
 362                                 Distilling    D
 363                                 Furnishing    F
 364                                 Ironworking   I
 365                                 Shipbuilding  S
 366                                 Tailoring     T
 367                                 Weaving       W
 368                                 );
 369
 370 sub genmarketdata () {
 371     our $version= '005b';
 372
 373     parse_pctb_commodmap();
 374     my @missing= grep { !exists $pctb_commodmap{$_} } keys %commod;
 375     if (@missing) {
 376         refresh_commodmap();
 377         refresh_newcommods();
 378         my $missing=0;
 379         foreach $commod (sort keys %commod) {
 380             next if exists $pctb_commodmap{$commod};
 381             if (exists $newcommods{$commod}) {
 382                 printf STDERR "Ignoring new commodity \`%s'!\n", $commod;
 383             } else {
 384                 printf STDERR "Unknown commodity \`%s'!\n", $commod;
 385                 $missing++;
 386             }
 387         }
 388         die "$missing unknown commoditi(es).".
 389             "  See README (search for \`newcommods').\n"
 390             if $missing;
 391     }
 392
 393     my $ob='';
 394     $ob .= bs_gen_md(Buy, -1);
 395     $ob .= bs_gen_md(Sell,+1);
 396
 397     my $ot= sprintf("$version\n".
 398                     "%d\n",
 399                     scalar(@stallmap));
 400     foreach $stall (@stallmap) {
 401         my $st= $stall;
 402         if ($st =~ m/^(\S+)\'s (\S+) Stall$/) {
 403             my $stkind= $stalltypetoabbrevmap{$2};
 404             if (defined $stkind) {
 405                 $st= "$1^$stkind";
 406             } else {
 407                 warn "unknown stall type $2 in $st\n";
 408             }
 409         }
 410         $ot .= "$st\n";
 411     }
 412     return $ot.$ob;
 413 }
 414
 415 sub main__genmarketdata () {
 416     my $o= genmarketdata();
 417     print $o or die $!;
 418 }
 419
 420 sub save_upload_html ($$) {
 421     my ($which, $resptxt) = @_;
 422     open R, ">./_upload-$which.html" or die $!;
 423     print R $resptxt or die $!;
 424     close R or die $!;
 425 }
 426
 427 sub main__upload_yaarg () {
 428     my $ocean= $ENV{'YPPSC_OCEAN'};  die unless $ocean;
 429     my $island= $ENV{'YPPSC_ISLAND'};  die unless $island;
 430     my $content= {
 431         'data' => [ undef, 'deduped.tsv.gz',
 432                     Content_Type => 'application/octet-stream',
 433                     Content => ''
 434 ]};
 435 }
 436
 437 sub main__upload_pctb () {
 438     my $ocean= $ENV{'YPPSC_OCEAN'};  die unless $ocean;
 439     my $island= $ENV{'YPPSC_ISLAND'};  die unless $island;
 440     die unless $pctb;
 441     my $o= genmarketdata();
 442     $pctb =~ s,/*$,,;
 443     my $url= "$pctb/upload.php";
 444     my $content= {
 445         'marketdata' => [ undef, "marketdata.gz",
 446                           Content_Type => 'application/gzip',
 447                           Content => $o
 448                           ]
 449                       };
 450
 451     print STDERR "Uploading data to $pctb...\n";
 452
 453     my $resp= $ua->post("$url", Content => $content,
 454                         Content_Type => 'form-data');
 455     die $resp->status_line unless $resp->is_success;
 456
 457     my $resptxt= $resp->content();
 458     save_upload_html('1', $resptxt);
 459
 460     open R, ">./_upload-1.html" or die $!;
 461     print R $resptxt or die $!;
 462     close R or die $!;
 463
 464     my @filenames= $resptxt =~
 465  m/input\s+type="hidden"\s+name="filename"\s+value=\"([_.0-9a-z]+)\"/ig;
 466     @filenames or die;
 467
 468     my @forcerls= $resptxt =~
 469  m/input\s+type="hidden"\s+name="forcereload"\s+value=\"([1-9]\d+)\"/ig;
 470     @forcerls or die;
 471
 472     my $filename= $filenames[0];
 473     my $forcerl= $forcerls[0];
 474
 475     $ocean= ucfirst lc $ocean;
 476     my @oceanids= $resptxt =~
 477  m/\<option value\=\"(\d+)\"\>$ocean\<\/option\>/;
 478     @oceanids==1 or die "@oceanids ?";
 479
 480     my $islandid;
 481     while ($resptxt =~
 482  m/^islands\[\d+\]\[\d+\]\=new\s+option\(\"(.*)\"\,(\d+)\)\s*$/mig
 483            ) {
 484         next unless $1 eq $island;
 485         $islandid= $2;
 486     }
 487     defined $islandid or die;
 488
 489     die "@filenames ?" if grep { $_ ne $filename } @filenames;
 490     die "@forcerls ?" if grep { $_ ne $forcerl } @forcerls;
 491
 492     my $setisland= {
 493     };
 494
 495     print STDERR "Setting ocean and island...\n";
 496
 497     my $siurl= ($url . "?action=setisland".
 498                 "&filename=$filename".
 499                 "&forcereload=$forcerl".
 500                 "&ocean=$oceanids[0]".
 501                 "&island=$islandid");
 502     $resp= $ua->get($siurl);
 503
 504     die $resp->status_line unless $resp->is_success;
 505
 506     $resptxt= $resp->content();
 507     save_upload_html('2', $resptxt);
 508
 509     die unless $resptxt =~ m/your uploaded data has been processed/i;
 510     die unless $resptxt =~ m/your data has been integrated into the database/i;
 511
 512     $resptxt =~ s/\<a href=\"about:\w+\"\>[^<>]+\<\/a\>//g;
 513     save_upload_html('3', $resptxt);
 514
 515     print "\n" or die $!;
 516     system('w3m -T text/html -dump < _upload-3.html');
 517
 518     print "\n" or die $!;
 519 }
 520
 521
 522 $mode =~ s/\-//;
 523 &{"main__$mode"};
 524 close(STDOUT) or die $!;