chiark / gitweb /
Better error messages from commod-update-receiver
[ypp-sc-tools.db-test.git] / yarrg / rsvalue.c
1 /*
2  * Route searcher - route evaluation
3  */
4 /*
5  *  This is part of the YARRG website, a tool for assisting
6  *  players of Yohoho Puzzle Pirates.
7  * 
8  *  Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
9  *
10  *  This program is free software: you can redistribute it and/or modify
11  *  it under the terms of the GNU Affero General Public License as
12  *  published by the Free Software Foundation, either version 3 of the
13  *  License, or (at your option) any later version.
14  *  
15  *  This program is distributed in the hope that it will be useful,
16  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  *  GNU Affero General Public License for more details.
19  *  
20  *  You should have received a copy of the GNU Affero General Public License
21  *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
22  *  
23  *  Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
24  *  are used without permission.  This program is not endorsed or
25  *  sponsored by Three Rings.
26  */
27
28 #include <glpk.h>
29
30 #include "rscommon.h"
31
32 DEBUG_DEFINE_DEBUGF(value);
33 DEBUG_DEFINE_SOME_DEBUGF(value2,debug2f);
34
35 typedef struct { int mass, volu; } CommodInfo;
36 static int commodstabsz;
37 static CommodInfo *commodstab;
38
39 static sqlite3_stmt *ss_ipair_dist;
40 static sqlite3_stmt *ss_ite_buy, *ss_ite_sell;
41
42
43 #define MAX_LEGS (MAX_ROUTELEN-1)
44
45 typedef struct {
46   int commodid, src_price, dst_price;
47 } Trade;
48
49 #define TRADES_PER_BLOCK 10
50
51 typedef struct TradesBlock {
52   struct TradesBlock *next;
53   int ntrades;
54   Trade t[TRADES_PER_BLOCK];
55 } TradesBlock;
56
57 static IslandPair ***ipairs; /* ipairs[sislandid][dislandid] */
58
59 typedef struct IslandTradeEnd {
60   struct IslandTradeEnd *next;
61   /* key: */
62   int commodid, price;
63   /* values: */
64   int qty;
65   unsigned long generation;
66   int rownum;
67 } IslandTradeEnd;
68
69 typedef struct {
70   IslandTradeEnd *src, *dst;
71 } IslandTradeEndHeads;
72
73 IslandTradeEndHeads *itradeends;
74   /* itradeends[islandid].{src,dst}->commodid etc. */
75
76 static LPX *lp;
77 static unsigned long generation;
78
79 static int nconstraint_rows;
80 static int constraint_rows[1+2+3*MAX_LEGS];
81 static double constraint_coeffs[1+2+3*MAX_LEGS];
82       /* dummy0, src, dst, for_each_leg( [mass], [volume], [capital] ) */
83
84 static void add_constraint(int row, double coefficient) {
85   nconstraint_rows++; /* glpk indices start from 1 !!! */
86   constraint_rows  [nconstraint_rows]= row;
87   constraint_coeffs[nconstraint_rows]= coefficient;
88 }
89
90 static IslandTradeEnd *get_ite(const Trade *t, IslandTradeEnd **trades,
91                                int price) {
92   IslandTradeEnd *search;
93   
94   for (search= *trades; search; search=search->next)
95     if (search->commodid==t->commodid && search->price==price)
96       return search;
97   abort();
98 }
99
100 static void avail_c(const Trade *t, IslandTradeEnd *ite,
101                     int price, const char *srcdst,
102                     int islandid, sqlite3_stmt *ss_ite) {
103   /* find row number of trade availability constraint */
104   IslandTradeEnd *search= ite;
105
106   if (search->generation != generation) {
107     search->rownum= lpx_add_rows(lp, 1);
108     lpx_set_row_bnds(lp, search->rownum, LPX_UP, 0, search->qty);
109
110     if (DEBUGP(value) || DEBUGP(check)) {
111       char *name= masprintf("%s_i%d_c%d_%d_all",
112                             srcdst, islandid, t->commodid, price);
113       lpx_set_row_name(lp,search->rownum,name);
114
115       if (DEBUGP(check)) {
116         int nrows= lpx_get_num_rows(lp);
117         assert(search->rownum == nrows);
118         int i;
119         for (i=1; i<nrows; i++)
120           assert(strcmp(name, lpx_get_row_name(lp,i)));
121       }
122       free(name);
123     }
124     search->generation= generation;
125   }
126
127   add_constraint(search->rownum, 1.0);
128 }
129
130 static int setup_leg_constraints(double max_thing, int legs, const char *wh) {
131   int leg, startrow;
132   if (max_thing < 0 || !legs) return -1;
133   startrow= lpx_add_rows(lp, legs);
134   for (leg=0; leg<legs; leg++) {
135     int row= leg+startrow;
136     lpx_set_row_bnds(lp, row, LPX_UP, 0, max_thing);
137     if (DEBUGP(value)) {
138       char *name= masprintf("%s_%d",wh,leg);
139       lpx_set_row_name(lp,row,name);
140       free(name);
141     }
142   }
143   return startrow;
144 }
145
146 static void add_leg_c(int startrow, int leg, double value) {
147   if (startrow<=0) return;
148   assert(value > 0);
149   add_constraint(startrow+leg, value);
150 }
151
152 IslandPair *ipair_get_maybe(int si, int di) {
153   IslandPair **ipa;
154
155   assert(si < islandtablesz);
156   assert(di < islandtablesz);
157
158   if (!(ipa= ipairs[si])) return 0;
159   return ipa[di];
160 }
161
162 static IslandPair *ipair_get_create(int si, int di) {
163   IslandPair *ip, **ipa;
164
165   assert(si < islandtablesz);
166   assert(di < islandtablesz);
167
168   if (!(ipa= ipairs[si])) {
169     ipairs[si]= MCALLOC(ipa, islandtablesz);
170   }
171   if ((ip= ipa[di]))
172     return ip;
173
174   ipa[di]= NEW(ip);
175   ip->trades= 0;
176   ip->route_tail_value= -1;
177
178   if (si==di) ctr_islands_arbitrage++;
179   else ctr_ipairs_relevant++;
180
181   debug2f("VALUE ipair_get(i%d,i%d) running...\n", si,di);
182   SQL_MUST( sqlite3_bind_int(ss_ipair_dist, 1, si) );
183   SQL_MUST( sqlite3_bind_int(ss_ipair_dist, 2, di) );
184   assert(SQL_STEP(ss_ipair_dist));
185   int dist= sqlite3_column_int(ss_ipair_dist, 0);
186   ip->distance_loss_factor= pow(distance_loss_factor_per_league, dist);
187   sqlite3_reset(ss_ipair_dist);
188   
189   return ip;
190 }
191
192 double value_route(int nislands, const int *islands, int exclude_arbitrage) {
193   int s,d;
194
195   ctr_subroutes_valued++;
196
197   /* We need to construct the LP problem.  GLPK talks
198    * about rows and columns, which are numbered from 1.
199    *
200    * Each column is a `structural variable' ie one of the entries in
201    * the objective function.  In our case the set of structural
202    * variable is, for each port, the set of Trades which collect at
203    * that island.  (We use `port' to mean `specific visit to an
204    * island' so if an island appears more than once so do its trades.)
205    * We don't need to worry about crossing with all the possible
206    * delivery locations as we always deliver on the first port.
207    * We will call such a structural variable a Flow, for brevity.
208    *
209    * We iterate over the possible Flows adding them as columns as we
210    * go, and also adding their entries to the various constraints.
211    *
212    * Each row is an `auxiliary variable' ie one of the constraints.
213    * We have two kinds of constraint:
214    *   - mass/volume/capital: one constraint for each sailed leg
215    *       (unless relevant constraint is not satisfied)
216    *   - quantity of commodity available for collection
217    *       or delivery at particular price and island
218    * The former are numbered predictably: we have first all the mass
219    * limits, then all the volume limits, then all the capital limits
220    * (as applicable) - one for each leg, ie one for each entry
221    * in islands except the first.
222    *
223    * The latter are added as needed and the row numbers are stored in
224    * a data structure for later reuse.
225    */
226
227   assert(nislands >= 1);
228   assert(++generation);
229
230   assert(!lp);
231   lp= lpx_create_prob();
232   lpx_set_obj_dir(lp, LPX_MAX);
233   lpx_set_int_parm(lp, LPX_K_MSGLEV, DEBUGP(lp) ? 3 : 1);
234   lpx_set_int_parm(lp, LPX_K_PRESOL, 1);
235
236   if (DEBUGP(value)) {
237     lpx_set_prob_name(lp,(char*)"value_route");
238     lpx_set_obj_name(lp,(char*)"profit");
239   }
240
241   int legs= nislands-1;
242   int mass_constraints= setup_leg_constraints(max_mass, legs, "mass");
243   int volu_constraints= setup_leg_constraints(max_volu, legs, "volu");
244   int capi_constraints= setup_leg_constraints(max_capi, legs, "capi");
245
246   double delay_slot_loss_factor= 1.0;
247   for (s=0;
248        s<nislands;
249        s++, delay_slot_loss_factor *= LOSS_FACTOR_PER_DELAY_SLOT) {
250     int si= islands[s];
251     
252     for (d= s + exclude_arbitrage;
253          d < nislands;
254          d++) {
255       int di= islands[d];
256       int already_d;
257       for (already_d=s+1; already_d<d; already_d++)
258         if (islands[already_d] == di)
259           /* visited this island already since we left s, uninteresting */
260           goto next_d;
261
262       if (d>s && di==si)
263         /* route has returned to si, no need to think more about s */
264         goto next_s;
265
266       /*----- actually add these trades to the LP problem -----*/
267       
268       IslandPair *ip= ipair_get_maybe(islands[s], islands[d]);
269
270       if (!ip || !ip->trades)
271         goto next_d;
272
273       double loss_factor= delay_slot_loss_factor * ip->distance_loss_factor;
274       debugf(" SOME   i%d#%d..i%d#%d  dslf=%g dlf=%g  lf=%g\n",
275              si,s, di,d,
276              delay_slot_loss_factor, ip->distance_loss_factor, loss_factor);
277
278       TradesBlock *block;
279       for (block=ip->trades; block; block=block->next) {
280         int inblock;
281         for (inblock=0; inblock<block->ntrades; inblock++) {
282           Trade *t= &block->t[inblock];
283
284           debugf("  TRADE i%d#%d..i%d#%d c%d %d-%d  ",
285                  si,s, di,d, t->commodid, t->src_price, t->dst_price);
286
287           IslandTradeEnd
288             *src_ite= get_ite(t, &itradeends[si].src, t->src_price),
289             *dst_ite= get_ite(t, &itradeends[di].dst, t->dst_price);
290
291           int qty= src_ite->qty < dst_ite->qty ? src_ite->qty : dst_ite->qty;
292           int maxprofit= qty * (t->dst_price - t->src_price);
293           debugf("maxprofit=%d ",maxprofit);
294           if (maxprofit < min_trade_maxprofit) {
295             debugf("trivial\n");
296             continue;
297           }
298
299           nconstraint_rows=0;
300
301           avail_c(t, src_ite, t->src_price, "src", si,ss_ite_sell);
302           avail_c(t, dst_ite, t->dst_price, "dst", di,ss_ite_buy);
303
304           int leg;
305           for (leg=s; leg<d; leg++) {
306             add_leg_c(mass_constraints,leg, commodstab[t->commodid].mass*1e-3);
307             add_leg_c(volu_constraints,leg, commodstab[t->commodid].volu*1e-3);
308             add_leg_c(capi_constraints,leg, t->src_price);
309           }
310
311           double unit_profit= t->dst_price * loss_factor - t->src_price;
312           debugf("    unit profit %f\n", unit_profit);
313           if (unit_profit <= 0) continue;
314
315           int col= lpx_add_cols(lp,1);
316           lpx_set_col_bnds(lp, col, LPX_LO, 0, 0);
317           lpx_set_obj_coef(lp, col, unit_profit);
318           lpx_set_mat_col(lp, col, nconstraint_rows,
319                           constraint_rows, constraint_coeffs);
320
321           if (DEBUGP(value)) {
322             char *name= masprintf("c%d_p%d_%d_p%d_%d", t->commodid,
323                                   s, t->src_price, d, t->dst_price);
324             lpx_set_col_name(lp, col, name);
325             free(name);
326           }
327         } /* inblock */
328       } /* block */
329       
330       /*----- that's done adding these trades to the LP problem -----*/
331       
332     next_d:;
333     } /* for (d) */
334   next_s:;
335   } /* for (s) */
336
337   double profit= 0;
338
339   if (lpx_get_num_cols(lp)) {
340     ctr_subroutes_nonempty++;
341     
342     if (DEBUGP(lp))
343       lpx_write_cpxlp(lp, (char*)DEBUG_DEV);
344
345     int ipr= lpx_simplex(lp);
346     assert(ipr==LPX_E_OK);
347
348     if (DEBUGP(lp))
349       lpx_print_sol(lp, (char*)DEBUG_DEV);
350
351     int lpst= lpx_get_status(lp);
352     assert(lpst == LPX_OPT);
353     profit= lpx_get_obj_val(lp);
354   }
355
356   lpx_delete_prob(lp);
357   lp= 0;
358
359   debugf("    %s %f\n",
360          exclude_arbitrage ? "base value" : "route value",
361          profit);
362   return profit;
363 }
364
365 #define TRADE_FROM                                                      \
366     "  FROM sell, buy\n"                                                \
367     "  WHERE sell.commodid=buy.commodid AND sell.price < buy.price\n"
368               
369 static void read_trades(void) {
370   /* We would like to use DISTINCT but sqlite3 is too stupid
371    * to notice that it could use the index to do the DISTINCT
372    * which makes it rather slow. */
373   sqlite3_stmt *ss_trades;
374
375 #define TRADE_COLS \
376     "sell.commodid, sell.islandid, sell.price, buy.islandid, buy.price"
377   SQL_PREPARE(ss_trades,
378               " SELECT " TRADE_COLS "\n"
379               TRADE_FROM
380               "  ORDER BY " TRADE_COLS);
381
382   SQL_DISTINCT_DECL(cols,5);
383   while (SQL_DISTINCT_STEP(ss_trades,cols,5)) {    
384     ctr_trades_loaded++;
385     IslandPair *ip= ipair_get_create(cols[1], cols[3]);
386     TradesBlock *block= ip->trades;
387     if (!block || ip->trades->ntrades >= TRADES_PER_BLOCK) {
388       NEW(block);
389       block->next= ip->trades;
390       ip->trades= block;
391       block->ntrades= 0;
392     }
393     Trade *trade= &block->t[block->ntrades];
394     trade->commodid=  cols[0];
395     trade->src_price= cols[2];
396     trade->dst_price= cols[4];
397     block->ntrades++;
398   }
399   sqlite3_finalize(ss_trades);
400 }
401
402 static void read_islandtradeends(const char *bs, int srcdstoff) {
403
404 #define TRADEEND_KEYCOLS "%s.commodid, %s.islandid, %s.stallid"
405   char *stmt= masprintf(" SELECT " TRADEEND_KEYCOLS ", %s.price, %s.qty\n"
406                         TRADE_FROM
407                         "  ORDER BY "  TRADEEND_KEYCOLS,
408                         bs,bs,bs,bs,bs, bs,bs,bs);
409   char *stmt_id= masprintf("qtys (%s)",bs);
410   sqlite3_stmt *ss= sql_prepare(stmt, stmt_id);
411   free(stmt); free(stmt_id);
412
413   SQL_DISTINCT_DECL(cols,5);
414   while (SQL_DISTINCT_STEP(ss,cols,3)) {
415     ctr_quantities_loaded++;
416     IslandTradeEnd *search;
417
418     int commodid= cols[0];
419     int islandid= cols[1];
420     int price= cols[3];
421     int qty= cols[4];
422
423     IslandTradeEnd **trades= (void*)((char*)&itradeends[islandid] + srcdstoff);
424
425     for (search= *trades; search; search=search->next)
426       if (search->commodid==commodid && search->price==price)
427         goto found;
428     /* not found, add new end */
429
430     NEW(search);
431     search->commodid= commodid;
432     search->price= price;
433     search->next= *trades;
434     search->generation= 0;
435     search->qty= 0;
436     *trades= search;
437
438   found:
439     search->qty += qty;
440   }
441   sqlite3_finalize(ss);
442 }
443
444 void setup_value(void) {
445   sqlite3_stmt *sst;
446
447   commodstabsz= sql_single_int("SELECT max(commodid) FROM commods") + 1;
448   MCALLOC_INITEACH(commodstab, commodstabsz,
449                    this->mass= this->volu= -1
450                    );
451
452   SQL_PREPARE(sst,
453               "SELECT commodid,unitmass,unitvolume FROM commods");
454   while (SQL_STEP(sst)) {
455     ctr_commodities_loaded++;
456     int id= sqlite3_column_int(sst,0);
457     assert(id>=0 && id<commodstabsz);
458     commodstab[id].mass= sqlite3_column_int(sst,1);
459     commodstab[id].volu= sqlite3_column_int(sst,2);
460   }
461   sqlite3_finalize(sst);
462
463   MCALLOC(ipairs, islandtablesz);
464   MCALLOC(itradeends, islandtablesz);
465
466   SQL_PREPARE(ss_ipair_dist,
467               " SELECT dist FROM dists\n"
468               "  WHERE aiid=? and biid=?");
469
470   read_trades();
471   read_islandtradeends("sell", offsetof(IslandTradeEndHeads, src));
472   read_islandtradeends("buy",  offsetof(IslandTradeEndHeads, dst));
473 }