chiark / gitweb /
Break process_yppedia_graphs into multiple subs
[ypp-sc-tools.db-live.git] / yarrg / yppedia-chart-parser
index 2da027e14829255b308d8e2071e1976285a61c76..09e8fe8b1b82aa22e7140bf5b6ff3069310a499d 100755 (executable)
@@ -4,28 +4,38 @@ use strict (qw(vars));
 use warnings;
 
 use Graph::Undirected;
-
+use Commods;
 use CommodsDatabase;
 
+my $ocean= 'Midnight';
+
+
 my $widists= Graph::Undirected->new();
 my $wiarchs= Graph::Undirected->new();
 my @wiarchlabels;
 my %wiisland2node;
 my %winode2island;
-my %wiisland2arch;
 my %winode2lines;
 my %wiccix2arch;
+my $wialldists;
 
 my $dbdists= Graph::Undirected->new();
 my %dbisland2arch;
 
-my %msgcount;
-sub perr ($$) { print STDERR "$_[0]: $_[1]\n"; $msgcount{$_[0]}++; }
-sub warning ($) { perr("warning",$_[0]); }
-sub error   ($) { perr("error",  $_[0]); }
-sub change  ($) { perr("change", $_[0]); }
+my %msgs;
+sub pmsg ($$) { push @{ $msgs{$_[0]} }, "$_[0]: $_[1]\n"; }
+sub warning ($) { pmsg("warning",$_[0]); }
+sub error   ($) { pmsg("error",  $_[0]); }
+sub change  ($) { pmsg("change", $_[0]); }
+sub print_messages () {
+    foreach my $k (qw(change warning error)) {
+       my $m= $msgs{$k};
+       next unless $m;
+       print sort @$m or die $!;
+    }
+}
 
-if ($ARGV[0] eq '--debug') {
+if (@ARGV && $ARGV[0] eq '--debug') {
     shift @ARGV;
     open DEBUG, ">&STDOUT" or die $!;
     select(DEBUG); $|=1;
@@ -45,7 +55,7 @@ sub nn_xy ($$) {
     return $n;
 }
 
-sub parse_yppedia_map () {
+sub yppedia_chart_parse () {
     # We don't even bother with tag soup; instead we do line-oriented parsing.
 
     while (<>) {
@@ -101,7 +111,7 @@ sub parse_yppedia_map () {
     }
 }
 
-sub parse_database_map () {
+sub database_fetch_ocean () {
     my ($row,$sth);
     $sth= $dbh->prepare('SELECT islandname, archipelago FROM islands');
     $sth->execute();
@@ -120,22 +130,21 @@ sub parse_database_map () {
     }
 }                       
 
-sub process_yppedia_graphs () {
+sub yppedia_graphs_prune_boring () {
     # Prune the LP database by eliminating boring intermediate vertices
     foreach my $delete ($widists->vertices()) {
        next if exists $winode2island{$delete};
        my @neigh= $widists->neighbours($delete);
        next unless @neigh==2;
-#      my @aneigh= $wiarchs->has_vertex($delete)
-#          ? $wiarchs->neighbours($delete) : ();
-#      next unless @aneigh==0 || @aneigh==2;
        my $weight= 0;
        map { $weight += $widists->get_edge_weight($delete, $_) } @neigh;
        $widists->add_weighted_edge(@neigh, $weight);
        $widists->delete_vertex($delete);
        printf DEBUG "%-5s elide %5s %-5s %2d\n", $delete, @neigh, $weight;
     }
+}
 
+sub yppedia_graphs_check () {
     # Check that it's connected.
     foreach my $cc ($widists->connected_components()) {
        next if 2*@$cc > $widists->vertices();
@@ -146,12 +155,30 @@ sub process_yppedia_graphs () {
        }
        warning($m);
     }
+}
 
-    # Compute all-pairs-shortest-paths on dist, which is the
-    # actual distances between all LPs.
-    my $wialldists= $widists->APSP_Floyd_Warshall();
+sub yppedia_archs_sourceinfo () {
+    # Assign archipelagoes according to the source-info file
+    foreach my $arch (sort keys %{ $oceans{$ocean} }) {
+       foreach my $islename (sort keys %{ $oceans{$ocean}{$arch} }) {
+           my $islenode= $wiisland2node{$islename};
+           defined $islenode or
+               error("island $islename in source-info but not in WP map");
+           my $ccix= $wiarchs->connected_component_by_vertex($islenode);
+           my $oldarch= $wiccix2arch{$ccix};
+           error("island $islename in $arch in source-info".
+                 " connected to $oldarch as well")
+               if defined $oldarch && $oldarch ne $arch;
+           printf DEBUG "%-5s force-island-arch cc%-2d %-10s %s\n",
+               $islenode, $ccix, $arch, $islename;
+           $wiccix2arch{$ccix}= $arch;
+       }
+    }
+}
 
+sub yppedia_archs_chart_labels () {
     # Assign archipelago labels to groups of islands
+    #
     foreach my $label (@wiarchlabels) {
        my ($ax,$ay,$arch) = @$label;
        my $best_ccmulti= -1;
@@ -168,8 +195,8 @@ sub process_yppedia_graphs () {
            my $d2= ($vx-$ax)*($vx-$ax) + ($vy-$ay)*($vy-$ay);
            my $cmp= $ccmulti <=> $best_ccmulti
                ||   $best_d2 <=> $d2;
-           printf DEBUG "%2d,%-2d arch-island-search %5s d2=%4d ccix=%-2d".
-                        " cc=%2d ccmulti=%d cmp=%-2d %s\n",
+           printf DEBUG "%2d,%-2d arch-island-search %5s d2=%4d cc%-2d".
+                        " #cc=%2d ccmulti=%d cmp=%2d %s\n",
                $ax,$ay, $vertex, $d2, $ccix, scalar(@cc), $ccmulti, $cmp,
                $winode2island{$vertex};
            next unless $cmp > 0;
@@ -178,15 +205,16 @@ sub process_yppedia_graphs () {
            $best_ccmulti= $ccmulti;
        }
        die 'no island vertices?!' unless defined $best_n;
-       printf DEBUG "%2d,%-2d arch-island-select %-5s d2=%-2d %-10s %s\n",
-           $ax,$ay, $best_n, $best_d2, $arch, $winode2island{$best_n};
        my $ccix= $wiarchs->connected_component_by_vertex($best_n);
+       printf DEBUG
+           "%2d,%-2d arch-island-select %-5s d2=%4d cc%-2d     %-10s %s\n",
+           $ax,$ay, $best_n, $ccix, $best_d2, $arch, $winode2island{$best_n};
        my $desc= join "\n", map {
            my $in= $winode2island{$_};
            "    LP $_". (defined $in ? ", $in" : "");
        } sort $wiarchs->connected_component_by_index($ccix);
 
-       if (exists $wiccix2arch{$ccix}) {
+       if (exists $wiccix2arch{$ccix} and $wiccix2arch{$ccix} ne $arch) {
            error("archipelago determination failed, wrongly merged:\n".
                  "    archipelago $arch\n".
                  "    archipelago $wiccix2arch{$ccix}\n".
@@ -196,7 +224,9 @@ sub process_yppedia_graphs () {
        $wiccix2arch{$ccix}= $arch;
 #      print "$ccix $arch ::\n$desc\n";
     }
+}
 
+sub yppedia_archs_fillbynearest() {
     # Assign islands not labelled above to archipelagoes.
     #
     # We do this by, for each connected component (set of islands
@@ -204,49 +234,58 @@ sub process_yppedia_graphs () {
     # connected component which has already been assigned an arch.
     # `Nearest' means shortest distance of unpurchaseable charts, in
     # leagues.
-
-    # fixme need some hints
-
+    #
     # we need only consider vertices which weren't `boring intermediate
     # vertices' (removed during optimisation as being of order 2)
     my @ccs_useful= map {
        [ grep { $widists->has_vertex($_) } @$_ ]
     } $wiarchs->connected_components();
 
+    my @assignments;
+
     foreach my $sourceccix (0..$#ccs_useful) {
        next if defined $wiccix2arch{$sourceccix};
+       next unless $ccs_useful[$sourceccix];
 
-       my $sourcecc= $ccs_useful[$sourceccix];
-       my @islandnodes= grep { $winode2island{$_} } @$sourcecc;
+       my @sourcecc= $wiarchs->connected_component_by_index($sourceccix);
+       my @islandnodes= grep { $winode2island{$_} } @sourcecc;
        next unless @islandnodes; # don't care, then
 
+       foreach my $islandnode (@islandnodes) {
+           printf DEBUG "%-5s arch-join-need cc%-2d             %s\n",
+               $islandnode, $sourceccix, $winode2island{$islandnode};
+       }
        my $best_dist= 9999999;
-       my $best_target;
+       my ($best_target, $best_targetccix, $best_source);
        foreach my $targetccix (0..$#ccs_useful) {
            next unless defined $wiccix2arch{$targetccix}; # not helpful
-           my $targetcc= $ccs_useful[$targetccix];
-           foreach my $target (@$targetcc) {
-               foreach my $source (@$sourcecc) {
+           next unless $ccs_useful[$targetccix];
+           foreach my $target ($wiarchs->
+                        connected_component_by_index($targetccix)) {
+               foreach my $source (@sourcecc) {
                    my $target_dist= $wialldists->path_length($target,$source);
+                   next unless defined $target_dist;
                    next if $target_dist >= $best_dist;
                    $best_dist= $target_dist;
+                   $best_source= $source;
                    $best_target= $target;
+                   $best_targetccix= $targetccix;
                }
            }
        }
-#      die "no possible target ?!" unless defined $best_target;
-#
-#      printf DEBUG "
-#
-#    foreach my $node (sort keys %winode2island) {
-#      my $island= $winode2island{$node};
-#      my $arch= winode2arch($node);
-#      next if defined $arch;
-#      my $ccix= $wiarchs->connected_component_by_vertex($node);
-#      my @cc= $wiarchs->connected_component_by_index($ccix);
-#      @cc= grep { defined $winode2island{$_} } @cc;
-#      # We search for the best:
-#      #      - member of this connected component
+       die "no possible target ?!" unless defined $best_target;
+
+       my $arch= $wiccix2arch{$best_targetccix};
+       my $best_island= $winode2island{$best_target};
+       printf DEBUG "%-5s arch-join-to %-5s dist=%2d cc%-2d  %-10s %s\n",
+           $best_source, $best_target, $best_dist,
+           $best_targetccix, $arch,
+           defined($best_island) ? $best_island : "-";
+
+       push @assignments, [ $sourceccix, $arch ];
+    }
+    foreach my $assign (@assignments) {
+       $wiccix2arch{$assign->[0]}= $assign->[1];
     }
 }
 
@@ -294,9 +333,42 @@ sub compare_island_lists () {
     }
 }
 
-db_setocean('Midnight');
+sub compare_distances () {
+    foreach my $ia (sort keys %dbisland2arch) {
+       my $na= $wiisland2node{$ia};
+       next unless defined $na;
+       foreach my $ib (sort keys %dbisland2arch) {
+           next unless $ia le $ib; # do every pair only once
+           my $nb= $wiisland2node{$ib};
+           next unless defined $nb;
+           my $dbdist= $dbdists->get_edge_weight($ia,$ib);
+           my $widist= $wialldists->path_length($na,$nb);
+           if (!defined $dbdist) {
+               change(sprintf "define distance %2d for %s..%s",
+                      $widist, $ia,$ib);
+           } elsif ($dbdist != $widist) {
+               change(sprintf "change distance %2d to %2d for %s..%s",
+                      $dbdist, $widist, $ia,$ib);
+           }
+       }
+    }
+}
+
+parse_info_serverside();
+
+db_setocean($ocean);
 db_connect();
-parse_yppedia_map();
-parse_database_map();
-process_yppedia_graphs();
+database_fetch_ocean();
+
+yppedia_chart_parse();
+yppedia_graphs_prune_boring();
+yppedia_graphs_check();
+yppedia_archs_sourceinfo();
+$wialldists= $widists->APSP_Floyd_Warshall();
+yppedia_archs_chart_labels();
+yppedia_archs_fillbynearest();
+
 compare_island_lists();
+compare_distances();
+
+print_messages();