chiark / gitweb /
Do topology comparison with new reduction algorithm
[ypp-sc-tools.main.git] / yarrg / yppedia-chart-parser
index e3150611cb36eb75a6a3eb117e276982ad5aebd0..f834362873ee53fe271abaafd92a1e70a6e32315 100755 (executable)
@@ -12,6 +12,8 @@ my $ocean= 'Midnight';
 
 my $widists= Graph::Undirected->new();
 my $wiarchs= Graph::Undirected->new();
+my $wispr;
+my $dbspr;
 my @wiarchlabels;
 my %wiisland2node;
 my %winode2island;
@@ -55,7 +57,7 @@ sub nn_xy ($$) {
     return $n;
 }
 
-sub parse_yppedia_map () {
+sub yppedia_chart_parse () {
     # We don't even bother with tag soup; instead we do line-oriented parsing.
 
     while (<>) {
@@ -81,7 +83,6 @@ sub parse_yppedia_map () {
            $winode2island{$n}= $island;
            $widists->add_vertex($n);
            $wiarchs->add_vertex($n);
-#print "\$g->add_vertex('$n');\n";
            printf DEBUG "%2d,%-2d island %s\n", $x,$y,$island;
        } elsif (($solid,$x,$y,$dirn) =
            m/^\{\{ chart\ league((?:\ solid)?) \|(\d+)\|(\d+)\|
@@ -94,13 +95,13 @@ sub parse_yppedia_map () {
            elsif ($dirn eq '/') { $x++; $by++; }
            else { die; }
 
-           $widists->add_weighted_edge($nn->(), nn_xy($bx,$by), 1);
-           $wiarchs->add_edge($nn->(), nn_xy($bx,$by)) if $solid;
-           $wiarchs->add_edge($nn->(), nn_xy($bx,$by)) if $solid;
-#print "\$g->add_edge('".$nn->()."','".nn_xy($bx,$by)."');\n" if $solid;
+           my $nb= nn_xy($bx,$by);
+           $widists->add_weighted_edge($nn->(), $nb, 1);
+           $wiarchs->add_edge($nn->(), $nb) if $solid;
+           $wiarchs->add_edge($nn->(), $nb) if $solid;
 
-           printf DEBUG "%2d,%-2d league %-6s %s\n", $x,$y,
-               $solid?'solid':'dotted', $dirn;
+           printf DEBUG "%2d,%-2d league %-6s %s %s\n", $x,$y,
+               $solid?'solid':'dotted', $dirn, $nb;
        } elsif (
            m/^\{\{ chart\ head \}\}$/xi
                 ) {
@@ -111,7 +112,7 @@ sub parse_yppedia_map () {
     }
 }
 
-sub parse_database_map () {
+sub database_fetch_ocean () {
     my ($row,$sth);
     $sth= $dbh->prepare('SELECT islandname, archipelago FROM islands');
     $sth->execute();
@@ -130,26 +131,45 @@ sub parse_database_map () {
     }
 }                       
 
-sub process_yppedia_graphs () {
+sub database_graph_spr () {
+    $dbspr= shortest_path_reduction('db',$dbdists);
+}
 
-    # Prune the LP database by eliminating boring intermediate vertices
+sub yppedia_graphs_add_shortcuts () {
+    # We add edges between LPs we know about, as you can chart
+    # between them.  Yppedia often lacks these edges.
     #
+    foreach my $p ($widists->vertices) {
+       my ($ax,$ay) = $p =~ m/^(\d+)\,(\d+)$/ or die;
+       my $add_shortcut= sub {
+           my $q= sprintf "%d,%d", $ax+$_[0], $ay+$_[1];
+           return unless $widists->has_vertex($q);
+           return if $widists->has_edge($p,$q);
+           printf DEBUG "%-5s league-shortcut %-5s\n", $p, $q;
+           $widists->add_weighted_edge($p,$q,1);
+       };
+       $add_shortcut->( 2,0);
+       $add_shortcut->(+1,1);
+       $add_shortcut->(-1,1);
+    }
+}
+
+sub yppedia_graphs_prune_boring () {
+    # Prune the LP database by eliminating boring intermediate vertices
     foreach my $delete ($widists->vertices()) {
        next if exists $winode2island{$delete};
        my @neigh= $widists->neighbours($delete);
        next unless @neigh==2;
-#      my @aneigh= $wiarchs->has_vertex($delete)
-#          ? $wiarchs->neighbours($delete) : ();
-#      next unless @aneigh==0 || @aneigh==2;
        my $weight= 0;
        map { $weight += $widists->get_edge_weight($delete, $_) } @neigh;
        $widists->add_weighted_edge(@neigh, $weight);
        $widists->delete_vertex($delete);
        printf DEBUG "%-5s elide %5s %-5s %2d\n", $delete, @neigh, $weight;
     }
+}
 
+sub yppedia_graphs_check () {
     # Check that it's connected.
-    #
     foreach my $cc ($widists->connected_components()) {
        next if 2*@$cc > $widists->vertices();
        my $m= "disconnected league point(s):";
@@ -159,9 +179,10 @@ sub process_yppedia_graphs () {
        }
        warning($m);
     }
+}
 
+sub yppedia_archs_sourceinfo () {
     # Assign archipelagoes according to the source-info file
-    #
     foreach my $arch (sort keys %{ $oceans{$ocean} }) {
        foreach my $islename (sort keys %{ $oceans{$ocean}{$arch} }) {
            my $islenode= $wiisland2node{$islename};
@@ -177,12 +198,9 @@ sub process_yppedia_graphs () {
            $wiccix2arch{$ccix}= $arch;
        }
     }
+}
 
-    # Compute all-pairs-shortest-paths on dist, which is the
-    # actual distances between all LPs.
-    #
-    $wialldists= $widists->APSP_Floyd_Warshall();
-
+sub yppedia_archs_chart_labels () {
     # Assign archipelago labels to groups of islands
     #
     foreach my $label (@wiarchlabels) {
@@ -230,7 +248,9 @@ sub process_yppedia_graphs () {
        $wiccix2arch{$ccix}= $arch;
 #      print "$ccix $arch ::\n$desc\n";
     }
+}
 
+sub yppedia_archs_fillbynearest() {
     # Assign islands not labelled above to archipelagoes.
     #
     # We do this by, for each connected component (set of islands
@@ -266,8 +286,9 @@ sub process_yppedia_graphs () {
            next unless $ccs_useful[$targetccix];
            foreach my $target ($wiarchs->
                         connected_component_by_index($targetccix)) {
+               next unless $widists->has_vertex($target);
                foreach my $source (@sourcecc) {
-                   my $target_dist= $wialldists->path_length($target,$source);
+                   my $target_dist= widist($target,$source);
                    next unless defined $target_dist;
                    next if $target_dist >= $best_dist;
                    $best_dist= $target_dist;
@@ -293,6 +314,20 @@ sub process_yppedia_graphs () {
     }
 }
 
+sub yppedia_graph_shortest_paths () {
+    $wialldists= $widists->APSP_Floyd_Warshall();
+}
+
+sub widist ($$) {
+    my ($p,$q) = @_;
+    my $pl= $wialldists->path_length($p,$q);
+#    die "$p $q" unless defined $pl;
+#    my @pv= $wialldists->path_vertices($p,$q);
+#    if (@pv == $pl) { return $pl; }
+#   printf DEBUG "%-5s PATHLENGTH %-5s pl=%s pv=%s\n", $p,$q,$pl,join('|',@pv);
+    return $pl;
+}
+                       
 sub winode2arch ($) {
     my ($node) = @_;
     my $ccix= $wiarchs->connected_component_by_vertex($node);
@@ -337,21 +372,81 @@ sub compare_island_lists () {
     }
 }
 
+sub shortest_path_reduction ($$) {
+    my ($what,$base) = @_;
+    printf DEBUG "spr %s before %d\n", $what, scalar($base->edges());
+
+    my $result= Graph::Undirected->new();
+    foreach my $edge_ac ($base->edges()) {
+       my $edgename_ac= join '..', @$edge_ac;
+       printf DEBUG "spr %s edge %s\n", $what, $edgename_ac;
+       my $w_ac= $base->get_edge_weight(@$edge_ac);
+       my $needed= 1;
+       foreach my $vertex_b ($base->vertices()) {
+           next if grep { $_ eq $vertex_b } @$edge_ac;
+           my $w_ab= $base->get_edge_weight($edge_ac->[0], $vertex_b);
+           next unless defined $w_ab;
+           next if $w_ab >= $w_ac;
+           my $w_bc= $base->get_edge_weight($vertex_b, $edge_ac->[1]);
+           next unless defined $w_ac;
+           next if $w_ab + $w_bc > $w_ac;
+           # found path
+           printf DEBUG "spr %s edge %s unnecessary %s\n",
+               $what, $edgename_ac, $vertex_b;
+           $needed= 0;
+           last;
+       }
+       if ($needed) {
+           printf DEBUG "spr %s edge %s essential\n", $what, $edgename_ac;
+           $result->add_weighted_edge(@$edge_ac,$w_ac);
+       }
+    }
+    printf DEBUG "spr %s result %d\n", $what, scalar($result->edges());
+
+    my $apsp= $result->APSP_Floyd_Warshall();
+    foreach my $ia (sort $base->vertices()) {
+       foreach my $ib (sort $base->vertices()) {
+           my $din= $base->get_edge_weight($ia,$ib);
+           my $dout= $apsp->path_length($ia,$ib);
+           $din= defined($din) ? $din : 'infinity';
+           $dout= defined($dout) ? $dout : 'infinity';
+           error("$what spr apsp discrepancy in=$din out=$dout for $ia..$ib")
+               if $din != $dout;
+       }
+    }
+    return $result;
+}
+           
+sub yppedia_graph_spr () {
+    my $base= Graph::Undirected->new();
+    foreach my $na (sort keys %winode2island) {
+       my $ia= $winode2island{$na};
+       foreach my $nb (sort keys %winode2island) {
+           my $ib= $winode2island{$nb};
+           $base->add_weighted_edge($ia,$ib, widist($na,$nb));
+       }
+    }
+    $wispr= shortest_path_reduction('wi',$base);
+}
+
 sub compare_distances () {
     foreach my $ia (sort keys %dbisland2arch) {
        my $na= $wiisland2node{$ia};
        next unless defined $na;
        foreach my $ib (sort keys %dbisland2arch) {
            next unless $ia le $ib; # do every pair only once
-           my $nb= $wiisland2node{$ib};
-           next unless defined $nb;
-           my $dbdist= $dbdists->get_edge_weight($ia,$ib);
-           my $widist= $wialldists->path_length($na,$nb);
-           if (!defined $dbdist) {
-               change(sprintf "define distance %2d for %s..%s",
+           my $dbdist= $dbspr->get_edge_weight($ia,$ib);
+           my $widist= $wispr->get_edge_weight($ia,$ib);
+           next unless defined $dbdist || defined $widist;
+           
+           if (!defined $widist) {
+               warning(sprintf "route delete %2d for %s..%s",
+                       $dbdist, $ia,$ib);
+           } elsif (!defined $dbdist) {
+               change(sprintf "route create %2d for %s..%s",
                       $widist, $ia,$ib);
            } elsif ($dbdist != $widist) {
-               change(sprintf "change distance %2d to %2d for %s..%s",
+               change(sprintf "route change %2d to %2d for %s..%s",
                       $dbdist, $widist, $ia,$ib);
            }
        }
@@ -359,11 +454,26 @@ sub compare_distances () {
 }
 
 parse_info_serverside();
+
+print "reading database\n";
+
 db_setocean($ocean);
 db_connect();
-parse_yppedia_map();
-parse_database_map();
-process_yppedia_graphs();
+database_fetch_ocean();
+
+print "computing database spr\n";         database_graph_spr();
+
+print "reading yppedia chart\n";          yppedia_chart_parse();
+print "adding shortcuts\n";               yppedia_graphs_add_shortcuts();
+print "pruning boring vertices\n";        yppedia_graphs_prune_boring();
+print "checking yppedia graphs\n";        yppedia_graphs_check();
+print "setting archs from source-info\n"; yppedia_archs_sourceinfo();
+print "computing shortest paths\n";       yppedia_graph_shortest_paths();
+print "setting archs from labels\n";      yppedia_archs_chart_labels();
+print "setting archs from nearby\n";      yppedia_archs_fillbynearest();
+print "computing yppedia spr\n";          yppedia_graph_spr();
+
+print "comparing\n";
 
 compare_island_lists();
 compare_distances();