chiark / gitweb /
disk graphs
[rrd-graphs.git] / cgi
diff --git a/cgi b/cgi
index 81cd9a389b39d307350b0f6fc0e309b4f3454cde..e0e90b8d9de18ca00dab42af5e16aed0a769a9e2 100755 (executable)
--- a/cgi
+++ b/cgi
@@ -1,7 +1,9 @@
-#!/usr/bin/perl -w
+#!/usr/bin/speedy -w -- -t100 -M1
 
 use strict qw(vars);
+use CGI::SpeedyCGI qw/:standard -no_xhtml/;
 use CGI qw/:standard -no_xhtml/;
+use POSIX;
 
 sub fail ($) {
     print(header(-status=>500),
@@ -12,12 +14,14 @@ sub fail ($) {
     exit 0;
 }
 
-our $R= '/var/lib/collectd/rrd/chiark.greenend.org.uk';
-our $SELF= '/home/ijackson/things/rrd-graphs';
+our (@sections, %section_groups, %group_elems, %graphs);
 
-my $self= url(-relative=>1);
+#---------- initialisation code, run once - graphs setup ----------
 
-our (@sections, %section_groups, %group_elems, %graphs);
+BEGIN {
+
+our $R= '/var/lib/collectd/rrd/chiark.greenend.org.uk';
+our $SELF= '/home/ijackson/things/rrd-graphs';
 
 our @timeranges= (3600, map { $_*86400 } qw(1 7 28), 13*7+1, 366);
 
@@ -25,7 +29,7 @@ sub graph_of_group ($$$$$) {
     my ($section, $group, $elem, $basis, $args) = @_;
     $basis->{Args}= $args;
     $basis->{Slower}= 0 unless exists $basis->{Slower};
-
+    $basis->{TimeRanges} ||= \@timeranges;
     $graphs{$section,$group,$elem}= $basis;
     if (!exists $group_elems{$section,$group}) {
        # new group then
@@ -74,8 +78,8 @@ graph('General', 'CPU', { Units => '[%]' },
           "CDEF:$thing=0".join('', map { ",$thing$_,+" } (0..7)).",8.0,/";
        } qw(idle interrupt nice softirq steal system user wait)),
        "CDEF:allintr=softirq,steal,+,interrupt,+",
-       "AREA:system#88f:system:STACK",
        "AREA:allintr#ff0:interrupt:STACK",
+       "AREA:system#88f:system:STACK",
        "AREA:user#00f:user:STACK",
        "AREA:nice#ccc:nice:STACK",
        "AREA:wait#f00:wait:STACK",
@@ -157,12 +161,9 @@ if (!open NM, '<', "$SELF/data/news/name-map") {
     }
 }
 
-sub news_name_sortkey {
-    return join '.', reverse split /\./, $_[0];
-}
+our @news_graphs;
 
-foreach my $src (sort { news_name_sortkey($a) cmp news_name_sortkey($b) }
-                <$SELF/data/news/*.rrd>) {
+foreach my $src (<$SELF/data/news/*.rrd>) {
     my $site= $src;
     $site =~ s,\.rrd$,, or next;
     $site =~ s,.*/,,;
@@ -173,10 +174,19 @@ foreach my $src (sort { news_name_sortkey($a) cmp news_name_sortkey($b) }
     my $newsite= $news_name_map{$site,$inout};
     $site= $newsite if defined $newsite;
     next if $site eq '-';
+    #my $sk= join '.', reverse split /\./, $site;
+    my $sk= $site;
+    $sk .= " $&" if $sk =~ s/^[^.]*(?:news|nntp|peer)[^.]*\.//;
+    $sk .= " $inout";
+    push @news_graphs, [ $sk, $site, $inout, $src ];
+}
+
+foreach my $siteinfo (sort { $a->[0] cmp $b->[0] } @news_graphs) {
+    my ($sortkey, $site, $inout, $src)= @$siteinfo;
     graph_of_group("News", $site, $inout,
          {
-               Slower => 1,
-               Units => '[art/s]'
+               Units => '[art/s]',
+               TimeRanges => [ map { $_*86400 } qw(1 7 31), 366, 366*3 ]
            }, $inout eq 'out' ?
          [
           (map { "DEF:$_=$src:$_:AVERAGE" }
@@ -197,17 +207,137 @@ foreach my $src (sort { news_name_sortkey($a) cmp news_name_sortkey($b) }
           "AREA:rejected#f00:rej:STACK",
           "AREA:duplicate#000:dupe:STACK",
           "AREA:refused#aaa:unw:STACK",
+          "CDEF:kb_accepted_smooth=kb_accepted,<interval/60>,TREND",
           "LINE:kb_duplicate#ff0:kb dupe",
-          "LINE:kb_accepted#008:kb",
+          "LINE:kb_accepted_smooth#008:~kb",
           ]);
 }
 
+our %disk_rdev2rrd;
+
+foreach my $physdiskrrd (<$R/disk-*/disk_octets.rrd>) {
+    $physdiskrrd =~ s,octets\.rrd$,, or die;
+    $physdiskrrd =~ m,-([^/]+)/disk_$, or die;
+    my $physdev= "/dev/$1";
+    if (!stat $physdev) {
+        die "$physdev $!" unless $!==&ENOENT;
+        next;
+    }
+    die "$physdev ?" unless S_ISBLK((stat _)[2]);
+    $disk_rdev2rrd{(stat _)[6]}= $physdiskrrd;
+}
+
+our @disk_vgs;
+
+sub lvgraphs {
+    my ($vg, $label, $factor, $rcolour, $wcolour) = @_;
+    my @lvs;
+    my $varname= $vg;
+    $varname =~ s/[^0-9a-zA-Y]/ sprintf "Z%02x", ord($&) /ge;
+    my $vginfo= {
+        Name => $label,
+        Varname => $varname,
+        Colour => { 'read' => $rcolour, 'write' => $wcolour },
+        Lvs => []
+    };
+    foreach my $bo (qw(octets ops)) {
+        foreach my $rw (qw(read write)) {
+            $vginfo->{VarDefs}{$bo}{$rw}= [];
+            $vginfo->{Sumdef}{$bo}{$rw}= '0';
+        }
+    }
+    my $ix=0;
+    foreach my $lvpath (</dev/$vg/*>) {
+        my $lv= $lvpath; $lv =~ s,.*/,,;
+        if (!stat $lvpath) {
+            die "$lvpath $!" unless $!==&ENOENT;
+            next;
+        }
+        die "$lvpath ?" unless S_ISBLK((stat _)[2]);
+        my $rrd= $disk_rdev2rrd{(stat _)[6]};
+        next unless defined $rrd;
+
+        my $lvinfo= { Name => $lv };
+        push @{ $vginfo->{Lvs} }, $lvinfo;
+
+        foreach my $bo (qw(octets ops)) {
+            $lvinfo->{Defs}{$bo}=
+              [
+               (map { ("DEF:$_=${rrd}${bo}.rrd:$_:AVERAGE") } qw(read write)),
+               "CDEF:mwrite=0,write,-",
+               "AREA:read#00f:read",
+               "AREA:mwrite#f00:write"
+               ];
+
+            foreach my $rw (qw(read write)) {
+                $ix++;
+                my $tvar= "lv_${rw}_${bo}_${varname}_${ix}";
+                push @{ $vginfo->{VarDefs}{$bo}{$rw} },
+                    "DEF:$tvar=${rrd}${bo}.rrd:$rw:AVERAGE";
+                $vginfo->{Sumdef}{$bo}{$rw} .= ",$tvar,+";
+            }
+        }
+    }
+    foreach my $bo (qw(octets ops)) {
+        foreach my $rw (qw(read write)) {
+            my $defs= [];
+            push @$defs, @{ $vginfo->{VarDefs}{$bo}{$rw} };
+            push @$defs, "CDEF:${rw}_vg_${varname}=".
+                $vginfo->{Sumdef}{$bo}{$rw}.
+                sprintf(",%f,*", $rw eq 'write' ? -$factor : $factor);
+            $vginfo->{Defs}{$bo}{$rw}= $defs;
+        }
+    }
+    push @disk_vgs, $vginfo;
+}
+
+lvgraphs('vg-main',          'main',     1, qw(00f f00));
+lvgraphs('vg-chiark-stripe', 'stripe', 0.5, qw(008 800));
+
+foreach my $bo (qw(octets ops)) {
+    my @a= ();
+    foreach my $rw (qw(read write)) {
+        my $stack= '';
+        foreach my $vginfo (@disk_vgs) {
+            push @a, @{ $vginfo->{Defs}{$bo}{$rw} };
+            push @a, "AREA:${rw}_vg_$vginfo->{Varname}#".
+                $vginfo->{Colour}{$rw}.
+                ":$vginfo->{Name} ".substr($rw,0,1).
+                $stack;
+            $stack= ':STACK';
+        }
+    }
+    graph_of_group('IO', 'IO', $bo, { Units => '[/s]' }, \@a);
+}
+
+foreach my $vginfo (@disk_vgs) {
+    foreach my $bo (qw(octets ops)) {
+        foreach my $lv (@{ $vginfo->{Lvs} }) {
+            graph_of_group('IO', "$vginfo->{Name} $lv->{Name}",
+                           $bo, { Units => '[/s]' }, $lv->{Defs}{$bo});
+        }
+    }
+}
+
+push @{ $section_groups{General} }, {
+    Section => 'IO',
+    Group => 'IO',
+    UrlParams => "section=IO&sloth=SLOTH"
+};
+
+}
+#---------- right, that was the initialisation ----------
+
+our $self= url(-relative=>1);
+
 if (param('debug')) {
     print "Content-Type: text/plain\n\n";
 }
 
 our @navsettings;
 
+@navsettings= ();
+
 sub navsetting ($) {
     my ($nav) = @_;
     my $var= $nav->{Variable};
@@ -239,39 +369,48 @@ sub num_param ($$$$) {
     return $v + 0;
 }
 
-my $group= param('graph');
+our $group= param('graph');
 
-my $elem= param('elem');
+our $elem= param('elem');
 if (defined $elem) {
     my $g= $graphs{$section,$group,$elem};
     die unless $g;
 
-    my @args= @{ $g->{Args} };
-
     my $width= num_param('w',370,100,1600);
     my $height= num_param('h',200,100,1600);
 
     my $sloth= param('sloth');
     die unless defined $sloth;
     $sloth =~ m/^(\d+)$/ or die;
-    my $end= $timeranges[$sloth];
+    $sloth= $1+0;
+    my $end= $g->{TimeRanges}[$sloth];
     die unless defined $end;
+
+    my $cacheid= "$section!$group!$elem!$sloth!$width!$height";
+    my $cachepath= "cache/$cacheid.png";
+
+    my @args= @{ $g->{Args} };
+    s,\<interval/(\d+)\>, $end/$1 ,ge foreach @args;
     unshift @args, qw(--end now --start), "end-${end}s";
     
-    if (param('debug')) {
-        print((join "\n",@args),"\n"); exit 0;
-    }
-    print "Content-Type: image/png\n\n";
-
     my $title= $group;
     if (length $elem) { $title.= " $elem"; }
 
     $title .= " $g->{Units}" if $g->{Units};
-    unshift @args, '-t', $title;
-    
-    exec (qw(rrdtool graph - -a PNG --full-size-mode),
-         '-w',$width, '-h',$height,
-         @args);
+    unshift @args, '-t', $title, '-w',$width, '-h',$height;
+    unshift @args, qw(-a PNG --full-size-mode);
+
+    if (param('debug')) {
+        print((join "\n",@args),"\n"); exit 0;
+    }
+
+#print STDERR "||| ",(join ' ', map { "'$_'" } @args)." |||\n";
+    exec(qw(sh -ec), <<'END', 'x', $cachepath, @args);
+        p="$1"; shift
+        rrdtool graph "$p" --lazy "$@" >/dev/null
+       printf "Content-Type: image/png\n\n"
+       exec cat "$p"
+END
     die $!;
 }
 
@@ -310,16 +449,16 @@ sub start_page ($) {
     print h1("$title");
 }
 
-my $detail= param('detail');
-if ($detail) {
+our $detail= param('detail');
+if (defined $detail) {
     my $elems= $group_elems{$section,$detail};
     die unless $elems;
-    start_page("$detail graphs");
-    foreach my $xsloth (0..5) {
+    start_page("$detail - $section - graphs");
+    foreach my $tsloth (0..5) {
        foreach my $elem (@$elems) {
            my $g= $graphs{$section,$detail,$elem};
            die unless $g;
-           my $tsloth= $xsloth + $g->{Slower};
+           next if $tsloth >= @{ $g->{TimeRanges} };
            my $imgurl= "$self?graph=$detail&section=$section".
                "&sloth=$tsloth&elem=$elem";
            print a({href=>"$imgurl&w=780&h=800"},
@@ -350,15 +489,24 @@ if (param('debug')) {
     exit 0;
 }
 
-start_page("$section graphs");
+start_page("$section graphs");
 
 foreach my $group (@{ $section_groups{$section} }) {
-    print a({href=>"$self?detail=$group&section=$section"});
-    my $imgurl= "$self?graph=$group&section=$section";
+    my $ref_group= $group;
+    my $ref_section= $section;
+    my $ref_urlparams= "detail=$group&section=$section";
+    if (ref $group) {
+        $ref_group= $group->{Group};
+        $ref_section= $group->{Section};
+        $ref_urlparams= $group->{UrlParams};
+        $ref_urlparams =~ s/\bSLOTH\b/$sloth/;
+    }
+    print a({href=>"$self?$ref_urlparams"});
+    my $imgurl= "$self?graph=$ref_group&section=$ref_section";
     print "<span style=\"white-space:nowrap\">";
-    my $elems= $group_elems{$section,$group};
+    my $elems= $group_elems{$ref_section,$ref_group};
     foreach my $elem (@$elems) {
-       my $g= $graphs{$section,$group,$elem};
+       my $g= $graphs{$ref_section,$ref_group,$elem};
        print img({src=>"$imgurl&elem=$elem&sloth=".($sloth + $g->{Slower}),
                   alt=>''});
     }