cgi-auth-flexible.pm

   1 # -*- perl -*-
   2
   3 # This is part of CGI::Auth::Flexible, a perl CGI authentication module.
   4 #
   5 # Copyright (C) 2012,2013,2015 Ian Jackson.
   6 # Copyright (C) 2012,2013,2015 Citrix.
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU Affero General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version, with the "CAF Login Exception"
  12 # as published by Ian Jackson (version 1, or at your option any
  13 # later version) as an Additional Permission.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU Affero General Public License for more details.
  19 #
  20 # You should have received a copy of the GNU Affero General Public
  21 # License and the CAF Login Exception along with this program, in the
  22 # file AGPLv3+CAFv1.  If not, email Ian Jackson
  23 # <ijackson@chiark.greenend.org.uk>.
  24
  25 use strict;
  26 use warnings FATAL => 'all';
  27
  28 package CGI::Auth::Flexible;
  29 require Exporter;
  30
  31 BEGIN {
  32     use Exporter   ();
  33     our ($VERSION, @ISA, @EXPORT, @EXPORT_OK, %EXPORT_TAGS);
  34
  35     $VERSION     = 1.00;
  36     @ISA         = qw(Exporter);
  37     @EXPORT      = qw();
  38     %EXPORT_TAGS = ( );     # eg: TAG => [ qw!name1 name2! ],
  39 }
  40 our @EXPORT_OK;
  41
  42 use DBI;
  43 use CGI qw/escapeHTML/;
  44 use Locale::gettext;
  45 use URI;
  46 use IO::File;
  47 use Fcntl qw(:flock);
  48 use POSIX;
  49 use Digest;
  50 use Digest::HMAC;
  51 use Digest::SHA;
  52 use Data::Dumper;
  53 use File::Copy;
  54 use Cwd qw/realpath/;
  55
  56
  57 #---------- public utilities ----------
  58
  59 sub flatten_params ($) {
  60     my ($p) = @_;
  61     my @p;
  62     foreach my $k (keys %$p) {
  63         next if $k eq '';
  64         foreach my $v (@{ $p->{$k} }) {
  65             push @p, $k, $v;
  66         }
  67     }
  68     return @p;
  69 }
  70
  71 #---------- default callbacks ----------
  72
  73 sub has_a_param ($$) {
  74     my ($r,$cn) = @_;
  75     foreach my $pn (@{ $r->{S}{$cn} }) {
  76         return 1 if $r->_ch('get_param',$pn);
  77     }
  78     return 0;
  79 }
  80
  81 sub get_params ($) {
  82     my ($r) = @_;
  83     my $c = $r->{Cgi};
  84     my $vars = $c->Vars();
  85     my %p;
  86     foreach my $name (keys %$vars) {
  87         $p{$name} = [ split "\0", $vars->{$name} ];
  88     }
  89     return \%p;
  90 }
  91
  92 sub get_cookie_domain ($$$) {
  93     my ($c,$r) = @_;
  94     my $uri = new URI $r->_ch('get_url');
  95     return $uri->host();
  96 }
  97
  98 sub login_ok_password ($$) {
  99     my ($c, $r) = @_;
 100     my $username_params = $r->{S}{username_param_names};
 101     my $username = $r->_ch('get_param',$username_params->[0]);
 102     my $password = $r->_rp('password_param_name');
 103     my $error = $r->_ch('username_password_error', $username, $password);
 104     return defined($error) ? (undef,$error) : ($username,undef);
 105 }
 106
 107 sub do_redirect_cgi ($$$$) {
 108     my ($c, $r, $new_url, $cookie) = @_;
 109     $r->_print($c->header($r->_cgi_header_args($cookie,
 110                                                -status => '303 See other',
 111                                                -location => $new_url)),
 112                $r->_ch('gen_start_html',$r->_gt('Redirection')),
 113                '<a href="'.escapeHTML($new_url).'">',
 114                $r->_gt("If you aren't redirected, click to continue."),
 115                "</a>",
 116                $r->_ch('gen_end_html'));
 117 }
 118
 119 sub gen_some_form ($$) {
 120     my ($r, $params, $bodyfn) = @_;
 121     # Calls $bodyfn->($c,$r) which returns @formbits
 122     my $c = $r->{Cgi};
 123     my @form;
 124     my $pathinfo = '';
 125     $pathinfo .= $params->{''}[0] if $params->{''};
 126     push @form, ('<form method="POST" action="'.
 127                  escapeHTML($r->_ch('get_url').$pathinfo).'">');
 128     push @form, $bodyfn->($c,$r);
 129     foreach my $n (keys %$params) {
 130         next if $n eq '';
 131         foreach my $val (@{ $params->{$n} }) {
 132             push @form, ('<input type="hidden"'.
 133                          ' name="'.escapeHTML($n).'"'.
 134                          ' value="'.escapeHTML($val).'">');
 135         }
 136     }
 137     push @form, ('</form>');
 138     return join "\n", @form;
 139 }
 140
 141 sub gen_plain_login_form ($$) {
 142     my ($c,$r, $params) = @_;
 143     return $r->gen_some_form($params, sub {
 144         my @form;
 145         push @form, ('<table>');
 146         my $sz = 'size="'.$r->{S}{form_entry_size}.'"';
 147         foreach my $up (@{ $r->{S}{username_param_names}}) {
 148             push @form, ('<tr><td>',$r->_gt(ucfirst $up),'</td>',
 149                          '<td><input type="text" '.$sz.
 150                          ' name='.$up.'></td></tr>');
 151         }
 152         push @form, ('<tr><td>'.$r->_gt('Password').'</td>',
 153                      '<td><input type="password" '.$sz.
 154                      ' name="'.$r->{S}{password_param_name}.'"></td></tr>');
 155         push @form, ('<tr><td colspan="2">',
 156                      '<input type="submit"'.
 157                      ' name="'.$r->{S}{dummy_param_name_prefix}.'login"'.
 158                      ' value="'.$r->_gt('Login').'"></td></tr>',
 159                      '</table>');
 160         return @form;
 161     });
 162 }
 163
 164 sub gen_postmainpage_form ($$$) {
 165     my ($c,$r, $params) = @_;
 166     return $r->gen_some_form($params, sub {
 167         my @form;
 168         push @form, ('<input type="submit"',
 169                      ' name="'.$r->{S}{dummy_param_name_prefix}.'submit"'.
 170                      ' value="'.$r->_gt('Continue').'">');
 171         return @form;
 172     });
 173 }
 174
 175 sub gen_plain_login_link ($$) {
 176     my ($c,$r, $params) = @_;
 177     my $url = $r->url_with_query_params($params);
 178     return ('<a href="'.escapeHTML($url).'">'.
 179             $r->_gt('Log in again to continue.').
 180             '</a>');
 181 }
 182
 183 sub gen_srcdump_link_html ($$$$) {
 184     my ($c,$r,$anchor,$specval) = @_;
 185     my %params = ($r->{S}{srcdump_param_name} => [ $specval ]);
 186     return '<a href="'.
 187         escapeHTML($r->url_with_query_params(\%params,'SRCDUMP')).
 188         '">'.$anchor."</a>";
 189 }
 190 sub gen_plain_licence_link_html ($$) {
 191     my ($c,$r) = @_;
 192     gen_srcdump_link_html($c,$r, 'GNU Affero GPL with CAF Login Exception',
 193                           'licence');
 194 }
 195 sub gen_plain_source_link_html ($$) {
 196     my ($c,$r) = @_;
 197     my $msg = 'Source available';
 198     $msg .= " to logged-in users" if $r->{S}{srcdump_needlogin};
 199     gen_srcdump_link_html($c,$r, $msg, 'source');
 200 }
 201
 202 sub gen_plain_footer_html ($$) {
 203     my ($c,$r) = @_;
 204     return ('<hr><address>',
 205             ("Powered by Free / Libre / Open Source Software".
 206              " according to the ".$r->_ch('gen_licence_link_html')."."),
 207             $r->_ch('gen_source_link_html').".",
 208             '</address>');
 209 }
 210
 211 #---------- licence and source code ----------
 212
 213 sub srcdump_dump ($$$) {
 214     my ($c,$r, $thing) = @_;
 215     die if $thing =~ m/\W/ || $thing !~ m/\w/;
 216     my $path = $r->_get_path('srcdump');
 217     my $ctf = new IO::File "$path/$thing.ctype", 'r'
 218         or die "$path/$thing.ctype $!";
 219     my $ct = <$ctf>;
 220     chomp $ct or die "$path/$thing ?";
 221     $ctf->close or die "$path/$thing $!";
 222     my $df = new IO::File "$path/$thing.data", 'r'
 223         or die "$path/$thing.data $!";
 224     $r->_ch('dump', $ct, $df);
 225 }
 226
 227 sub dump_plain ($$$$) {
 228     my ($c, $r, $ct, $df) = @_;
 229     $r->_print($c->header('-type' => $ct));
 230     my $buffer;
 231     for (;;) {
 232         my $got = read $df, $buffer, 65536;
 233         die $! unless defined $got;
 234         return if !$got;
 235         $r->_print($buffer);
 236     }
 237 }
 238
 239 sub srcdump_process_item ($$$$$$) {
 240     my ($c, $v, $dumpdir, $item, $outfn, $needlicence, $dirsdone) = @_;
 241     if ($v->_ch('srcdump_system_dir', $item)) {
 242         $outfn->("srcdump_process_item: srcdump_system_dir, skipping $item");
 243         return;
 244     }
 245     my $upwards = $item;
 246     for (;;) {
 247         $upwards =~ s#/+$##;
 248         $upwards =~ s#/+\.$##;
 249         last unless $upwards =~ m#[^/]#;
 250         foreach my $try (@{ $v->{S}{srcdump_vcs_dirs} }) {
 251 #print STDERR "TRY $item $upwards $try\n";
 252             if (!stat "$upwards/$try") {
 253                 $!==&ENOENT or $!==&ENOTDIR or die "check $upwards/$try $!";
 254                 next;
 255             }
 256 #print STDERR "VCS $item $upwards $try\n";
 257             if ($dirsdone->{$upwards}++) {
 258                 $outfn->("srcdump_process_item: did $upwards,".
 259                          " skipping $item");
 260                 return;
 261             }
 262 #print STDERR "VCS $item $upwards $try GO\n";
 263             $try =~ m/\w+/ or die;
 264             return $v->_ch('srcdump_byvcs', $dumpdir, $upwards, $outfn, lc $&);
 265         }
 266         $upwards =~ s#/*[^/]+$##;
 267     }
 268     return $v->_ch('srcdump_novcs', $dumpdir, $item, $outfn);
 269 }
 270
 271 sub srcdump_novcs ($$$$$) {
 272     my ($c, $v, $dumpdir, $item, $outfn) = @_;
 273     stat $item or die "$item $!";
 274     if (-d _) {
 275         my $script = 'find -type f -perm +004';
 276         foreach my $excl (@{ $v->{S}{srcdump_excludes} }) {
 277             $script .= " \\! -name '$excl'";
 278         }
 279         $script .= " -print0";
 280         return srcdump_dir_cpio($c,$v,$dumpdir,$item,$outfn,'novcs',$script);
 281     } elsif (-f _) {
 282         return srcdump_file($c,$v,$dumpdir,$item,$outfn);
 283     } else {
 284         die "$item not file or directory";
 285     }
 286 }
 287
 288 sub srcdump_byvcs ($$$$$$) {
 289     my ($c, $v, $dumpdir, $dir, $outfn, $vcs) = @_;
 290 #print STDERR "BYVCS GIT $dir\n";
 291     my $script = $v->{S}{"srcdump_vcsscript"}{$vcs};
 292     die "no script for vcs $vcs" unless defined $script;
 293     return srcdump_dir_cpio($c,$v,$dumpdir,$dir,$outfn,$vcs,$script);
 294 }
 295
 296 sub srcdump_file ($$$$) {
 297     my ($c,$v,$dumpdir,$file,$outfn) = @_;
 298     my $outfile = $outfn->("srcdump_file saved $file", "src");
 299     copy($file,$outfile) or die "$file $outfile $!";
 300 }
 301
 302 sub srcdump_dir_cpio ($$$$$$$) {
 303     my ($c,$v,$dumpdir,$dir,$outfn,$how,$script) = @_;
 304     my $outfile = $outfn->("srcdump_dir_cpio $how saved $dir", "tar");
 305 #print STDERR "CPIO $dir >$script<\n";
 306     my $pid = fork();
 307     defined $pid or die $!;
 308     if (!$pid) {
 309         $SIG{__DIE__} = sub {
 310             print STDERR "CGI::Auth::Flexible srcdump error: $@\n";
 311             exit 127;
 312         };
 313         open STDOUT, ">", $outfile or die "$outfile $!";
 314         chdir $dir or die "chdir $dir: $!";
 315         exec '/bin/bash','-ec',"
 316             set -o pipefail
 317             (
 318              $script
 319             ) | (
 320              cpio -Hustar -o --quiet -0 -R 1000:1000 || \
 321              cpio -Hustar -o --quiet -0
 322             )
 323             ";
 324         die $!;
 325     }
 326     $!=0; (waitpid $pid, 0) == $pid or die "$!";
 327     die "$dir ($how $script) $outfile $?" if $?;
 328 }
 329
 330 sub srcdump_dirscan_prepare ($$) {
 331     my ($c, $v) = @_;
 332     my $dumpdir = $v->_get_path('srcdump');
 333     mkdir $dumpdir or $!==&EEXIST or die "mkdir $dumpdir $!";
 334     my $lockf = new IO::File "$dumpdir/generate.lock", 'w+'
 335         or die "$dumpdir/generate.lock $!";
 336     flock $lockf, LOCK_EX or die "$dumpdir/generate.lock $!";
 337     my $needlicence = "$dumpdir/licence.tmp";
 338     unlink $needlicence or $!==&ENOENT or die "rm $needlicence $!";
 339     if (defined $v->{S}{srcdump_licence_path}) {
 340         copy($v->{S}{srcdump_licence_path}, $needlicence)
 341             or die "$v->{S}{srcdump_licence_path} $!";
 342         $needlicence = undef;
 343     }
 344     unlink <"$dumpdir/s.[a-z][a-z][a-z].*">;
 345     my @srcfiles = qw(licence.data manifest.txt);
 346     my $srcoutcounter = 'aaa';
 347
 348     my $reportfh = new IO::File "$dumpdir/manifest.txt", 'w' or die $!;
 349     my $outfn = sub {
 350         my ($message, $extension) = @_;
 351         if (defined $extension) {
 352             my $leaf = "s.$srcoutcounter.$extension";
 353             $srcoutcounter++;
 354             push @srcfiles, $leaf;
 355             print $reportfh "$leaf: $message\n" or die $!;
 356             return "$dumpdir/$leaf";
 357         } else {
 358             print $reportfh "none: $message\n" or die $!;
 359             return undef;
 360         }
 361     };
 362     my %dirsdone;
 363     foreach my $item ($v->_ch('srcdump_listitems')) {
 364         next unless defined $item;
 365         if ($item eq '.' && $v->{S}{srcdump_filter_cwd}) {
 366             my @bad = grep { !m#^/# } values %INC;
 367             die "filtering . from srcdump items and \@INC but already".
 368                 " included @bad " if @bad;
 369             @INC = grep { $_ ne '.' } @INC;
 370             next;
 371         }
 372         if (!lstat "$item") {
 373             die "stat $item $!" unless $!==&ENOENT;
 374             $outfn->("srcdump_dirscan_prepare stat ENOENT, skipping $item");
 375             next;
 376         };
 377         if (-l _) {
 378             $item = realpath($item);
 379             if (!defined $item) {
 380                 die "realpath $item $!" unless $!==&ENOENT;
 381                 $outfn->("srcdump_dirscan_prepare realpath ENOENT,".
 382                          " skipping $item");
 383             }
 384         }
 385         if (defined $needlicence) {
 386             foreach my $try (@{ $v->{S}{srcdump_licence_files} }) {
 387                 last if copy("$item/$try", $needlicence);
 388                 $!==&ENOENT or $!==&ENOTDIR or die "copy $item/$try $!";
 389             }
 390         }
 391         $v->_ch('srcdump_process_item', $dumpdir, $item,
 392                 $outfn, \$needlicence, \%dirsdone);
 393         $dirsdone{$item}++;
 394     }
 395     close $reportfh or die $!;
 396     srcdump_install($c,$v, $dumpdir, 'licence', 'text/plain');
 397     $!=0;
 398     my @cmd = (qw(sh -ec), 'exec >&2 "$@"', qw(x),
 399                qw(tar -zvvcf), "$dumpdir/source.tmp",
 400                "-C", $dumpdir, qw(  --), @srcfiles);
 401     my $r = system(@cmd);
 402     if ($r) {
 403         print STDERR "CGI::Auth::Flexible tar failed ($r $!) @cmd\n";
 404         die "tar failed";
 405     }
 406     die "licence file not found" unless defined $needlicence;
 407     srcdump_install($c,$v, $dumpdir, 'source', 'application/octet-stream');
 408     close $lockf or die $!;
 409 }
 410
 411 sub srcdump_install ($$$$$) {
 412     my ($c,$v, $dumpdir, $which, $ctype) = @_;
 413     rename "$dumpdir/$which.tmp", "$dumpdir/$which.data"
 414         or die "$dumpdir/$which.data $!";
 415     my $ctf = new IO::File "$dumpdir/$which.tmp", 'w'
 416         or die "$dumpdir/$which.tmp $!";
 417     print $ctf $ctype, "\n" or die $!;
 418     close $ctf or die $!;
 419     rename "$dumpdir/$which.tmp", "$dumpdir/$which.ctype"
 420         or die "$dumpdir/$which.ctype $!";
 421 }
 422
 423 #---------- verifier object methods ----------
 424
 425 sub new_verifier {
 426     my $class = shift;
 427     my $verifier = {
 428         S => {
 429             dir => undef,
 430             db_dbh => undef, # must have AutoCommit=0, RaiseError=1
 431             db_path => 'caf.db',
 432             keys_path => 'caf-keys',
 433             srcdump_path => 'caf-srcdump',
 434             db_dsn => undef,
 435             db_user => '',
 436             db_password => '',
 437             db_prefix => 'caf',
 438             random_source => '/dev/urandom',
 439             secretbits => 128, # bits
 440             hash_algorithm => "SHA-256",
 441             login_timeout => 86400, # seconds
 442             login_form_timeout => 3600, # seconds
 443             key_rollover => 86400, # seconds
 444             assoc_param_name => 'caf_assochash',
 445             dummy_param_name_prefix => 'caf__',
 446             cookie_name => "caf_assocsecret",
 447             password_param_name => 'password',
 448             srcdump_param_name => 'caf_srcdump',
 449             username_param_names => [qw(username)],
 450             form_entry_size => 60,
 451             logout_param_names => [qw(caf_logout)],
 452             loggedout_param_names => [qw(caf_loggedout)],
 453             promise_check_mutate => 0,
 454             get_param => sub { $_[0]->param($_[2]) },
 455             get_params => sub { $_[1]->get_params() },
 456             get_path_info => sub { $_[0]->path_info() },
 457             get_cookie => sub { $_[0]->cookie($_[1]->{S}{cookie_name}) },
 458             get_method => sub { $_[0]->request_method() },
 459             is_https => sub { !!$_[0]->https() },
 460             get_url => sub { $_[0]->url(); },
 461             is_login => sub { defined $_[1]->_rp('password_param_name') },
 462             login_ok => \&login_ok_password,
 463             username_password_error => sub { die },
 464             is_logout => sub { $_[1]->has_a_param('logout_param_names') },
 465             is_loggedout => sub { $_[1]->has_a_param('loggedout_param_names') },
 466             handle_divert => sub { return 0 },
 467             do_redirect => \&do_redirect_cgi, # this hook is allowed to throw
 468             cookie_path => "/",
 469             get_cookie_domain => \&get_cookie_domain,
 470             encrypted_only => 1,
 471             gen_start_html => sub { $_[0]->start_html($_[2]); },
 472             gen_footer_html => \&gen_plain_footer_html,
 473             gen_licence_link_html => \&gen_plain_licence_link_html,
 474             gen_source_link_html => \&gen_plain_source_link_html,
 475             gen_end_html => sub { $_[0]->end_html(); },
 476             gen_login_form => \&gen_plain_login_form,
 477             gen_login_link => \&gen_plain_login_link,
 478             gen_postmainpage_form => \&gen_postmainpage_form,
 479             srcdump_needlogin => 0,
 480             srcdump_dump => \&srcdump_dump,
 481             srcdump_prepare => \&srcdump_dirscan_prepare,
 482             srcdump_licence_path => undef,
 483             srcdump_licence_files => [qw(AGPLv3+CAFv1 CGI/Auth/Flexible/AGPLv3+CAFv1)],
 484             srcdump_listitems => sub { (@INC, $ENV{'SCRIPT_FILENAME'}, $0); },
 485             srcdump_filter_cwd => 1,
 486             srcdump_system_dir => sub {
 487                 $_[2] =~ m#^/etc/|^/usr/(?!local/)(?!lib/cgi)#;
 488             },
 489             srcdump_process_item => \&srcdump_process_item,
 490             srcdump_vcs_dirs => [qw(.git .hg .bzr .svn)],
 491             srcdump_vcsscript => {git => "
 492                  git ls-files -z
 493                  git ls-files -z --others --exclude-from=.gitignore
 494                  find .git ! -name \\*~ -print0
 495                             "},
 496             srcdump_byvcs => \&srcdump_byvcs,
 497             srcdump_novcs => \&srcdump_novcs,
 498             srcdump_excludes => [qw(*~ *.bak *.tmp), '#*#'],
 499             dump => \&dump_plain,
 500             gettext => sub { gettext($_[2]); },
 501             print => sub { print $_[2] or die $!; },
 502             debug => sub { }, # like print; msgs contain trailing \n
 503         },
 504         Dbh => undef,
 505     };
 506     my ($k,$v);
 507     while (($k,$v,@_) = @_) {
 508         die "unknown setting $k" unless
 509             $k =~ m/^promise_/ or
 510             exists $verifier->{S}{$k};
 511         $verifier->{S}{$k} = $v;
 512     }
 513     $verifier->{S}{db_setup_stmts} //=
 514         ["CREATE TABLE $verifier->{S}{db_prefix}_assocs (".
 515          " assochash VARCHAR PRIMARY KEY,".
 516          " username VARCHAR NOT NULL,".
 517          " last INTEGER NOT NULL".
 518          ")"
 519          ,
 520          "CREATE INDEX $verifier->{S}{db_prefix}_assocs_timeout_index".
 521          " ON $verifier->{S}{db_prefix}_assocs".
 522          " (last)"
 523         ];
 524     bless $verifier, $class;
 525     $verifier->_dbopen();
 526     $verifier->_ch('srcdump_prepare');
 527     return $verifier;
 528 }
 529
 530 sub _db_setup_do ($$) {
 531     my ($v, $sql) = @_;
 532     my $dbh = $v->{Dbh};
 533     eval {
 534         $v->_db_transaction(sub {
 535             local ($dbh->{PrintError}) = 0;
 536             $dbh->do($sql);
 537         });
 538     };
 539 }
 540
 541 sub _dbopen ($) {
 542     my ($v) = @_;
 543     my $dbh = $v->{Dbh};
 544     return $dbh if $dbh;
 545
 546     $dbh = $v->{S}{db_dbh};
 547     if ($dbh) {
 548         die if $dbh->{AutoCommit};
 549         die unless $dbh->{RaiseError};
 550     } else {
 551         $v->{S}{db_dsn} ||= "dbi:SQLite:dbname=".$v->_get_path('db');
 552         my $dsn = $v->{S}{db_dsn};
 553
 554         my $u = umask 077;
 555         $dbh = DBI->connect($dsn, $v->{S}{db_user},
 556                             $v->{S}{db_password}, {
 557                                 AutoCommit => 0,
 558                                 RaiseError => 1,
 559                                 ShowErrorStatement => 1,
 560                             });
 561         umask $u;
 562         die "$dsn $! ?" unless $dbh;
 563     }
 564     $v->{Dbh} = $dbh;
 565
 566     foreach my $stmt (@{ $v->{S}{db_setup_stmts} }) {
 567         $v->_db_setup_do($stmt);
 568     }
 569     return $dbh;
 570 }
 571
 572 sub disconnect ($) {
 573     my ($v) = @_;
 574     my $dbh = $v->{Dbh};
 575     return unless $dbh;
 576     $dbh->disconnect();
 577 }
 578
 579 sub _db_transaction ($$) {
 580     my ($v, $fn) = @_;
 581     my $retries = 10;
 582     my $rv;
 583     my $dbh = $v->{Dbh};
 584 #print STDERR "DT entry\n";
 585     for (;;) {
 586 #print STDERR "DT loop\n";
 587         if (!eval {
 588             $rv = $fn->();
 589 #print STDERR "DT fn ok\n";
 590             1;
 591         }) {
 592 #print STDERR "DT fn error\n";
 593             { local ($@); $dbh->rollback(); }
 594 #print STDERR "DT fn throwing\n";
 595             die $@;
 596         }
 597 #print STDERR "DT fn eval ok\n";
 598         if (eval {
 599             $dbh->commit();
 600 #print STDERR "DT commit ok\n";
 601             1;
 602         }) {
 603 #print STDERR "DT commit eval ok ",Dumper($rv);
 604             return $rv;
 605         }
 606 #print STDERR "DT commit throw?\n";
 607         die $@ if !--$retries;
 608 #print STDERR "DT loop again\n";
 609     }
 610 }
 611
 612 #---------- request object methods ----------
 613
 614 sub new_request {
 615     my ($classbase, $cgi, @extra) = @_;
 616     if (!ref $classbase) {
 617         $classbase = $classbase->new_verifier(@extra);
 618     } else {
 619         die if @extra;
 620     }
 621     my $r = {
 622         V => $classbase,
 623         S => $classbase->{S},
 624         Dbh => $classbase->{Dbh},
 625         Cgi => $cgi,
 626     };
 627     bless $r, ref $classbase;
 628 }
 629
 630 sub _ch ($$@) { # calls an application hook
 631     my ($r,$methname, @args) = @_;
 632     my $methfunc = $r->{S}{$methname};
 633     die "$methname ?" unless $methfunc;
 634     return $methfunc->($r->{Cgi}, $r, @args);
 635 }
 636
 637 sub _rp ($$@) {
 638     my ($r,$pnvb) = @_;
 639     my $pn = $r->{S}{$pnvb};
 640     my $p = scalar $r->_ch('get_param',$pn)
 641 }
 642
 643 sub _debug ($@) {
 644     my ($r,@args) = @_;
 645     $r->_ch('debug',@args);
 646 }
 647
 648 sub _get_path ($$) {
 649     my ($r,$keybase) = @_;
 650     my $leaf = $r->{S}{"${keybase}_path"};
 651     return $r->_absify_path($leaf);
 652 }
 653
 654 sub _absify_path ($$) {
 655     my ($v,$leaf) = @_;
 656     return $leaf if $leaf =~ m,^/,;
 657     my $dir = $v->{S}{dir};
 658     die "relying on cwd by default ?!  set dir" unless defined $dir;
 659     return "$dir/$leaf";
 660 }
 661
 662 sub _gt ($$) { my ($r, $t) = @_; return $r->_ch('gettext',$t); }
 663 sub _print ($$) { my ($r, @t) = @_; return $r->_ch('print', join '', @t); }
 664
 665 sub construct_cookie ($$$) {
 666     my ($r, $cooks) = @_;
 667     return undef unless $cooks;
 668     my $c = $r->{Cgi};
 669     my @ca = (
 670         -name => $r->{S}{cookie_name},
 671         -value => $cooks,
 672         -path => $r->{S}{cookie_path},
 673         -domain => $r->_ch('get_cookie_domain'),
 674         -expires => '+'.$r->{S}{login_timeout}.'s',
 675         -secure => $r->{S}{encrypted_only}
 676         );
 677     my $cookie = $c->cookie(@ca);
 678 #print STDERR "CC $r $c $cooks $cookie (@ca).\n";
 679     return $cookie;
 680 }
 681
 682 # pages/param-sets are
 683 #   n normal non-mutating page
 684 #   r retrieval of information for JS etc., non-mutating
 685 #   m mutating page
 686 #   u update of information by JS etc., mutating
 687 #   i login
 688 #   o logout
 689 #   O "you have just logged out" page load
 690
 691 # in cook and par,
 692 #    -         no value supplied (represented in code as $cookt='')
 693 #    n, nN     value not in our db
 694 #    t, tN     temporary value (in our db, no logged in user yet)
 695 #    y, yN     value corresponds to logged-in user
 696 # and, aggregated conditions:
 697 #    a, aN     anything including -
 698 #    x, xN     t or y
 699 # if N differs the case applies only when the two values differ
 700 # (eg,   a1 y2   does not apply when the logged-in value is supplied twice)
 701
 702 # "stale session" means request originates from a page from a login
 703 # session which has been revoked (eg by logout); "cleared session"
 704 # means request originates from a browser which has a different (or
 705 # no) cookie.
 706
 707     # Case analysis, cookie mode, app promises re mutate:
 708     # cook parm meth form
 709     #
 710     #  any -   POST  nrmuoi   bug or attack, fail
 711     #  any -   GET    rmuoi   bug or attack, fail
 712     #  any any GET     muoi   bug or attack, fail
 713     #
 714     #  -   -   GET         O  "just logged out" page
 715     #  (any other)         O  bug or attack, fail
 716     #
 717     #  a1  a2  POST      o    logout
 718     #                           if a1 is valid, revoke it
 719     #                           if a2 is valid, revoke it
 720     #                           delete cookie
 721     #                           redirect to "just logged out" page
 722     #                             (which contains link to login form)
 723     #
 724     #  -   t   POST       i   complain about cookies being disabled
 725     #                           (with link to login form)
 726     #
 727     #  t1  t1  POST       i   login (or switch user)
 728     #                           if bad
 729     #                             show new login form
 730     #                           if good
 731     #                             upgrade t1 to y1 in our db (setting username)
 732     #                             redirect to GET of remaining params
 733     #
 734     #  y1  a2  POST       i   complain about stale login form
 735     #                           revoke y1
 736     #                           show new login form
 737     #
 738     #  (other) POST       i   complain about stale login form
 739     #                           show new login form
 740     #
 741     #  t1  a2  ANY   nrmu     treat as  - a2 ANY
 742     #
 743     #  y   -   GET   n        cross-site link
 744     #                           show data
 745     #
 746     #  y   y   GET   nr       fine, show page or send data
 747     #  y   y   POST  nrmu     mutation is OK, do operation
 748     #
 749     #  y1  y2  GET   nr       request from stale page
 750     #                           do not revoke y2 as not RESTful
 751     #                           treat as   y1 n GET
 752     #
 753     #  y1  y2  POST  nrmu     request from stale page
 754     #                           revoke y2
 755     #                           treat as   y1 n POST
 756     #
 757     #  y   nt  GET   n        intra-site link from stale page,
 758     #                           treat as cross-site link, show data
 759     #
 760     #  y   nt  POST  n m      intra-site form submission from stale page
 761     #                           show "session interrupted"
 762     #                           with link to main data page
 763     #
 764     #  y   nt  GET    r       intra-site request from stale page
 765     #                           fail
 766     #
 767     #  y   nt  POST   r u     intra-site request from stale page
 768     #                           fail
 769     #
 770     #  -n  y2  GET   nr       intra-site link from cleared session
 771     #                           do not revoke y2 as not RESTful
 772     #                           treat as   -/n n GET
 773     #
 774     #  -n  y2  POST  nrmu     request from cleared session
 775     #                           revoke y2
 776     #                           treat as   -/n n POST
 777     #
 778     #  -nt -nt GET   n        cross-site link but user not logged in
 779     #                           show login form with redirect to orig params
 780     #                           generate fresh cookie
 781     #
 782     #  -nt nt  GET    rmu     user not logged in
 783     #                           fail
 784     #
 785     #  -nt nt  POST  n m      user not logged in
 786     #                           show login form
 787     #
 788     #  -nt nt  POST   r u     user not logged in
 789     #                           fail
 790
 791 sub _check_divert_core ($) {
 792     my ($r) = @_;
 793
 794     my $srcdump = $r->_rp('srcdump_param_name');
 795     if ($srcdump) {
 796         die if $srcdump =~ m/\W/;
 797         $srcdump= {
 798             Kind => 'SRCDUMP-'.uc $srcdump,
 799             Message => undef,
 800             _CookieRaw => undef,
 801             Params => { },
 802         };
 803     }
 804     print STDERR "$r->{S}{srcdump_needlogin}\n";
 805     if ($srcdump && !$r->{S}{srcdump_needlogin}) {
 806         return ($srcdump);
 807     }
 808     print STDERR "NOT NOW\n";
 809
 810     my $cooksraw = $r->_ch('get_cookie');
 811     my $cooks = $r->_unblind($cooksraw);
 812
 813     if ($r->{S}{encrypted_only} && !$r->_ch('is_https')) {
 814         return ({ Kind => 'REDIRECT-HTTPS',
 815                   Message => $r->_gt("Redirecting to secure server..."),
 816                   _CookieRaw => undef,
 817                   Params => { } });
 818     }
 819
 820     my $meth = $r->_ch('get_method');
 821     my $parmhraw = $r->_rp('assoc_param_name');
 822     my $parmh = $r->_unblind($parmhraw);
 823     my $cookh = defined $cooks ? $r->hash($cooks) : undef;
 824
 825     my ($cookt,$cooku) = $r->_identify($cookh, $cooks);
 826     my $parms = (defined $cooks && defined $parmh && $parmh eq $cookh)
 827         ? $cooks : undef;
 828     my ($parmt) = $r->_identify($parmh, $parms);
 829
 830     $r->_debug("_c_d_c cookt=$cookt parmt=$parmt\n");
 831
 832     if ($r->_ch('is_logout')) {
 833         $r->_must_be_post();
 834         die unless $parmt;
 835         $r->_db_revoke($cookh);
 836         $r->_db_revoke($parmh);
 837         return ({ Kind => 'REDIRECT-LOGGEDOUT',
 838                   Message => $r->_gt("Logging out..."),
 839                   _CookieRaw => '',
 840                   Params => {
 841                       $r->{S}{loggedout_param_names}[0] => [ 1 ],
 842                   } });
 843     }
 844     if ($r->_ch('is_loggedout')) {
 845         die unless $meth eq 'GET';
 846         die if $cookt eq 'y';
 847         die if $parmt;
 848         return ({ Kind => 'SMALLPAGE-LOGGEDOUT',
 849                   Message => $r->_gt("You have been logged out."),
 850                   _CookieRaw => '',
 851                   Params => { } });
 852     }
 853     if ($r->_ch('is_login')) {
 854         $r->_must_be_post();
 855         die unless $parmt;
 856         if (!$cookt && $parmt eq 'n') {
 857             return ({ Kind => 'SMALLPAGE-NOCOOKIE',
 858                       Message => $r->_gt("You do not seem to have cookies".
 859                                          " enabled.  You must enable cookies".
 860                                          " as we use them for login."),
 861                       _CookieRaw => $r->_fresh_secret(),
 862                       Params => $r->chain_params() })
 863         }
 864         if (!$cookt || $cookt eq 'n' || $cookh ne $parmh) {
 865             $r->_db_revoke($cookh);
 866             return ({ Kind => 'LOGIN-STALE',
 867                       Message => $r->_gt("Stale session;".
 868                                          " you need to log in again."),
 869                       _CookieRaw => $r->_fresh_secret(),
 870                       Params => { } })
 871         }
 872         die unless $parmt eq 't' || $parmt eq 'y';
 873         my ($username, $login_errormessage) = $r->_ch('login_ok');
 874         unless (defined $username && length $username) {
 875             $login_errormessage = $r->_gt("Incorrect username/password.")
 876                 if !$login_errormessage;
 877             return ({ Kind => 'LOGIN-BAD',
 878                       Message => $login_errormessage,
 879                       _CookieRaw => $cooks,
 880                       Params => $r->chain_params() })
 881         }
 882         $r->_db_record_login_ok($parmh,$username);
 883         return ({ Kind => 'REDIRECT-LOGGEDIN',
 884                   Message => $r->_gt("Logging in..."),
 885                   _CookieRaw => $cooks,
 886                   Params => $r->chain_params() });
 887     }
 888     if ($cookt eq 't') {
 889         $cookt = '';
 890     }
 891
 892     if ($cookt eq 'y' && $parmt eq 'y' && $cookh ne $parmh) {
 893         $r->_db_revoke($parmh) if $meth eq 'POST';
 894         $parmt = 'n';
 895     }
 896
 897     if ($cookt ne 'y') {
 898         die unless !$cookt || $cookt eq 'n';
 899         die unless !$parmt || $parmt eq 't' || $parmt eq 'n' || $parmt eq 'y';
 900         my $news = $r->_fresh_secret();
 901         if ($meth eq 'GET') {
 902             return ({ Kind => 'LOGIN-INCOMINGLINK',
 903                       Message => $r->_gt("You need to log in."),
 904                       _CookieRaw => $news,
 905                       Params => $r->chain_params() });
 906         } else {
 907             $r->_db_revoke($parmh);
 908             return ({ Kind => 'LOGIN-FRESH',
 909                       Message => $r->_gt("You need to log in."),
 910                       _CookieRaw => $news,
 911                       Params => { } });
 912         }
 913     }
 914
 915     if (!$r->{S}{promise_check_mutate}) {
 916         if ($meth ne 'POST') {
 917             return ({ Kind => 'MAINPAGEONLY',
 918                       Message => $r->_gt('Entering via cross-site link.'),
 919                       _CookieRaw => $cooks,
 920                       Params => { } });
 921             # NB caller must then ignore params & path!
 922             # if this is too hard they can spit out a small form
 923             # with a "click to continue"
 924         }
 925     }
 926
 927     die unless $cookt eq 'y';
 928     unless (($r->{S}{promise_check_mutate} && $meth eq 'GET')
 929             || $srcdump) {
 930         if ($parmt eq 't' || $parmt eq 'n') {
 931             return ({ Kind => 'STALE',
 932                       Message => $r->_gt("Login session interrupted."),
 933                       _CookieRaw => $cooks,
 934                       Params => { } });
 935         }
 936         die unless $parmt eq 'y';
 937         die unless $cookh eq $parmh;
 938     }
 939     $r->_db_update_last($cooku,$parmh);
 940
 941     if ($srcdump) {
 942         return ($srcdump);
 943     }
 944
 945     $r->{ParmT} = $parmt;
 946     $r->{AssocRaw} = $cooks;
 947     $r->{UserOK} = $cooku;
 948
 949 #print STDERR "C-D-C OK\n";
 950     return undef;
 951 }
 952
 953 sub chain_params ($) {
 954     my ($r) = @_;
 955     my %p = %{ $r->_ch('get_params') };
 956     foreach my $pncn (keys %{ $r->{S} }) {
 957         my $names;
 958         if ($pncn =~ m/^srcdump_/) {
 959             next;
 960         } elsif ($pncn =~ m/_param_name$/) {
 961             my $name = $r->{S}{$pncn};
 962             die "$pncn ?" if ref $name;
 963             $names = [ $name ];
 964         } elsif ($pncn =~ m/_param_names$/) {
 965             $names = $r->{S}{$pncn};
 966         } else {
 967             next;
 968         }
 969         foreach my $name (@$names) {
 970             delete $p{$name};
 971         }
 972     }
 973     my $dummy_prefix = $r->{S}{dummy_param_name_prefix};
 974     foreach my $name (grep /^$dummy_prefix/, keys %p) {
 975         delete $p{$name};
 976     }
 977     die if exists $p{''};
 978     $p{''} = [ $r->_ch('get_path_info') ];
 979     return \%p;
 980 }
 981
 982 sub _identify ($$) {
 983     my ($r,$h,$s) = @_;
 984     # returns ($t,$username)
 985     # where $t is one of "t" "y" "n", or "" (for -)
 986     # either $s must be undef, or $h eq $r->hash($s)
 987
 988 #print STDERR "_identify\n";
 989     return '' unless defined $h && length $h;
 990 #print STDERR "_identify h=$h s=".(defined $s ? $s : '<undef>')."\n";
 991
 992     my $dbh = $r->{Dbh};
 993
 994     $dbh->do("DELETE FROM $r->{S}{db_prefix}_assocs".
 995              " WHERE last < ?", {},
 996              time - $r->{S}{login_timeout});
 997
 998     my $row = $dbh->selectrow_arrayref("SELECT username, last".
 999                               " FROM $r->{S}{db_prefix}_assocs".
1000                               " WHERE assochash = ?", {}, $h);
1001     if (defined $row) {
1002 #print STDERR "_identify h=$h s=$s YES @$row\n";
1003         my ($nusername, $nlast) = @$row;
1004         return ('y', $nusername);
1005     }
1006
1007     # Well, it's not in the database.  But maybe it's a hash of a
1008     # temporary secret.
1009
1010     return 'n' unless defined $s;
1011
1012     my ($keyt, $signature, $message, $noncet, $nonce) =
1013         $s =~ m/^(\d+)\.(\w+)\.((\d+)\.(\w+))$/ or die;
1014
1015     return 'n' if time > $noncet + $r->{S}{login_form_timeout};
1016
1017 #print STDERR "_identify noncet=$noncet ok\n";
1018
1019     my $keys = $r->_open_keys();
1020     while (my ($rkeyt, $rkey, $line) = $r->_read_key($keys)) {
1021 #print STDERR "_identify  search rkeyt=$rkeyt rkey=$rkey\n";
1022         last if $rkeyt < $keyt; # too far down in the file
1023         my $trysignature = $r->_hmac($rkey, $message);
1024 #print STDERR "_identify  search rkeyt=$rkeyt rkey=$rkey try=$trysignature\n";
1025         return 't' if $trysignature eq $signature;
1026     }
1027     # oh well
1028 #print STDERR "_identify NO\n";
1029
1030     $keys->error and die $!;
1031     return 'n';
1032 }
1033
1034 sub _db_revoke ($$) {
1035     # revokes $h if it's valid; no-op if it's not
1036     my ($r,$h) = @_;
1037
1038     my $dbh = $r->{Dbh};
1039
1040     $dbh->do("DELETE FROM $r->{S}{db_prefix}_assocs".
1041              " WHERE assochash = ?", {}, $h);
1042 }
1043
1044 sub _db_record_login_ok ($$$) {
1045     my ($r,$h,$user) = @_;
1046     $r->_db_revoke($h);
1047     my $dbh = $r->{Dbh};
1048     $dbh->do("INSERT INTO $r->{S}{db_prefix}_assocs".
1049              " (assochash, username, last) VALUES (?,?,?)", {},
1050              $h, $user, time);
1051 }
1052
1053 sub _db_update_last ($$) {
1054     # revokes $h if it's valid; no-op if it's not
1055     my ($r,$user,$h) = @_;
1056     my $dbh = $r->{Dbh};
1057     $dbh->do("UPDATE $r->{S}{db_prefix}_assocs".
1058              " SET last = ?".
1059              " WHERE username = ? AND assochash = ?", {},
1060              time, $user, $h);
1061 }
1062
1063 sub check_divert ($) {
1064     my ($r) = @_;
1065     if (exists $r->{Divert}) {
1066         return $r->{Divert};
1067     }
1068     my $dbh = $r->{Dbh};
1069     $r->{Divert} = $r->_db_transaction(sub { $r->_check_divert_core(); });
1070     $dbh->commit();
1071
1072     my $divert = $r->{Divert};
1073     my $cookraw = $divert && $divert->{_CookieRaw};
1074     if ($cookraw) {
1075         $divert->{CookieSecret} = $r->_blind($cookraw);
1076         $divert->{Params}{$r->{S}{assoc_param_name}} = [
1077             $r->_blind($r->hash($cookraw))
1078             ];
1079     }
1080
1081     $r->_debug(Data::Dumper->Dump([$divert],[qw(divert)]));
1082     return $divert;
1083 }
1084
1085 sub get_divert ($) {
1086     my ($r) = @_;
1087     die "unchecked" unless exists $r->{Divert};
1088     return $r->{Divert};
1089 }
1090
1091 sub get_username ($) {
1092     my ($r) = @_;
1093     my $divert = $r->get_divert();
1094     return undef if $divert;
1095     return $r->{UserOK};
1096 }
1097
1098 sub url_with_query_params ($$;$) {
1099     my ($r, $params, $nonpagetype) = @_;
1100 #print STDERR "PARAMS ",Dumper($params);
1101     my $uri = URI->new($r->_ch('get_url'));
1102     $uri->path($uri->path() . $params->{''}[0]) if $params->{''};
1103     my @flatparams = flatten_params($params);
1104     if (defined $nonpagetype && $r->need_add_hidden('GET',$nonpagetype)) {
1105         push @flatparams, $r->{S}{assoc_param_name}, $r->secret_hidden_val();
1106     }
1107     $uri->query_form(@flatparams);
1108     return $uri->as_string();
1109 }
1110
1111 sub _cgi_header_args ($$@) {
1112     my ($r, $cookie, @ha) = @_;
1113     unshift @ha, qw(-type text/html);
1114     push @ha, (-cookie => $cookie) if defined $cookie;
1115 #print STDERR "_cgi_header_args ",join('|',@ha),".\n";
1116     return @ha;
1117 }
1118
1119 sub check_ok ($) {
1120     my ($r) = @_;
1121
1122     my ($divert) = $r->check_divert();
1123     return 1 if !$divert;
1124
1125     my $handled = $r->_ch('handle_divert',$divert);
1126     return 0 if $handled;
1127
1128     my $kind = $divert->{Kind};
1129     my $cookiesecret = $divert->{CookieSecret};
1130     my $params = $divert->{Params};
1131     my $cookie = $r->construct_cookie($cookiesecret);
1132
1133     if ($kind =~ m/^SRCDUMP-(\w+)$/) {
1134         $r->_ch('srcdump_dump', (lc $1));
1135         return 0;
1136     }
1137
1138     if ($kind =~ m/^REDIRECT-/) {
1139         # for redirects, we honour stored Params and Cookie,
1140         # as we would for non-divert
1141         if ($kind eq 'REDIRECT-LOGGEDOUT') {
1142         } elsif ($kind =~ m/REDIRECT-(?:LOGGEDIN|HTTPS)/) {
1143         } else {
1144             die;
1145         }
1146         my $new_url = $r->url_with_query_params($params);
1147         if ($kind eq 'REDIRECT-HTTPS') {
1148             my $uri = URI->new($new_url);
1149             die unless $uri->scheme eq 'http';
1150             $uri->scheme('https');
1151             $new_url = $uri->as_string();
1152         }
1153         $r->_ch('do_redirect',$new_url, $cookie);
1154         return 0;
1155     }
1156
1157     my ($title, @body);
1158     if ($kind =~ m/^LOGIN-/) {
1159         $title = $r->_gt('Login');
1160         push @body, $divert->{Message};
1161         push @body, $r->_ch('gen_login_form', $params);
1162     } elsif ($kind =~ m/^SMALLPAGE-/) {
1163         $title = $r->_gt('Not logged in');
1164         push @body, $divert->{Message};
1165         push @body, $r->_ch('gen_login_link', $params);
1166     } elsif ($kind =~ m/^STALE/) {
1167         $title = $r->_gt('Re-entering secure site.');
1168         push @body, $divert->{Message};
1169         push @body, $r->_ch('gen_postmainpage_form', $params);
1170     } elsif ($kind =~ m/^MAINPAGEONLY$/) {
1171         $title = $r->_gt('Entering secure site.');
1172         push @body, $divert->{Message};
1173         push @body, $r->_ch('gen_postmainpage_form', $params);
1174     } else {
1175         die $kind;
1176     }
1177
1178     $r->_print($r->{Cgi}->header($r->_cgi_header_args($cookie)),
1179                $r->_ch('gen_start_html',$title),
1180                (join "\n", (@body,
1181                             $r->_ch('gen_footer_html'),
1182                             $r->_ch('gen_end_html'))));
1183     return 0;
1184 }
1185
1186 sub _random ($$) {
1187     my ($r, $bytes) = @_;
1188     my $v = $r->{V};
1189     my $rsf = $v->{RandomHandle};
1190     my $rsp = $r->{S}{random_source};
1191     if (!$rsf) {
1192         $v->{RandomHandle} = $rsf = new IO::File $rsp, '<' or die "$rsp $!";
1193 #print STDERR "RH $rsf\n";
1194     }
1195     my $bin;
1196     $!=0;
1197     read($rsf,$bin,$bytes) == $bytes or die "$rsp $!";
1198     my $out = unpack "H*", $bin;
1199 #print STDERR "_random out $out\n";
1200     return $out;
1201 }
1202
1203 sub _blind_len ($$) {
1204     my ($r, $str) = @_;
1205     return length($str =~ y/0-9a-f//cdr);
1206 }
1207
1208 sub _blind_combine ($$$) {
1209     my ($r, $in, $mask) = @_;
1210     my @mask = split //, $mask;
1211     $in =~ s{[0-9a-f]}{
1212         my $m = shift @mask;
1213         sprintf "%x", hex($m) ^ hex($&);
1214     }ge;
1215     return $in;
1216 }
1217
1218 sub _blind ($$) {
1219     my ($r, $in) = @_;
1220     return $in unless $in;
1221     my $l = $r->_blind_len($in);
1222     my $mask = $r->_random(($l+1)>>1);
1223     $mask = substr $mask, 0, $l;
1224     my $blound = $r->_blind_combine($in, $mask);
1225     return "$blound.$mask";
1226 }
1227
1228 sub _unblind ($$) {
1229     my ($r, $in) = @_;
1230     return $in unless $in;
1231     my ($blound,$mask) = ($in =~ m#^(.*)\.([0-9a-f]+)$#) or die "$in ?";
1232     my $l = $r->_blind_len($blound);
1233     $l == length($mask) or die "$in ?";
1234     return $r->_blind_combine($blound, $mask);
1235 }
1236
1237 sub _random_key ($) {
1238     my ($r) = @_;
1239 #print STDERR "_random_key\n";
1240     my $bytes = ($r->{S}{secretbits} + 7) >> 3;
1241     return $r->_random($bytes);
1242 }
1243
1244 sub _read_key ($$) {
1245     my ($r, $keys) = @_;
1246     # returns $gen_time_t, $key_value_in_hex, $complete_line
1247     while (<$keys>) {
1248         my ($gen, $k) = m/^(\d+) (\S+)$/ or die "$_ ?";
1249         my $age = time - $gen;
1250         next if $age > $r->{S}{key_rollover} &&
1251             $age > $r->{S}{login_form_timeout}*2;
1252         return ($gen, $k, $_);
1253     }
1254     return ();
1255 }
1256
1257 sub _open_keys ($) {
1258     my ($r) = @_;
1259     my $spath = $r->_get_path('keys');
1260     for (;;) {
1261 #print STDERR "_open_keys\n";
1262         my $keys = new IO::File $spath, 'r+';
1263         if ($keys) {
1264 #print STDERR "_open_keys open\n";
1265             stat $keys or die $!; # NB must not disturb stat _
1266             my $size = (stat _)[7];
1267             my $age = time - (stat _)[9];
1268 #print STDERR "_open_keys open size=$size age=$age\n";
1269             return $keys
1270                 if $size && $age <= $r->{S}{key_rollover} / 2;
1271 #print STDERR "_open_keys open bad\n";
1272         }
1273         # file doesn't exist, or is empty or too old
1274         if (!$keys) {
1275 #print STDERR "_open_keys closed\n";
1276             die "$spath $!" unless $!==&ENOENT;
1277             # doesn't exist, so create it just so we can lock it
1278             $keys = new IO::File $spath, 'a+';
1279             die "$keys $!" unless $keys;
1280             stat $keys or die $!; # NB must not disturb stat _
1281             my $size = (stat _)[7];
1282 #print STDERR "_open_keys created size=$size\n";
1283             next if $size; # oh someone else has done it, reopen and read it
1284         }
1285         # file now exists is empty or too old, we must try to replace it
1286         my $our_inum = (stat _)[1]; # last use of that stat _
1287         flock $keys, LOCK_EX or die "$spath $!";
1288         stat $spath or die "$spath $!";
1289         my $path_inum = (stat _)[1];
1290 #print STDERR "_open_keys locked our=$our_inum path=$path_inum\n";
1291         next if $our_inum != $path_inum; # someone else has done it
1292         # We now hold the lock!
1293 #print STDERR "_open_keys creating\n";
1294         my $newkeys = new IO::Handle;
1295         sysopen $newkeys, "$spath.new", O_CREAT|O_TRUNC|O_WRONLY, 0600
1296             or die "$spath.new $!";
1297         # we add the new key to the front which means it's always sorted
1298         print $newkeys time, ' ', $r->_random_key(), "\n" or die $!;
1299         while (my ($gen,$key,$line) = $r->_read_key($keys)) {
1300 #print STDERR "_open_keys copy1\n";
1301             print $newkeys, $line or die $!;
1302         }
1303         $keys->error and die $!;
1304         close $newkeys or die "$spath.new $!";
1305         rename "$spath.new", "$spath" or die "$spath: $!";
1306 #print STDERR "_open_keys installed\n";
1307         # that rename effective unlocks, since it makes the name refer
1308         #  to the new file which we haven't locked
1309         # we go round again opening the file at the beginning
1310         #  so that our caller gets a fresh handle onto the existing key file
1311     }
1312 }
1313
1314 sub _fresh_secret ($) {
1315     my ($r) = @_;
1316 #print STDERR "_fresh_secret\n";
1317
1318     my $keys = $r->_open_keys();
1319     my ($keyt, $key) = $r->_read_key($keys);
1320     die unless defined $keyt;
1321
1322     my $nonce = $r->_random_key();
1323     my $noncet = time;
1324     my $message = "$noncet.$nonce";
1325
1326     my $signature = $r->_hmac($key, $message);
1327     my $secret = "$keyt.$signature.$message";
1328 #print STDERR "FRESH $secret\n";
1329     return $secret;
1330 }
1331
1332 sub _hmac ($$$) {
1333     my ($r, $keyhex, $message) = @_;
1334     my $keybin = pack "H*", $keyhex;
1335     my $alg = $r->{S}{hash_algorithm};
1336 #print STDERR "hmac $alg\n";
1337     my $base = new Digest $alg;
1338 #print STDERR "hmac $alg $base\n";
1339     my $digest = new Digest::HMAC $keybin, $base;
1340 #print STDERR "hmac $alg $base $digest\n";
1341     $digest->add($message);
1342     return $digest->hexdigest();
1343 }
1344
1345 sub hash ($$) {
1346     my ($r, $message) = @_;
1347     my $alg = $r->{S}{hash_algorithm};
1348 #print STDERR "hash $alg\n";
1349     my $digest = new Digest $alg;
1350     $digest->add($message);
1351     return $digest->hexdigest();
1352 }
1353
1354 sub _assert_checked ($) {
1355     my ($r) = @_;
1356     die "unchecked" unless exists $r->{Divert};
1357 }
1358
1359 sub _is_post ($) {
1360     my ($r) = @_;
1361     my $meth = $r->_ch('get_method');
1362     return $meth eq 'POST';
1363 }
1364
1365 sub _must_be_post ($) {
1366     my ($r) = @_;
1367     my $meth = $r->_ch('get_method');
1368     die "mutating non-POST" if $meth ne 'POST';
1369 }
1370
1371 sub check_mutate ($) {
1372     my ($r) = @_;
1373     $r->_assert_checked();
1374     die if $r->{Divert};
1375     $r->_must_be_post();
1376 }
1377
1378 our %_resource_get_needs_secret_hidden =
1379     (map { $_ => 0 } qw(PAGE FRAME IFRAME SRCDUMP STYLESHEET FAVICON ROBOTS),
1380      map { $_ => 1 } qw(IMAGE SCRIPT AJAX-XML AJAX-JSON AJAX-OTHER));
1381
1382 sub update_get_need_add_hidden ($$;$) {
1383     my ($r, $reqtype, $value, $force) = @_;
1384     my $hash = ref $r
1385         ? ($r->{GetNeedsSecretHidden} ||= { })
1386         : \%_resource_get_needs_secret_hidden;
1387     return if !$force &&
1388         (exists $_resource_get_needs_secret_hidden{$reqtype} ||
1389          exists $hash->{$reqtype});
1390     $hash->{$reqtype} = $value;
1391 }
1392
1393 sub need_add_hidden ($$) {
1394     my ($r, $method, $reqtype) = @_;
1395     return 1 if $method ne 'GET';
1396     if (ref $r) {
1397         my $ent = $r->{GetNeedsSecretHidden}{$reqtype};
1398         return $ent if defined $ent;
1399     }
1400     my $ent = $_resource_get_needs_secret_hidden{$reqtype};
1401     return $ent if defined $ent;
1402     die "unsupported nonpage GET type $reqtype";
1403 }
1404
1405 sub check_nonpage ($$) {
1406     my ($r, $reqtype) = @_;
1407     $r->_assert_checked();
1408     return unless $r->resource_get_needs_secret_hidden($reqtype);
1409     return if $r->{ParmT} eq 'y';
1410     die "missing hidden secret parameter on nonpage request $reqtype";
1411 }
1412
1413 #---------- output ----------
1414
1415 sub secret_cookie_val ($) {
1416     my ($r) = @_;
1417     $r->_assert_checked();
1418     return defined $r->{AssocRaw} ? $r->_blind($r->{AssocRaw}) : '';
1419 }
1420
1421 sub secret_hidden_val ($) {
1422     my ($r) = @_;
1423     $r->_assert_checked();
1424     return defined $r->{AssocRaw} ? $r->_blind($r->hash($r->{AssocRaw})) : '';
1425 }
1426
1427 sub secret_hidden_html ($) {
1428     my ($r) = @_;
1429     return $r->{Cgi}->hidden(-name => $r->{S}{assoc_param_name},
1430                              -default => $r->secret_hidden_val());
1431 }
1432
1433 sub secret_cookie ($) {
1434     my ($r) = @_;
1435     my $secret = $r->secret_cookie_val();
1436     return undef if !defined $secret;
1437 #print STDERR "SC\n";
1438     my $cookv = $r->construct_cookie($secret);
1439 #print STDERR "SC=$cookv\n";
1440     return $cookv;
1441 }
1442
1443 1;