chiark / gitweb /
Testing: autotest: Print id in log messages
[cgi-auth-flexible.git] / cgi-auth-flexible.pm
1 # -*- perl -*-
2
3 # This is part of CGI::Auth::Flexible, a perl CGI authentication module.
4 # Copyright (C) 2012 Ian Jackson.
5 # Copyright (C) 2012 Citrix.
6
7 # This program is free software: you can redistribute it and/or modify
8 # it under the terms of the GNU Affero General Public License as published by
9 # the Free Software Foundation, either version 3 of the License, or
10 # (at your option) any later version.
11
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU Affero General Public License for more details.
16
17 # You should have received a copy of the GNU Affero General Public License
18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
19
20 use strict;
21 use warnings FATAL => 'all';
22
23 package CGI::Auth::Flexible;
24 require Exporter;
25
26 BEGIN {
27     use Exporter   ();
28     our ($VERSION, @ISA, @EXPORT, @EXPORT_OK, %EXPORT_TAGS);
29
30     $VERSION     = 1.00;
31     @ISA         = qw(Exporter);
32     @EXPORT      = qw();
33     %EXPORT_TAGS = ( );     # eg: TAG => [ qw!name1 name2! ],
34 }
35 our @EXPORT_OK;
36
37 use DBI;
38 use CGI qw/escapeHTML/;
39 use Locale::gettext;
40 use URI;
41 use IO::File;
42 use Fcntl qw(:flock);
43 use POSIX;
44 use Digest;
45 use Digest::HMAC;
46 use Digest::SHA;
47 use Data::Dumper;
48 use File::Copy;
49 use Cwd qw/realpath/;
50
51
52 #---------- public utilities ----------
53
54 sub flatten_params ($) {
55     my ($p) = @_;
56     my @p;
57     foreach my $k (keys %$p) {
58         next if $k eq '';
59         foreach my $v (@{ $p->{$k} }) {
60             push @p, $k, $v;
61         }
62     }
63     return @p;
64 }
65
66 #---------- default callbacks ----------
67
68 sub has_a_param ($$) {
69     my ($r,$cn) = @_;
70     foreach my $pn (@{ $r->{S}{$cn} }) {
71         return 1 if $r->_ch('get_param',$pn);
72     }
73     return 0;
74 }
75
76 sub get_params ($) {
77     my ($r) = @_;
78     my $c = $r->{Cgi};
79     my $vars = $c->Vars();
80     my %p;
81     foreach my $name (keys %$vars) {
82         $p{$name} = [ split "\0", $vars->{$name} ];
83     }
84     return \%p;
85 }
86
87 sub get_cookie_domain ($$$) {
88     my ($c,$r) = @_;
89     my $uri = new URI $r->_ch('get_url');
90     return $uri->host();
91 }
92
93 sub login_ok_password ($$) {
94     my ($c, $r) = @_;
95     my $username_params = $r->{S}{username_param_names};
96     my $username = $r->_ch('get_param',$username_params->[0]);
97     my $password = $r->_rp('password_param_name');
98     my $error = $r->_ch('username_password_error', $username, $password);
99     return defined($error) ? (undef,$error) : ($username,undef);
100 }
101
102 sub do_redirect_cgi ($$$$) {
103     my ($c, $r, $new_url, $cookie) = @_;
104     $r->_print($c->header($r->_cgi_header_args($cookie,
105                                                -status => '303 See other',
106                                                -location => $new_url)),
107                $r->_ch('gen_start_html',$r->_gt('Redirection')),
108                '<a href="'.escapeHTML($new_url).'">',
109                $r->_gt("If you aren't redirected, click to continue."),
110                "</a>",
111                $r->_ch('gen_end_html'));
112 }
113
114 sub gen_some_form ($$) {
115     my ($r, $params, $bodyfn) = @_;
116     # Calls $bodyfn->($c,$r) which returns @formbits
117     my $c = $r->{Cgi};
118     my @form;
119     my $pathinfo = '';
120     $pathinfo .= $params->{''}[0] if $params->{''};
121     push @form, ('<form method="POST" action="'.
122                  escapeHTML($r->_ch('get_url').$pathinfo).'">');
123     push @form, $bodyfn->($c,$r);
124     foreach my $n (keys %$params) {
125         next if $n eq '';
126         foreach my $val (@{ $params->{$n} }) {
127             push @form, ('<input type="hidden"'.
128                          ' name="'.escapeHTML($n).'"'.
129                          ' value="'.escapeHTML($val).'">');
130         }
131     }
132     push @form, ('</form>');
133     return join "\n", @form;
134 }
135
136 sub gen_plain_login_form ($$) {
137     my ($c,$r, $params) = @_;
138     return $r->gen_some_form($params, sub {
139         my @form;
140         push @form, ('<table>');
141         my $sz = 'size="'.$r->{S}{form_entry_size}.'"';
142         foreach my $up (@{ $r->{S}{username_param_names}}) {
143             push @form, ('<tr><td>',$r->_gt(ucfirst $up),'</td>',
144                          '<td><input type="text" '.$sz.
145                          ' name='.$up.'></td></tr>');
146         }
147         push @form, ('<tr><td>'.$r->_gt('Password').'</td>',
148                      '<td><input type="password" '.$sz.
149                      ' name="'.$r->{S}{password_param_name}.'"></td></tr>');
150         push @form, ('<tr><td colspan="2">',
151                      '<input type="submit"'.
152                      ' name="'.$r->{S}{dummy_param_name_prefix}.'login"'.
153                      ' value="'.$r->_gt('Login').'"></td></tr>',
154                      '</table>');
155         return @form;
156     });
157 }
158
159 sub gen_postmainpage_form ($$$) {
160     my ($c,$r, $params) = @_;
161     return $r->gen_some_form($params, sub {
162         my @form;
163         push @form, ('<input type="submit"',
164                      ' name="'.$r->{S}{dummy_param_name_prefix}.'submit"'.
165                      ' value="'.$r->_gt('Continue').'">');
166         return @form;
167     });
168 }
169
170 sub gen_plain_login_link ($$) {
171     my ($c,$r, $params) = @_;
172     my $url = $r->url_with_query_params($params);
173     return ('<a href="'.escapeHTML($url).'">'.
174             $r->_gt('Log in again to continue.').
175             '</a>');
176 }
177
178 sub gen_srcdump_link_html ($$$$) {
179     my ($c,$r,$anchor,$specval) = @_;
180     my %params = ($r->{S}{srcdump_param_name} => [ $specval ]);
181     return '<a href="'.
182         escapeHTML($r->url_with_query_params(\%params,'SRCDUMP')).
183         '">'.$anchor."</a>";
184 }
185 sub gen_plain_licence_link_html ($$) {
186     my ($c,$r) = @_;
187     gen_srcdump_link_html($c,$r, 'GNU Affero GPL', 'licence');
188 }
189 sub gen_plain_source_link_html ($$) {
190     my ($c,$r) = @_;
191     gen_srcdump_link_html($c,$r, 'Source available', 'source');
192 }
193
194 sub gen_plain_footer_html ($$) {
195     my ($c,$r) = @_;
196     return ('<hr><address>',
197             ("Powered by Free / Libre / Open Source Software".
198              " according to the ".$r->_ch('gen_licence_link_html')."."),
199             $r->_ch('gen_source_link_html').".",
200             '</address>');
201 }
202
203 #---------- licence and source code ----------
204
205 sub srcdump_dump ($$$) {
206     my ($c,$r, $thing) = @_;
207     die if $thing =~ m/\W/ || $thing !~ m/\w/;
208     my $path = $r->_get_path('srcdump');
209     my $ctf = new IO::File "$path/$thing.ctype", 'r'
210         or die "$path/$thing.ctype $!";
211     my $ct = <$ctf>;
212     chomp $ct or die "$path/$thing ?";
213     $ctf->close or die "$path/$thing $!";
214     my $df = new IO::File "$path/$thing.data", 'r'
215         or die "$path/$thing.data $!";
216     $r->_ch('dump', $ct, $df);
217 }
218
219 sub dump_plain ($$$$) {
220     my ($c, $r, $ct, $df) = @_;
221     $r->_print($c->header('-type' => $ct));
222     my $buffer;
223     for (;;) {
224         my $got = read $df, $buffer, 65536;
225         die $! unless defined $got;
226         return if !$got;
227         $r->_print($buffer);
228     }
229 }
230
231 sub srcdump_process_item ($$$$$$) {
232     my ($c, $v, $dumpdir, $item, $outfn, $needlicence, $dirsdone) = @_;
233     if ($v->_ch('srcdump_system_dir', $item)) {
234         $outfn->("srcdump_process_item: srcdump_system_dir, skipping $item");
235         return;
236     }
237     my $upwards = $item;
238     for (;;) {
239         $upwards =~ s#/+$##;
240         $upwards =~ s#/+\.$##;
241         last unless $upwards =~ m#[^/]#;
242         foreach my $try (@{ $v->{S}{srcdump_vcs_dirs} }) {
243 #print STDERR "TRY $item $upwards $try\n";
244             if (!stat "$upwards/$try") {
245                 $!==&ENOENT or $!==&ENOTDIR or die "check $upwards/$try $!";
246                 next;
247             }
248 #print STDERR "VCS $item $upwards $try\n";
249             if ($dirsdone->{$upwards}++) {
250                 $outfn->("srcdump_process_item: did $upwards,".
251                          " skipping $item");
252                 return;
253             }
254 #print STDERR "VCS $item $upwards $try GO\n";
255             $try =~ m/\w+/ or die;
256             return $v->_ch('srcdump_byvcs', $dumpdir, $upwards, $outfn, lc $&);
257         }
258         $upwards =~ s#/*[^/]+$##;
259     }
260     return $v->_ch('srcdump_novcs', $dumpdir, $item, $outfn);
261 }
262
263 sub srcdump_novcs ($$$$$) {
264     my ($c, $v, $dumpdir, $item, $outfn) = @_;
265     stat $item or die "$item $!";
266     if (-d _) {
267         my $script = 'find -type f -perm +004';
268         foreach my $excl (@{ $v->{S}{srcdump_excludes} }) {
269             $script .= " \\! -name '$excl'";
270         }
271         $script .= " -print0";
272         return srcdump_dir_cpio($c,$v,$dumpdir,$item,$outfn,'novcs',$script);
273     } elsif (-f _) {
274         return srcdump_file($c,$v,$dumpdir,$item,$outfn);
275     } else {
276         die "$item not file or directory";
277     }
278 }
279
280 sub srcdump_byvcs ($$$$$$) {
281     my ($c, $v, $dumpdir, $dir, $outfn, $vcs) = @_;
282 #print STDERR "BYVCS GIT $dir\n";
283     my $script = $v->{S}{"srcdump_vcsscript"}{$vcs};
284     die "no script for vcs $vcs" unless defined $script;
285     return srcdump_dir_cpio($c,$v,$dumpdir,$dir,$outfn,$vcs,$script);
286 }
287
288 sub srcdump_file ($$$$) {
289     my ($c,$v,$dumpdir,$file,$outfn) = @_;
290     my $outfile = $outfn->("srcdump_file saved $file", "src");
291     copy($file,$outfile) or die "$file $outfile $!";
292 }
293
294 sub srcdump_dir_cpio ($$$$$$$) {
295     my ($c,$v,$dumpdir,$dir,$outfn,$how,$script) = @_;
296     my $outfile = $outfn->("srcdump_dir_cpio $how saved $dir", "tar");
297 #print STDERR "CPIO $dir >$script<\n";
298     my $pid = fork();
299     defined $pid or die $!;
300     if (!$pid) {
301         $SIG{__DIE__} = sub {
302             print STDERR "CGI::Auth::Flexible srcdump error: $@\n";
303             exit 127;
304         };
305         open STDOUT, ">", $outfile or die "$outfile $!";
306         chdir $dir or die "chdir $dir: $!";
307         exec '/bin/bash','-ec',"
308             set -o pipefail
309             (
310              $script
311             ) | (
312              cpio -Hustar -o --quiet -0 -R 1000:1000 || \
313              cpio -Hustar -o --quiet -0
314             )
315             ";
316         die $!;
317     }
318     $!=0; (waitpid $pid, 0) == $pid or die "$!";
319     die "$dir ($how $script) $outfile $?" if $?;
320 }
321
322 sub srcdump_dirscan_prepare ($$) {
323     my ($c, $v) = @_;
324     my $dumpdir = $v->_get_path('srcdump');
325     mkdir $dumpdir or $!==&EEXIST or die "mkdir $dumpdir $!";
326     my $lockf = new IO::File "$dumpdir/generate.lock", 'w+'
327         or die "$dumpdir/generate.lock $!";
328     flock $lockf, LOCK_EX or die "$dumpdir/generate.lock $!";
329     my $needlicence = "$dumpdir/licence.tmp";
330     unlink $needlicence or $!==&ENOENT or die "rm $needlicence $!";
331     if (defined $v->{S}{srcdump_licence_path}) {
332         copy($v->{S}{srcdump_licence_path}, $needlicence)
333             or die "$v->{S}{srcdump_licence_path} $!";
334         $needlicence = undef;
335     }
336     unlink <"$dumpdir/s.[a-z][a-z][a-z].*">;
337     my @srcfiles = qw(licence.data manifest.txt);
338     my $srcoutcounter = 'aaa';
339
340     my $reportfh = new IO::File "$dumpdir/manifest.txt", 'w' or die $!;
341     my $outfn = sub {
342         my ($message, $extension) = @_;
343         if (defined $extension) {
344             my $leaf = "s.$srcoutcounter.$extension";
345             $srcoutcounter++;
346             push @srcfiles, $leaf;
347             print $reportfh "$leaf: $message\n" or die $!;
348             return "$dumpdir/$leaf";
349         } else {
350             print $reportfh "none: $message\n" or die $!;
351             return undef;
352         }
353     };
354     my %dirsdone;
355     foreach my $item ($v->_ch('srcdump_listitems')) {
356         next unless defined $item;
357         if ($item eq '.' && $v->{S}{srcdump_filter_cwd}) {
358             my @bad = grep { !m#^/# } values %INC;
359             die "filtering . from srcdump items and \@INC but already".
360                 " included @bad " if @bad;
361             @INC = grep { $_ ne '.' } @INC;
362             next;
363         }
364         if (!lstat "$item") {
365             die "stat $item $!" unless $!==&ENOENT;
366             $outfn->("srcdump_dirscan_prepare stat ENOENT, skipping $item");
367             next;
368         };
369         if (-l _) {
370             $item = realpath($item);
371             if (!defined $item) {
372                 die "realpath $item $!" unless $!==&ENOENT;
373                 $outfn->("srcdump_dirscan_prepare realpath ENOENT,".
374                          " skipping $item");
375             }
376         }
377         if (defined $needlicence) {
378             foreach my $try (@{ $v->{S}{srcdump_licence_files} }) {
379                 last if copy("$item/$try", $needlicence);
380                 $!==&ENOENT or $!==&ENOTDIR or die "copy $item/$try $!";
381             }
382         }
383         $v->_ch('srcdump_process_item', $dumpdir, $item,
384                 $outfn, \$needlicence, \%dirsdone);
385         $dirsdone{$item}++;
386     }
387     close $reportfh or die $!;
388     srcdump_install($c,$v, $dumpdir, 'licence', 'text/plain');
389     $!=0;
390     my @cmd = (qw(sh -ec), 'exec >&2 "$@"', qw(x),
391                qw(tar -zvvcf), "$dumpdir/source.tmp",
392                "-C", $dumpdir, qw(  --), @srcfiles);
393     my $r = system(@cmd);
394     if ($r) {
395         print STDERR "CGI::Auth::Flexible tar failed ($r $!) @cmd\n";
396         die "tar failed";
397     }
398     die "licence file not found" unless defined $needlicence;
399     srcdump_install($c,$v, $dumpdir, 'source', 'application/octet-stream');
400     close $lockf or die $!;
401 }
402
403 sub srcdump_install ($$$$$) {
404     my ($c,$v, $dumpdir, $which, $ctype) = @_;
405     rename "$dumpdir/$which.tmp", "$dumpdir/$which.data"
406         or die "$dumpdir/$which.data $!";
407     my $ctf = new IO::File "$dumpdir/$which.tmp", 'w'
408         or die "$dumpdir/$which.tmp $!";
409     print $ctf $ctype, "\n" or die $!;
410     close $ctf or die $!;
411     rename "$dumpdir/$which.tmp", "$dumpdir/$which.ctype"
412         or die "$dumpdir/$which.ctype $!";
413 }
414
415 #---------- verifier object methods ----------
416
417 sub new_verifier {
418     my $class = shift;
419     my $verifier = {
420         S => {
421             dir => undef,
422             db_dbh => undef, # must have AutoCommit=0, RaiseError=1
423             db_path => 'caf.db',
424             keys_path => 'caf-keys',
425             srcdump_path => 'caf-srcdump',
426             db_dsn => undef,
427             db_user => '',
428             db_password => '',
429             db_prefix => 'caf',
430             random_source => '/dev/urandom',
431             secretbits => 128, # bits
432             hash_algorithm => "SHA-256",
433             login_timeout => 86400, # seconds
434             login_form_timeout => 3600, # seconds
435             key_rollover => 86400, # seconds
436             assoc_param_name => 'caf_assochash',
437             dummy_param_name_prefix => 'caf__',
438             cookie_name => "caf_assocsecret",
439             password_param_name => 'password',
440             srcdump_param_name => 'caf_srcdump',
441             username_param_names => [qw(username)],
442             form_entry_size => 60,
443             logout_param_names => [qw(caf_logout)],
444             loggedout_param_names => [qw(caf_loggedout)],
445             promise_check_mutate => 0,
446             get_param => sub { $_[0]->param($_[2]) },
447             get_params => sub { $_[1]->get_params() },
448             get_path_info => sub { $_[0]->path_info() },
449             get_cookie => sub { $_[0]->cookie($_[1]->{S}{cookie_name}) },
450             get_method => sub { $_[0]->request_method() },
451             is_https => sub { !!$_[0]->https() },
452             get_url => sub { $_[0]->url(); },
453             is_login => sub { defined $_[1]->_rp('password_param_name') },
454             login_ok => \&login_ok_password,
455             username_password_error => sub { die },
456             is_logout => sub { $_[1]->has_a_param('logout_param_names') },
457             is_loggedout => sub { $_[1]->has_a_param('loggedout_param_names') },
458             handle_divert => sub { return 0 },
459             do_redirect => \&do_redirect_cgi, # this hook is allowed to throw
460             cookie_path => "/",
461             get_cookie_domain => \&get_cookie_domain,
462             encrypted_only => 1,
463             gen_start_html => sub { $_[0]->start_html($_[2]); },
464             gen_footer_html => \&gen_plain_footer_html,
465             gen_licence_link_html => \&gen_plain_licence_link_html,
466             gen_source_link_html => \&gen_plain_source_link_html,
467             gen_end_html => sub { $_[0]->end_html(); },
468             gen_login_form => \&gen_plain_login_form,
469             gen_login_link => \&gen_plain_login_link,
470             gen_postmainpage_form => \&gen_postmainpage_form,
471             srcdump_dump => \&srcdump_dump,
472             srcdump_prepare => \&srcdump_dirscan_prepare,
473             srcdump_licence_path => undef,
474             srcdump_licence_files => [qw(AGPLv3 CGI/Auth/Flexible/AGPLv3)],
475             srcdump_listitems => sub { (@INC, $ENV{'SCRIPT_FILENAME'}, $0); },
476             srcdump_filter_cwd => 1,
477             srcdump_system_dir => sub {
478                 $_[2] =~ m#^/etc/|^/usr/(?!local/)(?!lib/cgi)#;
479             },
480             srcdump_process_item => \&srcdump_process_item,
481             srcdump_vcs_dirs => [qw(.git .hg .bzr .svn)],
482             srcdump_vcsscript => {git => "
483                  git ls-files -z
484                  git ls-files -z --others --exclude-from=.gitignore
485                  find .git ! -name \\*~ -print0
486                             "},
487             srcdump_byvcs => \&srcdump_byvcs,
488             srcdump_novcs => \&srcdump_novcs,
489             srcdump_excludes => [qw(*~ *.bak *.tmp), '#*#'],
490             dump => \&dump_plain,
491             gettext => sub { gettext($_[2]); },
492             print => sub { print $_[2] or die $!; },
493             debug => sub { }, # like print; msgs contain trailing \n
494         },
495         Dbh => undef,
496     };
497     my ($k,$v);
498     while (($k,$v,@_) = @_) {
499         die "unknown setting $k" unless
500             $k =~ m/^promise_/ or
501             exists $verifier->{S}{$k};
502         $verifier->{S}{$k} = $v;
503     }
504     $verifier->{S}{db_setup_stmts} //=
505         ["CREATE TABLE $verifier->{S}{db_prefix}_assocs (".
506          " assochash VARCHAR PRIMARY KEY,".
507          " username VARCHAR NOT NULL,".
508          " last INTEGER NOT NULL".
509          ")"
510          ,
511          "CREATE INDEX $verifier->{S}{db_prefix}_assocs_timeout_index".
512          " ON $verifier->{S}{db_prefix}_assocs".
513          " (last)"
514         ];
515     bless $verifier, $class;
516     $verifier->_dbopen();
517     $verifier->_ch('srcdump_prepare');
518     return $verifier;
519 }
520
521 sub _db_setup_do ($$) {
522     my ($v, $sql) = @_;
523     my $dbh = $v->{Dbh};
524     eval {
525         $v->_db_transaction(sub {
526             local ($dbh->{PrintError}) = 0;
527             $dbh->do($sql);
528         });
529     };
530 }
531
532 sub _dbopen ($) {
533     my ($v) = @_;
534     my $dbh = $v->{Dbh};
535     return $dbh if $dbh; 
536
537     $dbh = $v->{S}{db_dbh};
538     if ($dbh) {
539         die if $dbh->{AutoCommit};
540         die unless $dbh->{RaiseError};
541     } else {
542         $v->{S}{db_dsn} ||= "dbi:SQLite:dbname=".$v->_get_path('db');
543         my $dsn = $v->{S}{db_dsn};
544
545         my $u = umask 077;
546         $dbh = DBI->connect($dsn, $v->{S}{db_user},
547                             $v->{S}{db_password}, {
548                                 AutoCommit => 0,
549                                 RaiseError => 1,
550                                 ShowErrorStatement => 1,
551                             });
552         umask $u;
553         die "$dsn $! ?" unless $dbh;
554     }
555     $v->{Dbh} = $dbh;
556
557     foreach my $stmt (@{ $v->{S}{db_setup_stmts} }) {
558         $v->_db_setup_do($stmt);
559     }
560     return $dbh;
561 }
562
563 sub disconnect ($) {
564     my ($v) = @_;
565     my $dbh = $v->{Dbh};
566     return unless $dbh;
567     $dbh->disconnect();
568 }
569
570 sub _db_transaction ($$) {
571     my ($v, $fn) = @_;
572     my $retries = 10;
573     my $rv;
574     my $dbh = $v->{Dbh};
575 #print STDERR "DT entry\n";
576     for (;;) {
577 #print STDERR "DT loop\n";
578         if (!eval {
579             $rv = $fn->();
580 #print STDERR "DT fn ok\n";
581             1;
582         }) {
583 #print STDERR "DT fn error\n";
584             { local ($@); $dbh->rollback(); }
585 #print STDERR "DT fn throwing\n";
586             die $@;
587         }
588 #print STDERR "DT fn eval ok\n";
589         if (eval {
590             $dbh->commit();
591 #print STDERR "DT commit ok\n";
592             1;
593         }) {
594 #print STDERR "DT commit eval ok ",Dumper($rv);
595             return $rv;
596         }
597 #print STDERR "DT commit throw?\n";
598         die $@ if !--$retries;
599 #print STDERR "DT loop again\n";
600     }
601 }
602
603 #---------- request object methods ----------
604
605 sub new_request {
606     my ($classbase, $cgi, @extra) = @_;
607     if (!ref $classbase) {
608         $classbase = $classbase->new_verifier(@extra);
609     } else {
610         die if @extra;
611     }
612     my $r = {
613         V => $classbase,
614         S => $classbase->{S},
615         Dbh => $classbase->{Dbh},
616         Cgi => $cgi,
617     };
618     bless $r, ref $classbase;
619 }
620
621 sub _ch ($$@) { # calls an application hook
622     my ($r,$methname, @args) = @_;
623     my $methfunc = $r->{S}{$methname};
624     die "$methname ?" unless $methfunc;
625     return $methfunc->($r->{Cgi}, $r, @args);
626 }
627
628 sub _rp ($$@) {
629     my ($r,$pnvb) = @_;
630     my $pn = $r->{S}{$pnvb};
631     my $p = scalar $r->_ch('get_param',$pn)
632 }
633
634 sub _debug ($@) {
635     my ($r,@args) = @_;
636     $r->_ch('debug',@args);
637 }
638
639 sub _get_path ($$) {
640     my ($r,$keybase) = @_;
641     my $leaf = $r->{S}{"${keybase}_path"};
642     return $r->_absify_path($leaf);
643 }
644
645 sub _absify_path ($$) {
646     my ($v,$leaf) = @_;
647     return $leaf if $leaf =~ m,^/,;
648     my $dir = $v->{S}{dir};
649     die "relying on cwd by default ?!  set dir" unless defined $dir;
650     return "$dir/$leaf";
651 }
652
653 sub _gt ($$) { my ($r, $t) = @_; return $r->_ch('gettext',$t); }
654 sub _print ($$) { my ($r, @t) = @_; return $r->_ch('print', join '', @t); }
655
656 sub construct_cookie ($$$) {
657     my ($r, $cooks) = @_;
658     return undef unless $cooks;
659     my $c = $r->{Cgi};
660     my @ca = (
661         -name => $r->{S}{cookie_name},
662         -value => $cooks,
663         -path => $r->{S}{cookie_path},
664         -domain => $r->_ch('get_cookie_domain'),
665         -expires => '+'.$r->{S}{login_timeout}.'s',
666         -secure => $r->{S}{encrypted_only}
667         );
668     my $cookie = $c->cookie(@ca);
669 #print STDERR "CC $r $c $cooks $cookie (@ca).\n";
670     return $cookie;
671 }
672
673 # pages/param-sets are
674 #   n normal non-mutating page
675 #   r retrieval of information for JS etc., non-mutating
676 #   m mutating page
677 #   u update of information by JS etc., mutating
678 #   i login
679 #   o logout
680 #   O "you have just logged out" page load
681
682 # in cook and par,
683 #    -         no value supplied (represented in code as $cookt='')
684 #    n, nN     value not in our db
685 #    t, tN     temporary value (in our db, no logged in user yet)
686 #    y, yN     value corresponds to logged-in user
687 # and, aggregated conditions:
688 #    a, aN     anything including -
689 #    x, xN     t or y
690 # if N differs the case applies only when the two values differ
691 # (eg,   a1 y2   does not apply when the logged-in value is supplied twice)
692
693 # "stale session" means request originates from a page from a login
694 # session which has been revoked (eg by logout); "cleared session"
695 # means request originates from a browser which has a different (or
696 # no) cookie.
697
698     # Case analysis, cookie mode, app promises re mutate:
699     # cook parm meth form
700     #                      
701     #  any -   POST  nrmuoi   bug or attack, fail
702     #  any -   GET    rmuoi   bug or attack, fail
703     #  any any GET     muoi   bug or attack, fail
704     #
705     #  -   -   GET         O  "just logged out" page
706     #  (any other)         O  bug or attack, fail
707     #
708     #  a1  a2  POST      o    logout
709     #                           if a1 is valid, revoke it
710     #                           if a2 is valid, revoke it
711     #                           delete cookie
712     #                           redirect to "just logged out" page
713     #                             (which contains link to login form)
714     #
715     #  -   t   POST       i   complain about cookies being disabled
716     #                           (with link to login form)
717     #
718     #  t1  t1  POST       i   login (or switch user)
719     #                           if bad
720     #                             show new login form
721     #                           if good
722     #                             upgrade t1 to y1 in our db (setting username)
723     #                             redirect to GET of remaining params
724     #
725     #  y1  a2  POST       i   complain about stale login form
726     #                           revoke y1
727     #                           show new login form
728     #                           
729     #  (other) POST       i   complain about stale login form
730     #                           show new login form
731     #
732     #  t1  a2  ANY   nrmu     treat as  - a2 ANY
733     #
734     #  y   -   GET   n        cross-site link
735     #                           show data
736     #
737     #  y   y   GET   nr       fine, show page or send data
738     #  y   y   POST  nrmu     mutation is OK, do operation
739     #
740     #  y1  y2  GET   nr       request from stale page
741     #                           do not revoke y2 as not RESTful
742     #                           treat as   y1 n GET
743     #
744     #  y1  y2  POST  nrmu     request from stale page
745     #                           revoke y2
746     #                           treat as   y1 n POST
747     #
748     #  y   nt  GET   n        intra-site link from stale page,
749     #                           treat as cross-site link, show data
750     #
751     #  y   nt  POST  n m      intra-site form submission from stale page
752     #                           show "session interrupted"
753     #                           with link to main data page
754     #
755     #  y   nt  GET    r       intra-site request from stale page
756     #                           fail
757     #
758     #  y   nt  POST   r u     intra-site request from stale page
759     #                           fail
760     #
761     #  -n  y2  GET   nr       intra-site link from cleared session
762     #                           do not revoke y2 as not RESTful
763     #                           treat as   -/n n GET
764     #
765     #  -n  y2  POST  nrmu     request from cleared session
766     #                           revoke y2
767     #                           treat as   -/n n POST
768     #
769     #  -nt -nt GET   n        cross-site link but user not logged in
770     #                           show login form with redirect to orig params
771     #                           generate fresh cookie
772     #
773     #  -nt nt  GET    rmu     user not logged in
774     #                           fail
775     #
776     #  -nt nt  POST  n m      user not logged in
777     #                           show login form
778     #
779     #  -nt nt  POST   r u     user not logged in
780     #                           fail
781
782 sub _check_divert_core ($) {
783     my ($r) = @_;
784
785     my $srcdump = $r->_rp('srcdump_param_name');
786     if ($srcdump) {
787         die if $srcdump =~ m/\W/;
788         return ({ Kind => 'SRCDUMP-'.uc $srcdump,
789                   Message => undef,
790                   _CookieRaw => undef,
791                   Params => { } });
792     }
793
794     my $cooksraw = $r->_ch('get_cookie');
795     my $cooks = $r->_unblind($cooksraw);
796
797     if ($r->{S}{encrypted_only} && !$r->_ch('is_https')) {
798         return ({ Kind => 'REDIRECT-HTTPS',
799                   Message => $r->_gt("Redirecting to secure server..."),
800                   _CookieRaw => undef,
801                   Params => { } });
802     }
803
804     my $meth = $r->_ch('get_method');
805     my $parmhraw = $r->_rp('assoc_param_name');
806     my $parmh = $r->_unblind($parmhraw);
807     my $cookh = defined $cooks ? $r->hash($cooks) : undef;
808
809     my ($cookt,$cooku) = $r->_identify($cookh, $cooks);
810     my $parms = (defined $cooks && defined $parmh && $parmh eq $cookh)
811         ? $cooks : undef;
812     my ($parmt) = $r->_identify($parmh, $parms);
813
814     $r->_debug("_c_d_c cookt=$cookt parmt=$parmt\n");
815
816     if ($r->_ch('is_logout')) {
817         $r->_must_be_post();
818         die unless $parmt;
819         $r->_db_revoke($cookh);
820         $r->_db_revoke($parmh);
821         return ({ Kind => 'REDIRECT-LOGGEDOUT',
822                   Message => $r->_gt("Logging out..."),
823                   _CookieRaw => '',
824                   Params => {
825                       $r->{S}{loggedout_param_names}[0] => [ 1 ],
826                   } });
827     }
828     if ($r->_ch('is_loggedout')) {
829         die unless $meth eq 'GET';
830         die if $cookt eq 'y';
831         die if $parmt;
832         return ({ Kind => 'SMALLPAGE-LOGGEDOUT',
833                   Message => $r->_gt("You have been logged out."),
834                   _CookieRaw => '',
835                   Params => { } });
836     }
837     if ($r->_ch('is_login')) {
838         $r->_must_be_post();
839         die unless $parmt;
840         if (!$cookt && $parmt eq 'n') {
841             return ({ Kind => 'SMALLPAGE-NOCOOKIE',
842                       Message => $r->_gt("You do not seem to have cookies".
843                                          " enabled.  You must enable cookies".
844                                          " as we use them for login."),
845                       _CookieRaw => $r->_fresh_secret(),
846                       Params => $r->chain_params() })
847         }
848         if (!$cookt || $cookt eq 'n' || $cookh ne $parmh) {
849             $r->_db_revoke($cookh);
850             return ({ Kind => 'LOGIN-STALE',
851                       Message => $r->_gt("Stale session;".
852                                          " you need to log in again."),
853                       _CookieRaw => $r->_fresh_secret(),
854                       Params => { } })
855         }
856         die unless $parmt eq 't' || $parmt eq 'y';
857         my ($username, $login_errormessage) = $r->_ch('login_ok');
858         unless (defined $username && length $username) {
859             $login_errormessage = $r->_gt("Incorrect username/password.")
860                 if !$login_errormessage;
861             return ({ Kind => 'LOGIN-BAD',
862                       Message => $login_errormessage,
863                       _CookieRaw => $cooks,
864                       Params => $r->chain_params() })
865         }
866         $r->_db_record_login_ok($parmh,$username);
867         return ({ Kind => 'REDIRECT-LOGGEDIN',
868                   Message => $r->_gt("Logging in..."),
869                   _CookieRaw => $cooks,
870                   Params => $r->chain_params() });
871     }
872     if ($cookt eq 't') {
873         $cookt = '';
874     }
875
876     if ($cookt eq 'y' && $parmt eq 'y' && $cookh ne $parmh) {
877         $r->_db_revoke($parmh) if $meth eq 'POST';
878         $parmt = 'n';
879     }
880
881     if ($cookt ne 'y') {
882         die unless !$cookt || $cookt eq 'n';
883         die unless !$parmt || $parmt eq 't' || $parmt eq 'n' || $parmt eq 'y';
884         my $news = $r->_fresh_secret();
885         if ($meth eq 'GET') {
886             return ({ Kind => 'LOGIN-INCOMINGLINK',
887                       Message => $r->_gt("You need to log in."),
888                       _CookieRaw => $news,
889                       Params => $r->chain_params() });
890         } else {
891             $r->_db_revoke($parmh);
892             return ({ Kind => 'LOGIN-FRESH',
893                       Message => $r->_gt("You need to log in."),
894                       _CookieRaw => $news,
895                       Params => { } });
896         }
897     }
898
899     if (!$r->{S}{promise_check_mutate}) {
900         if ($meth ne 'POST') {
901             return ({ Kind => 'MAINPAGEONLY',
902                       Message => $r->_gt('Entering via cross-site link.'),
903                       _CookieRaw => $cooks,
904                       Params => { } });
905             # NB caller must then ignore params & path!
906             # if this is too hard they can spit out a small form
907             # with a "click to continue"
908         }
909     }
910
911     die unless $cookt eq 'y';
912     unless ($r->{S}{promise_check_mutate} && $meth eq 'GET') {
913         if ($parmt eq 't' || $parmt eq 'n') {
914             return ({ Kind => 'STALE',
915                       Message => $r->_gt("Login session interrupted."),
916                       _CookieRaw => $cooks,
917                       Params => { } });
918         }
919         die unless $parmt eq 'y';
920         die unless $cookh eq $parmh;
921     }
922     $r->_db_update_last($cooku,$parmh);
923
924     $r->{ParmT} = $parmt;
925     $r->{AssocRaw} = $cooks;
926     $r->{UserOK} = $cooku;
927 #print STDERR "C-D-C OK\n";
928     return undef;
929 }
930
931 sub chain_params ($) {
932     my ($r) = @_;
933     my %p = %{ $r->_ch('get_params') };
934     foreach my $pncn (keys %{ $r->{S} }) {
935         my $names;
936         if ($pncn =~ m/_param_name$/) {
937             my $name = $r->{S}{$pncn};
938             die "$pncn ?" if ref $name;
939             $names = [ $name ];
940         } elsif ($pncn =~ m/_param_names$/) {
941             $names = $r->{S}{$pncn};
942         } else {
943             next;
944         }
945         foreach my $name (@$names) {
946             delete $p{$name};
947         }
948     }
949     my $dummy_prefix = $r->{S}{dummy_param_name_prefix};
950     foreach my $name (grep /^$dummy_prefix/, keys %p) {
951         delete $p{$name};
952     }
953     die if exists $p{''};
954     $p{''} = [ $r->_ch('get_path_info') ];
955     return \%p;
956 }
957
958 sub _identify ($$) {
959     my ($r,$h,$s) = @_;
960     # returns ($t,$username)
961     # where $t is one of "t" "y" "n", or "" (for -)
962     # either $s must be undef, or $h eq $r->hash($s)
963
964 #print STDERR "_identify\n";
965     return '' unless defined $h && length $h;
966 #print STDERR "_identify h=$h s=".(defined $s ? $s : '<undef>')."\n";
967
968     my $dbh = $r->{Dbh};
969
970     $dbh->do("DELETE FROM $r->{S}{db_prefix}_assocs".
971              " WHERE last < ?", {},
972              time - $r->{S}{login_timeout});
973
974     my $row = $dbh->selectrow_arrayref("SELECT username, last".
975                               " FROM $r->{S}{db_prefix}_assocs".
976                               " WHERE assochash = ?", {}, $h);
977     if (defined $row) {
978 #print STDERR "_identify h=$h s=$s YES @$row\n";
979         my ($nusername, $nlast) = @$row;
980         return ('y', $nusername);
981     }
982
983     # Well, it's not in the database.  But maybe it's a hash of a
984     # temporary secret.
985
986     return 'n' unless defined $s;
987
988     my ($keyt, $signature, $message, $noncet, $nonce) =
989         $s =~ m/^(\d+)\.(\w+)\.((\d+)\.(\w+))$/ or die;
990
991     return 'n' if time > $noncet + $r->{S}{login_form_timeout};
992
993 #print STDERR "_identify noncet=$noncet ok\n";
994
995     my $keys = $r->_open_keys();
996     while (my ($rkeyt, $rkey, $line) = $r->_read_key($keys)) {
997 #print STDERR "_identify  search rkeyt=$rkeyt rkey=$rkey\n";
998         last if $rkeyt < $keyt; # too far down in the file
999         my $trysignature = $r->_hmac($rkey, $message);
1000 #print STDERR "_identify  search rkeyt=$rkeyt rkey=$rkey try=$trysignature\n";
1001         return 't' if $trysignature eq $signature;
1002     }
1003     # oh well
1004 #print STDERR "_identify NO\n";
1005
1006     $keys->error and die $!;
1007     return 'n';
1008 }
1009
1010 sub _db_revoke ($$) {
1011     # revokes $h if it's valid; no-op if it's not
1012     my ($r,$h) = @_;
1013
1014     my $dbh = $r->{Dbh};
1015
1016     $dbh->do("DELETE FROM $r->{S}{db_prefix}_assocs".
1017              " WHERE assochash = ?", {}, $h);
1018 }
1019
1020 sub _db_record_login_ok ($$$) {
1021     my ($r,$h,$user) = @_;
1022     $r->_db_revoke($h);
1023     my $dbh = $r->{Dbh};
1024     $dbh->do("INSERT INTO $r->{S}{db_prefix}_assocs".
1025              " (assochash, username, last) VALUES (?,?,?)", {},
1026              $h, $user, time);
1027 }
1028
1029 sub _db_update_last ($$) {
1030     # revokes $h if it's valid; no-op if it's not
1031     my ($r,$user,$h) = @_;
1032     my $dbh = $r->{Dbh};
1033     $dbh->do("UPDATE $r->{S}{db_prefix}_assocs".
1034              " SET last = ?".
1035              " WHERE username = ? AND assochash = ?", {},
1036              time, $user, $h);
1037 }
1038
1039 sub check_divert ($) {
1040     my ($r) = @_;
1041     if (exists $r->{Divert}) {
1042         return $r->{Divert};
1043     }
1044     my $dbh = $r->{Dbh};
1045     $r->{Divert} = $r->_db_transaction(sub { $r->_check_divert_core(); });
1046     $dbh->commit();
1047
1048     my $divert = $r->{Divert};
1049     my $cookraw = $divert && $divert->{_CookieRaw};
1050     if ($cookraw) {
1051         $divert->{CookieSecret} = $r->_blind($cookraw);
1052         $divert->{Params}{$r->{S}{assoc_param_name}} = [
1053             $r->_blind($r->hash($cookraw))
1054             ];
1055     }
1056
1057     $r->_debug(Data::Dumper->Dump([$divert],[qw(divert)]));
1058     return $divert;
1059 }
1060
1061 sub get_divert ($) {
1062     my ($r) = @_;
1063     die "unchecked" unless exists $r->{Divert};
1064     return $r->{Divert};
1065 }
1066
1067 sub get_username ($) {
1068     my ($r) = @_;
1069     my $divert = $r->get_divert();
1070     return undef if $divert;
1071     return $r->{UserOK};
1072 }
1073
1074 sub url_with_query_params ($$;$) {
1075     my ($r, $params, $nonpagetype) = @_;
1076 #print STDERR "PARAMS ",Dumper($params);
1077     my $uri = URI->new($r->_ch('get_url'));
1078     $uri->path($uri->path() . $params->{''}[0]) if $params->{''};
1079     my @flatparams = flatten_params($params);
1080     if (defined $nonpagetype && $r->need_add_hidden('GET',$nonpagetype)) {
1081         push @flatparams, $r->{S}{assoc_param_name}, $r->secret_hidden_val();
1082     }
1083     $uri->query_form(@flatparams);
1084     return $uri->as_string();
1085 }
1086
1087 sub _cgi_header_args ($$@) {
1088     my ($r, $cookie, @ha) = @_;
1089     unshift @ha, qw(-type text/html);
1090     push @ha, (-cookie => $cookie) if defined $cookie;
1091 #print STDERR "_cgi_header_args ",join('|',@ha),".\n";
1092     return @ha;
1093 }
1094
1095 sub check_ok ($) {
1096     my ($r) = @_;
1097
1098     my ($divert) = $r->check_divert();
1099     return 1 if !$divert;
1100
1101     my $handled = $r->_ch('handle_divert',$divert);
1102     return 0 if $handled;
1103
1104     my $kind = $divert->{Kind};
1105     my $cookiesecret = $divert->{CookieSecret};
1106     my $params = $divert->{Params};
1107     my $cookie = $r->construct_cookie($cookiesecret);
1108
1109     if ($kind =~ m/^SRCDUMP-(\w+)$/) {
1110         $r->_ch('srcdump_dump', (lc $1));
1111         return 0;
1112     }
1113
1114     if ($kind =~ m/^REDIRECT-/) {
1115         # for redirects, we honour stored Params and Cookie,
1116         # as we would for non-divert
1117         if ($kind eq 'REDIRECT-LOGGEDOUT') {
1118         } elsif ($kind =~ m/REDIRECT-(?:LOGGEDIN|HTTPS)/) {
1119         } else {
1120             die;
1121         }
1122         my $new_url = $r->url_with_query_params($params);
1123         if ($kind eq 'REDIRECT-HTTPS') {
1124             my $uri = URI->new($new_url);
1125             die unless $uri->scheme eq 'http';
1126             $uri->scheme('https');
1127             $new_url = $uri->as_string();
1128         }
1129         $r->_ch('do_redirect',$new_url, $cookie);
1130         return 0;
1131     }
1132
1133     my ($title, @body);
1134     if ($kind =~ m/^LOGIN-/) {
1135         $title = $r->_gt('Login');
1136         push @body, $divert->{Message};
1137         push @body, $r->_ch('gen_login_form', $params);
1138     } elsif ($kind =~ m/^SMALLPAGE-/) {
1139         $title = $r->_gt('Not logged in');
1140         push @body, $divert->{Message};
1141         push @body, $r->_ch('gen_login_link', $params);
1142     } elsif ($kind =~ m/^STALE/) {
1143         $title = $r->_gt('Re-entering secure site.');
1144         push @body, $divert->{Message};
1145         push @body, $r->_ch('gen_postmainpage_form', $params);
1146     } elsif ($kind =~ m/^MAINPAGEONLY$/) {
1147         $title = $r->_gt('Entering secure site.');
1148         push @body, $divert->{Message};
1149         push @body, $r->_ch('gen_postmainpage_form', $params);
1150     } else {
1151         die $kind;
1152     }
1153
1154     $r->_print($r->{Cgi}->header($r->_cgi_header_args($cookie)),
1155                $r->_ch('gen_start_html',$title),
1156                (join "\n", (@body,
1157                             $r->_ch('gen_footer_html'),
1158                             $r->_ch('gen_end_html'))));
1159     return 0;
1160 }
1161
1162 sub _random ($$) {
1163     my ($r, $bytes) = @_;
1164     my $v = $r->{V};
1165     my $rsf = $v->{RandomHandle};
1166     my $rsp = $r->{S}{random_source};
1167     if (!$rsf) {
1168         $v->{RandomHandle} = $rsf = new IO::File $rsp, '<' or die "$rsp $!";
1169 #print STDERR "RH $rsf\n";
1170     }
1171     my $bin;
1172     $!=0;
1173     read($rsf,$bin,$bytes) == $bytes or die "$rsp $!";
1174     my $out = unpack "H*", $bin;
1175 #print STDERR "_random out $out\n";
1176     return $out;
1177 }
1178
1179 sub _blind_len ($$) {
1180     my ($r, $str) = @_;
1181     return length($str =~ y/0-9a-f//cdr);
1182 }
1183
1184 sub _blind_combine ($$$) {
1185     my ($r, $in, $mask) = @_;
1186     my @mask = split //, $mask;
1187     $in =~ s{[0-9a-f]}{
1188         my $m = shift @mask;
1189         sprintf "%x", hex($m) ^ hex($&);
1190     }ge;
1191     return $in;
1192 }
1193
1194 sub _blind ($$) {
1195     my ($r, $in) = @_;
1196     return $in unless $in;
1197     my $l = $r->_blind_len($in);
1198     my $mask = $r->_random(($l+1)>>1);
1199     $mask = substr $mask, 0, $l;
1200     my $blound = $r->_blind_combine($in, $mask);
1201     return "$blound.$mask";
1202 }
1203
1204 sub _unblind ($$) {
1205     my ($r, $in) = @_;
1206     return $in unless $in;
1207     my ($blound,$mask) = ($in =~ m#^(.*)\.([0-9a-f]+)$#) or die "$in ?";
1208     my $l = $r->_blind_len($blound);
1209     $l == length($mask) or die "$in ?";
1210     return $r->_blind_combine($blound, $mask);
1211 }
1212
1213 sub _random_key ($) {
1214     my ($r) = @_;
1215 #print STDERR "_random_key\n";
1216     my $bytes = ($r->{S}{secretbits} + 7) >> 3;
1217     return $r->_random($bytes);
1218 }
1219
1220 sub _read_key ($$) {
1221     my ($r, $keys) = @_;
1222     # returns $gen_time_t, $key_value_in_hex, $complete_line
1223     while (<$keys>) {
1224         my ($gen, $k) = m/^(\d+) (\S+)$/ or die "$_ ?";
1225         my $age = time - $gen;
1226         next if $age > $r->{S}{key_rollover} &&
1227             $age > $r->{S}{login_form_timeout}*2;
1228         return ($gen, $k, $_);
1229     }
1230     return ();
1231 }
1232
1233 sub _open_keys ($) {
1234     my ($r) = @_;
1235     my $spath = $r->_get_path('keys');
1236     for (;;) {
1237 #print STDERR "_open_keys\n";
1238         my $keys = new IO::File $spath, 'r+';
1239         if ($keys) {
1240 #print STDERR "_open_keys open\n";
1241             stat $keys or die $!; # NB must not disturb stat _
1242             my $size = (stat _)[7];
1243             my $age = time - (stat _)[9];
1244 #print STDERR "_open_keys open size=$size age=$age\n";
1245             return $keys
1246                 if $size && $age <= $r->{S}{key_rollover} / 2;
1247 #print STDERR "_open_keys open bad\n";
1248         }
1249         # file doesn't exist, or is empty or too old
1250         if (!$keys) {
1251 #print STDERR "_open_keys closed\n";
1252             die "$spath $!" unless $!==&ENOENT;
1253             # doesn't exist, so create it just so we can lock it
1254             $keys = new IO::File $spath, 'a+';
1255             die "$keys $!" unless $keys;
1256             stat $keys or die $!; # NB must not disturb stat _
1257             my $size = (stat _)[7];
1258 #print STDERR "_open_keys created size=$size\n";
1259             next if $size; # oh someone else has done it, reopen and read it
1260         }
1261         # file now exists is empty or too old, we must try to replace it
1262         my $our_inum = (stat _)[1]; # last use of that stat _
1263         flock $keys, LOCK_EX or die "$spath $!";
1264         stat $spath or die "$spath $!";
1265         my $path_inum = (stat _)[1];
1266 #print STDERR "_open_keys locked our=$our_inum path=$path_inum\n";
1267         next if $our_inum != $path_inum; # someone else has done it
1268         # We now hold the lock!
1269 #print STDERR "_open_keys creating\n";
1270         my $newkeys = new IO::Handle;
1271         sysopen $newkeys, "$spath.new", O_CREAT|O_TRUNC|O_WRONLY, 0600
1272             or die "$spath.new $!";
1273         # we add the new key to the front which means it's always sorted
1274         print $newkeys time, ' ', $r->_random_key(), "\n" or die $!;
1275         while (my ($gen,$key,$line) = $r->_read_key($keys)) {
1276 #print STDERR "_open_keys copy1\n";
1277             print $newkeys, $line or die $!;
1278         }
1279         $keys->error and die $!;
1280         close $newkeys or die "$spath.new $!";
1281         rename "$spath.new", "$spath" or die "$spath: $!";
1282 #print STDERR "_open_keys installed\n";
1283         # that rename effective unlocks, since it makes the name refer
1284         #  to the new file which we haven't locked
1285         # we go round again opening the file at the beginning
1286         #  so that our caller gets a fresh handle onto the existing key file
1287     }
1288 }
1289
1290 sub _fresh_secret ($) {
1291     my ($r) = @_;
1292 #print STDERR "_fresh_secret\n";
1293
1294     my $keys = $r->_open_keys();
1295     my ($keyt, $key) = $r->_read_key($keys);
1296     die unless defined $keyt;
1297
1298     my $nonce = $r->_random_key();
1299     my $noncet = time;
1300     my $message = "$noncet.$nonce";
1301
1302     my $signature = $r->_hmac($key, $message);
1303     my $secret = "$keyt.$signature.$message";
1304 #print STDERR "FRESH $secret\n";
1305     return $secret;
1306 }
1307
1308 sub _hmac ($$$) {
1309     my ($r, $keyhex, $message) = @_;
1310     my $keybin = pack "H*", $keyhex;
1311     my $alg = $r->{S}{hash_algorithm};
1312 #print STDERR "hmac $alg\n";
1313     my $base = new Digest $alg;
1314 #print STDERR "hmac $alg $base\n";
1315     my $digest = new Digest::HMAC $keybin, $base;
1316 #print STDERR "hmac $alg $base $digest\n";
1317     $digest->add($message);
1318     return $digest->hexdigest();
1319 }
1320
1321 sub hash ($$) {
1322     my ($r, $message) = @_;
1323     my $alg = $r->{S}{hash_algorithm};
1324 #print STDERR "hash $alg\n";
1325     my $digest = new Digest $alg;
1326     $digest->add($message);
1327     return $digest->hexdigest();
1328 }
1329
1330 sub _assert_checked ($) {
1331     my ($r) = @_;
1332     die "unchecked" unless exists $r->{Divert};
1333 }
1334
1335 sub _is_post ($) {
1336     my ($r) = @_;
1337     my $meth = $r->_ch('get_method');
1338     return $meth eq 'POST';
1339 }
1340
1341 sub _must_be_post ($) {
1342     my ($r) = @_;
1343     my $meth = $r->_ch('get_method');
1344     die "mutating non-POST" if $meth ne 'POST';
1345 }
1346
1347 sub check_mutate ($) {
1348     my ($r) = @_;
1349     $r->_assert_checked();
1350     die if $r->{Divert};
1351     $r->_must_be_post();
1352 }
1353
1354 our %_resource_get_needs_secret_hidden =
1355     (map { $_ => 0 } qw(PAGE FRAME IFRAME SRCDUMP STYLESHEET FAVICON ROBOTS),
1356      map { $_ => 1 } qw(IMAGE SCRIPT AJAX-XML AJAX-JSON AJAX-OTHER));
1357
1358 sub update_get_need_add_hidden ($$;$) {
1359     my ($r, $reqtype, $value, $force) = @_;
1360     my $hash = ref $r
1361         ? ($r->{GetNeedsSecretHidden} ||= { })
1362         : \%_resource_get_needs_secret_hidden;
1363     return if !$force &&
1364         (exists $_resource_get_needs_secret_hidden{$reqtype} ||
1365          exists $hash->{$reqtype});
1366     $hash->{$reqtype} = $value;
1367 }
1368
1369 sub need_add_hidden ($$) {
1370     my ($r, $method, $reqtype) = @_;
1371     return 1 if $method ne 'GET';
1372     if (ref $r) {
1373         my $ent = $r->{GetNeedsSecretHidden}{$reqtype};
1374         return $ent if defined $ent;
1375     }
1376     my $ent = $_resource_get_needs_secret_hidden{$reqtype};
1377     return $ent if defined $ent;
1378     die "unsupported nonpage GET type $reqtype";
1379 }
1380
1381 sub check_nonpage ($$) {
1382     my ($r, $reqtype) = @_;
1383     $r->_assert_checked();
1384     return unless $r->resource_get_needs_secret_hidden($reqtype);
1385     return if $r->{ParmT} eq 'y';
1386     die "missing hidden secret parameter on nonpage request $reqtype";
1387 }
1388
1389 #---------- output ----------
1390
1391 sub secret_cookie_val ($) {
1392     my ($r) = @_;
1393     $r->_assert_checked();
1394     return defined $r->{AssocRaw} ? $r->_blind($r->{AssocRaw}) : '';
1395 }
1396
1397 sub secret_hidden_val ($) {
1398     my ($r) = @_;
1399     $r->_assert_checked();
1400     return defined $r->{AssocRaw} ? $r->_blind($r->hash($r->{AssocRaw})) : '';
1401 }
1402
1403 sub secret_hidden_html ($) {
1404     my ($r) = @_;
1405     return $r->{Cgi}->hidden(-name => $r->{S}{assoc_param_name},
1406                              -default => $r->secret_hidden_val());
1407 }
1408
1409 sub secret_cookie ($) {
1410     my ($r) = @_;
1411     my $secret = $r->secret_cookie_val();
1412     return undef if !defined $secret;
1413 #print STDERR "SC\n";
1414     my $cookv = $r->construct_cookie($secret); 
1415 #print STDERR "SC=$cookv\n";
1416     return $cookv;
1417 }
1418
1419 1;