chiark / gitweb /
cd9ef83c4e10a988ed5d17a44690c0435eb6b5dc
[ypp-sc-tools.db-test.git] / yarrg / commod-update-receiver
1 #!/usr/bin/perl -w
2 #
3 # This script is invoked when the yarrg client uploads to
4 # the chiark database.
5
6 # This is part of ypp-sc-tools, a set of third-party tools for assisting
7 # players of Yohoho Puzzle Pirates.
8 #
9 # Copyright (C) 2009 Ian Jackson <ijackson@chiark.greenend.org.uk>
10 #
11 # This program is free software: you can redistribute it and/or modify
12 # it under the terms of the GNU General Public License as published by
13 # the Free Software Foundation, either version 3 of the License, or
14 # (at your option) any later version.
15 #
16 # This program is distributed in the hope that it will be useful,
17 # but WITHOUT ANY WARRANTY; without even the implied warranty of
18 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 # GNU General Public License for more details.
20 #
21 # You should have received a copy of the GNU General Public License
22 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 #
24 # Yohoho and Puzzle Pirates are probably trademarks of Three Rings and
25 # are used without permission.  This program is not endorsed or
26 # sponsored by Three Rings.
27
28 # All calls contain:
29 #  clientname                   "ypp-sc-tools"
30 #  clientversion                2.1-g2e06a26  [from git-describe --tags HEAD]
31 #  clientfixes                  "lastpage"  [space separated list]
32 #
33 # Timestamp requests contain:
34 #  requesttimestamp
35 #
36 # Uploads contain:
37 #  ocean                        canonical mixed case
38 #  island                       canonical mixed case
39 #  data filename=deduped.tsv.gz output of yarrg --tsv
40
41
42 use strict (qw(vars));
43 use POSIX;
44 use MIME::Entity;
45
46 use Commods;
47
48 $CGI::POST_MAX= 3*1024*1024;
49
50 use CGI qw/:standard -private_tempfiles/;
51
52 setlocale(LC_CTYPE, "en_GB.UTF-8");
53
54 our $now= time;  defined $now or die $!;
55
56 my $re_any= "^(.*)\$";
57
58 parse_info_serverside();
59
60 sub fail ($) {
61     my ($msg) = @_;
62     addlog("failing $msg");
63     print header(-status=>'400 Bad commodity update',
64                  -type=>'text/plain',
65                  -charset=>'us-ascii');
66     print "Error: $msg\n";
67     exit 0;
68 }
69
70 sub must_param ($$) {
71     my ($n,$re)= @_;
72     my $v= param($n);
73     fail("missing form parameter $n") unless defined $v;
74     fail("invalid form parameter $n ($re)") unless $v =~ m/$re/;
75     return $1;
76 }
77
78 my %o;
79
80 my $midtmp= "_mid-pid$$.hold";
81 open MIDTMP, ">$midtmp" or die "$midtmp $!";
82 stat MIDTMP or die $!;
83 my $ino= (stat _)[1];
84 my $midino= "_mid-ino$$.hold";
85 rename $midtmp, $midino or die "$midtmp $midino $!";
86 close MIDTMP or die $!;
87
88 our $hostname= `hostname -f`; $? and die $?;  chomp $hostname or die;
89 our $mid= "<$now.$$.$ino\@$hostname>";
90 our $pwd= `pwd`; $? and die $?; chomp($pwd);
91 our $caller= cgi_get_caller;
92
93 sub addlog ($) {
94     print LOG "$mid $caller $_[0]\n" or die $!;
95     flush LOG or die $!;
96 }
97
98 open LOG, ">>_upload.log" or die $!;
99 addlog("receiving");
100
101 $o{'clientname'}= must_param('clientname',$re_any);
102 my $clientinfo= $clients{$o{'clientname'}};
103 fail('unknown client') unless defined $clientinfo;
104
105 my $clientfixes= must_param('clientfixes', "^([-0-9a-z ]*)\$");
106 my @clientfixes= sort grep { m/./ } split /\s+/, $clientfixes;
107 $o{'clientfixes'}= "@clientfixes";
108 foreach my $bug (@$clientinfo) {
109     fail("client out of date - missing bugfix \`$bug'")
110         unless grep { $_ eq $bug } @clientfixes;
111 }
112
113 $o{'clientversion'}= must_param('clientversion', "^(\\d[-+._0-9a-zA-Z]+)\$");
114
115 if (param('requesttimestamp')) {
116     my $now= time; defined $now or die;
117     print header(-type=>'text/plain', -charset=>'us-ascii'), "OK $now.\n";
118     exit(0);
119 }
120
121 $o{'ocean'}= must_param('ocean', $re_any);
122 $o{'island'}= must_param('island', $re_any);
123
124 my $arches= $oceans{$o{'ocean'}};
125 fail("unknown ocean") unless $arches;
126
127 my $island_found= 0;
128 foreach my $islands (values %$arches) {
129     my $sources= $islands->{$o{'island'}};
130     next unless $sources;
131     die if $island_found;
132     $island_found= $sources;
133 }
134 fail("unknown island") unless $island_found;
135
136 $o{'timestamp'}= must_param('timestamp', "^([1-9]\\d{1,20})\$");
137 fail("clock skew") if $o{'timestamp'} >= $now;
138
139 my $indatafh= upload('data');
140 defined $indatafh or fail("data is not a file");
141 my $datafile= must_param('data',"^(deduped\\.tsv\\.gz)\$");
142
143 foreach my $mid (<_mid-*.hold>) {
144     if (!stat $mid) { $!==&ENOENT or die "$mid $!"; next; }
145     my $age= (stat _)[9];
146     next if $age < 60;
147     unlink $mid or $!==&ENOENT or die "$mid $!";
148 }
149
150 $o{'instance'}= $ENV{'YARRG_INSTANCE'};
151
152 my $mcontent= MIME::Entity->build(To => 'yarrg-commod-updates',
153                                   Subject => $ENV{'YARRG_INSTANCE'},
154                                   Type => 'multipart/mixed',
155                                   Boundary => '=',
156                                   'Message-ID' => $mid,
157                                   Charset => 'utf-8');
158
159 get_our_version(\%o, 'server');
160 foreach my $cs (qw(client server)) {
161     $o{"${cs}spec"}= join "\t", map { $o{$cs.$_} } qw(name version fixes);
162 }
163
164 my $metadata= '';
165
166 sub ksmap ($) {
167     my ($v) = @_;
168     my $i=0; grep { return $i if $_ eq $v; $i++ } qw(ocean island timestamp);
169     sprintf "z %d %s", (length $v) / 8, $v;
170 }
171
172 foreach my $vn (sort { ksmap($a) cmp ksmap($b) } keys %o) {
173     my $val= $o{$vn};
174     die if $val =~ m/\n|\r/;
175     $metadata .= "$vn\t$o{$vn}\n";
176 }
177
178 my $mdpart= MIME::Entity->build(Top => 0,
179                                 Type => 'text/plain',
180                                 Charset => 'utf-8',
181                                 Disposition => 'inline',
182                                 Encoding => 'quoted-printable',
183                                 Filename => 'metadata',
184                                 Data => $metadata);
185 $mcontent->add_part($mdpart);
186
187 my $gunzchild= open(GZ, "-|"); defined $gunzchild or die $!;
188 if (!$gunzchild) {
189     open STDIN, "<&=", $indatafh or die $!;
190     exec 'gunzip'; die $!;
191 }
192
193 my $dedupedtsv= pipethrough_prep();
194
195 while (<GZ>) {
196     my @v= check_tsv_line($_,\&fail);
197     print $dedupedtsv join("\t",@v),"\n" or die $!;
198 }
199
200 GZ->error and die $!;
201 $?=0; close GZ; $? and fail("gunzip for check failed code $?");
202
203 my $launderedgz= pipethrough_run($dedupedtsv,undef,'gzip','gzip');
204
205 my $mdatafile= MIME::Entity->build(Top => 0,
206                                    Type => 'application/octet-stream',
207                                    Disposition => 'attachment',
208                                    Encoding => 'base64',
209                                    Filename => 'deduped.tsv.gz',
210                                    Data => $launderedgz);
211 $mcontent->add_part($mdatafile);
212
213 open M, "|/usr/sbin/sendmail -t -oi -oee -odb"
214     or fail("fork sendmail failed! ($!)");
215 $mcontent->print(\*M);
216
217 M->error and fail("write sendmail failed! ($!)");
218 $?=0; close M; $? and fail("sendmail failed code $?");
219
220 print header(-type=>'text/plain', -charset=>'us-ascii'),
221       "OK\nThank you for your submission to YARRG.\n"
222     or die $!;
223
224 addlog("accepted $o{'clientspec'}");
225 close LOG or die $!;