chiark / gitweb /
sig: Move hashing into algorithm
[secnet.git] / rsa.c
1 /*
2  * rsa.c: implementation of RSA with PKCS#1 padding
3  */
4 /*
5  * This file is Free Software.  It was originally written for secnet.
6  *
7  * Copyright 1995-2003 Stephen Early
8  * Copyright 2002-2014 Ian Jackson
9  * Copyright 2001      Simon Tatham
10  * Copyright 2013      Mark Wooding
11  *
12  * You may redistribute secnet as a whole and/or modify it under the
13  * terms of the GNU General Public License as published by the Free
14  * Software Foundation; either version 3, or (at your option) any
15  * later version.
16  *
17  * You may redistribute this file and/or modify it under the terms of
18  * the GNU General Public License as published by the Free Software
19  * Foundation; either version 2, or (at your option) any later
20  * version.
21  *
22  * This software is distributed in the hope that it will be useful,
23  * but WITHOUT ANY WARRANTY; without even the implied warranty of
24  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
25  * GNU General Public License for more details.
26  *
27  * You should have received a copy of the GNU General Public License
28  * along with this software; if not, see
29  * https://www.gnu.org/licenses/gpl.html.
30  */
31
32
33 #include <stdio.h>
34 #include <string.h>
35 #include <gmp.h>
36 #include "secnet.h"
37 #include "util.h"
38 #include "unaligned.h"
39
40 #define AUTHFILE_ID_STRING "SSH PRIVATE KEY FILE FORMAT 1.1\n"
41
42 #define mpp(s,n) do { char *p = mpz_get_str(NULL,16,n); printf("%s 0x%sL\n", s, p); free(p); } while (0)
43
44 struct rsacommon {
45     struct hash_if *hashi;
46     uint8_t *hashbuf;
47 };
48
49 struct rsapriv {
50     closure_t cl;
51     struct sigprivkey_if ops;
52     struct cloc loc;
53     struct rsacommon common;
54     MP_INT n;
55     MP_INT p, dp;
56     MP_INT q, dq;
57     MP_INT w;
58 };
59 struct rsapub {
60     closure_t cl;
61     struct sigpubkey_if ops;
62     struct cloc loc;
63     struct rsacommon common;
64     MP_INT e;
65     MP_INT n;
66 };
67 /* Sign data. NB data must be smaller than modulus */
68
69 #define RSA_MAX_MODBYTES 2048
70 /* The largest modulus I've seen is 15360 bits, which works out at 1920
71  * bytes.  Using keys this big is quite implausible, but it doesn't cost us
72  * much to support them.
73  */
74
75 static const char *hexchars="0123456789abcdef";
76
77 static void rsa_sethash(struct rsacommon *c, struct hash_if *hash)
78 {
79     free(c->hashbuf);
80     c->hashbuf=safe_malloc(hash->len, "generate_msg");
81     c->hashi=hash;
82 }
83 static void rsa_pub_sethash(void *sst, struct hash_if *hash)
84 {
85     struct rsapub *st=sst;
86     rsa_sethash(&st->common, hash);
87 }
88 static void rsa_priv_sethash(void *sst, struct hash_if *hash)
89 {
90     struct rsapriv *st=sst;
91     rsa_sethash(&st->common, hash);
92 }
93 static void rsa_hash(struct rsacommon *c, const uint8_t *buf, int32_t len)
94 {
95     void *hst=c->hashi->init();
96     c->hashi->update(hst,buf,len);
97     c->hashi->final(hst,c->hashbuf);
98 }
99
100 static void emsa_pkcs1(MP_INT *n, MP_INT *m,
101                        const uint8_t *data, int32_t datalen)
102 {
103     char buff[2*RSA_MAX_MODBYTES + 1];
104     int msize, i;
105
106     /* RSA PKCS#1 v1.5 signature padding:
107      *
108      * <------------ msize hex digits ---------->
109      *
110      * 00 01 ff ff .... ff ff 00 vv vv vv .... vv
111      *
112      *                           <--- datalen -->
113      *                                 bytes
114      *                         = datalen*2 hex digits
115      *
116      * NB that according to PKCS#1 v1.5 we're supposed to include a
117      * hash function OID in the data.  We don't do that (because we
118      * don't have the hash function OID to hand here), thus violating
119      * the spec in a way that affects interop but not security.
120      *
121      * -iwj 17.9.2002
122      */
123
124     msize=mpz_sizeinbase(n, 16);
125
126     if (datalen*2+6>=msize) {
127         fatal("rsa_sign: message too big");
128     }
129
130     strcpy(buff,"0001");
131
132     for (i=0; i<datalen; i++) {
133         buff[msize+(-datalen+i)*2]=hexchars[(data[i]&0xf0)>>4];
134         buff[msize+(-datalen+i)*2+1]=hexchars[data[i]&0xf];
135     }
136     
137     buff[msize-datalen*2-2]= '0';
138     buff[msize-datalen*2-1]= '0';
139  
140     for (i=4; i<msize-datalen*2-2; i++)
141        buff[i]='f';
142
143     buff[msize]=0;
144
145     mpz_set_str(m, buff, 16);
146 }
147
148 static bool_t rsa_sign(void *sst, uint8_t *data, int32_t datalen,
149                        struct buffer_if *msg)
150 {
151     struct rsapriv *st=sst;
152     MP_INT a, b, u, v, tmp, tmp2;
153     string_t signature = 0;
154     bool_t ok;
155
156     mpz_init(&a);
157     mpz_init(&b);
158
159     rsa_hash(&st->common,data,datalen);
160     /* Construct the message representative. */
161     emsa_pkcs1(&st->n, &a, st->common.hashbuf, st->common.hashi->len);
162
163     /*
164      * Produce an RSA signature (a^d mod n) using the Chinese
165      * Remainder Theorem. We compute:
166      * 
167      *   u = a^dp mod p    (== a^d mod p, since dp == d mod (p-1))
168      *   v = a^dq mod q    (== a^d mod q, similarly)
169      * 
170      * We also know w == iqmp * q, which has the property that w ==
171      * 0 mod q and w == 1 mod p. So (1-w) has the reverse property
172      * (congruent to 0 mod p and to 1 mod q). Hence we now compute
173      * 
174      *   b = w * u + (1-w) * v
175      *     = w * (u-v) + v
176      * 
177      * so that b is congruent to a^d both mod p and mod q. Hence b,
178      * reduced mod n, is the required signature.
179      */
180     mpz_init(&tmp);
181     mpz_init(&tmp2);
182     mpz_init(&u);
183     mpz_init(&v);
184
185     mpz_powm_sec(&u, &a, &st->dp, &st->p);
186     mpz_powm_sec(&v, &a, &st->dq, &st->q);
187     mpz_sub(&tmp, &u, &v);
188     mpz_mul(&tmp2, &tmp, &st->w);
189     mpz_add(&tmp, &tmp2, &v);
190     mpz_mod(&b, &tmp, &st->n);
191
192     mpz_clear(&tmp);
193     mpz_clear(&tmp2);
194     mpz_clear(&u);
195     mpz_clear(&v);
196
197     signature=write_mpstring(&b);
198
199     uint8_t *op = buf_append(msg,2);
200     if (!op) { ok=False; goto out; }
201     size_t l = strlen(signature);
202     assert(l < 65536);
203     put_uint16(op, l);
204     op = buf_append(msg,l);
205     if (!op) { ok=False; goto out; }
206     memcpy(op, signature, l);
207
208     ok = True;
209
210  out:
211     free(signature);
212     mpz_clear(&b);
213     mpz_clear(&a);
214     return ok;
215 }
216
217 static bool_t rsa_sig_unpick(void *sst, struct buffer_if *msg,
218                              struct alg_msg_data *sig)
219 {
220     uint8_t *lp = buf_unprepend(msg, 2);
221     if (!lp) return False;
222     sig->siglen = get_uint16(lp);
223     sig->sigstart = buf_unprepend(msg, sig->siglen);
224     if (!sig->sigstart) return False;
225
226     /* In `rsa_sig_check' below, we assume that we can write a nul
227      * terminator following the signature.  Make sure there's enough space.
228      */
229     if (msg->start >= msg->base + msg->alloclen)
230         return False;
231
232     return True;
233 }
234
235 static sig_checksig_fn rsa_sig_check;
236 static bool_t rsa_sig_check(void *sst, uint8_t *data, int32_t datalen,
237                             const struct alg_msg_data *sig)
238 {
239     struct rsapub *st=sst;
240     MP_INT a, b, c;
241     bool_t ok;
242
243     mpz_init(&a);
244     mpz_init(&b);
245     mpz_init(&c);
246
247     rsa_hash(&st->common,data,datalen);
248     emsa_pkcs1(&st->n, &a, st->common.hashbuf, st->common.hashi->len);
249
250     /* Terminate signature with a '0' - already checked that this will fit */
251     int save = sig->sigstart[sig->siglen];
252     sig->sigstart[sig->siglen] = 0;
253     mpz_set_str(&b, sig->sigstart, 16);
254     sig->sigstart[sig->siglen] = save;
255
256     mpz_powm(&c, &b, &st->e, &st->n);
257
258     ok=(mpz_cmp(&a, &c)==0);
259
260     mpz_clear(&c);
261     mpz_clear(&b);
262     mpz_clear(&a);
263
264     return ok;
265 }
266
267 static list_t *rsapub_apply(closure_t *self, struct cloc loc, dict_t *context,
268                             list_t *args)
269 {
270     struct rsapub *st;
271     item_t *i;
272     string_t e,n;
273
274     NEW(st);
275     st->cl.description="rsapub";
276     st->cl.type=CL_SIGPUBKEY;
277     st->cl.apply=NULL;
278     st->cl.interface=&st->ops;
279     st->ops.st=st;
280     st->ops.sethash=rsa_pub_sethash;
281     st->common.hashbuf=NULL;
282     st->ops.unpick=rsa_sig_unpick;
283     st->ops.check=rsa_sig_check;
284     st->loc=loc;
285
286     i=list_elem(args,0);
287     if (i) {
288         if (i->type!=t_string) {
289             cfgfatal(i->loc,"rsa-public","first argument must be a string\n");
290         }
291         e=i->data.string;
292         if (mpz_init_set_str(&st->e,e,10)!=0) {
293             cfgfatal(i->loc,"rsa-public","encryption key \"%s\" is not a "
294                      "decimal number string\n",e);
295         }
296     } else {
297         cfgfatal(loc,"rsa-public","you must provide an encryption key\n");
298     }
299     if (mpz_sizeinbase(&st->e, 256) > RSA_MAX_MODBYTES) {
300         cfgfatal(loc, "rsa-public", "implausibly large public exponent\n");
301     }
302     
303     i=list_elem(args,1);
304     if (i) {
305         if (i->type!=t_string) {
306             cfgfatal(i->loc,"rsa-public","second argument must be a string\n");
307         }
308         n=i->data.string;
309         if (mpz_init_set_str(&st->n,n,10)!=0) {
310             cfgfatal(i->loc,"rsa-public","modulus \"%s\" is not a decimal "
311                      "number string\n",n);
312         }
313     } else {
314         cfgfatal(loc,"rsa-public","you must provide a modulus\n");
315     }
316     if (mpz_sizeinbase(&st->n, 256) > RSA_MAX_MODBYTES) {
317         cfgfatal(loc, "rsa-public", "implausibly large modulus\n");
318     }
319     return new_closure(&st->cl);
320 }
321
322 static uint32_t keyfile_get_int(struct cloc loc, FILE *f)
323 {
324     uint32_t r;
325     r=fgetc(f)<<24;
326     r|=fgetc(f)<<16;
327     r|=fgetc(f)<<8;
328     r|=fgetc(f);
329     cfgfile_postreadcheck(loc,f);
330     return r;
331 }
332
333 static uint16_t keyfile_get_short(struct cloc loc, FILE *f)
334 {
335     uint16_t r;
336     r=fgetc(f)<<8;
337     r|=fgetc(f);
338     cfgfile_postreadcheck(loc,f);
339     return r;
340 }
341
342 static list_t *rsapriv_apply(closure_t *self, struct cloc loc, dict_t *context,
343                              list_t *args)
344 {
345     struct rsapriv *st;
346     FILE *f;
347     cstring_t filename;
348     item_t *i;
349     long length;
350     uint8_t *b, *c;
351     int cipher_type;
352     MP_INT e,d,iqmp,tmp,tmp2,tmp3;
353     bool_t valid;
354
355     NEW(st);
356     st->cl.description="rsapriv";
357     st->cl.type=CL_SIGPRIVKEY;
358     st->cl.apply=NULL;
359     st->cl.interface=&st->ops;
360     st->ops.st=st;
361     st->ops.sethash=rsa_priv_sethash;
362     st->common.hashbuf=NULL;
363     st->ops.sign=rsa_sign;
364     st->loc=loc;
365
366     /* Argument is filename pointing to SSH1 private key file */
367     i=list_elem(args,0);
368     if (i) {
369         if (i->type!=t_string) {
370             cfgfatal(i->loc,"rsa-private","first argument must be a string\n");
371         }
372         filename=i->data.string;
373     } else {
374         filename=NULL; /* Make compiler happy */
375         cfgfatal(loc,"rsa-private","you must provide a filename\n");
376     }
377
378     f=fopen(filename,"rb");
379     if (!f) {
380         if (just_check_config) {
381             Message(M_WARNING,"rsa-private (%s:%d): cannot open keyfile "
382                     "\"%s\"; assuming it's valid while we check the "
383                     "rest of the configuration\n",loc.file,loc.line,filename);
384             goto assume_valid;
385         } else {
386             fatal_perror("rsa-private (%s:%d): cannot open file \"%s\"",
387                          loc.file,loc.line,filename);
388         }
389     }
390
391     /* Check that the ID string is correct */
392     length=strlen(AUTHFILE_ID_STRING)+1;
393     b=safe_malloc(length,"rsapriv_apply");
394     if (fread(b,length,1,f)!=1 || memcmp(b,AUTHFILE_ID_STRING,length)!=0) {
395         cfgfatal_maybefile(f,loc,"rsa-private","failed to read magic ID"
396                            " string from SSH1 private keyfile \"%s\"\n",
397                            filename);
398     }
399     free(b);
400
401     cipher_type=fgetc(f);
402     keyfile_get_int(loc,f); /* "Reserved data" */
403     if (cipher_type != 0) {
404         cfgfatal(loc,"rsa-private","we don't support encrypted keyfiles\n");
405     }
406
407     /* Read the public key */
408     keyfile_get_int(loc,f); /* Not sure what this is */
409     length=(keyfile_get_short(loc,f)+7)/8;
410     if (length>RSA_MAX_MODBYTES) {
411         cfgfatal(loc,"rsa-private","implausible length %ld for modulus\n",
412                  length);
413     }
414     b=safe_malloc(length,"rsapriv_apply");
415     if (fread(b,length,1,f) != 1) {
416         cfgfatal_maybefile(f,loc,"rsa-private","error reading modulus\n");
417     }
418     mpz_init(&st->n);
419     read_mpbin(&st->n,b,length);
420     free(b);
421     length=(keyfile_get_short(loc,f)+7)/8;
422     if (length>RSA_MAX_MODBYTES) {
423         cfgfatal(loc,"rsa-private","implausible length %ld for e\n",length);
424     }
425     b=safe_malloc(length,"rsapriv_apply");
426     if (fread(b,length,1,f)!=1) {
427         cfgfatal_maybefile(f,loc,"rsa-private","error reading e\n");
428     }
429     mpz_init(&e);
430     read_mpbin(&e,b,length);
431     free(b);
432     
433     length=keyfile_get_int(loc,f);
434     if (length>1024) {
435         cfgfatal(loc,"rsa-private","implausibly long (%ld) key comment\n",
436                  length);
437     }
438     c=safe_malloc(length+1,"rsapriv_apply");
439     if (fread(c,length,1,f)!=1) {
440         cfgfatal_maybefile(f,loc,"rsa-private","error reading key comment\n");
441     }
442     c[length]=0;
443
444     /* Check that the next two pairs of characters are identical - the
445        keyfile is not encrypted, so they should be */
446
447     if (keyfile_get_short(loc,f) != keyfile_get_short(loc,f)) {
448         cfgfatal(loc,"rsa-private","corrupt keyfile\n");
449     }
450
451     /* Read d */
452     length=(keyfile_get_short(loc,f)+7)/8;
453     if (length>RSA_MAX_MODBYTES) {
454         cfgfatal(loc,"rsa-private","implausibly long (%ld) decryption key\n",
455                  length);
456     }
457     b=safe_malloc(length,"rsapriv_apply");
458     if (fread(b,length,1,f)!=1) {
459         cfgfatal_maybefile(f,loc,"rsa-private",
460                            "error reading decryption key\n");
461     }
462     mpz_init(&d);
463     read_mpbin(&d,b,length);
464     free(b);
465     /* Read iqmp (inverse of q mod p) */
466     length=(keyfile_get_short(loc,f)+7)/8;
467     if (length>RSA_MAX_MODBYTES) {
468         cfgfatal(loc,"rsa-private","implausibly long (%ld)"
469                  " iqmp auxiliary value\n", length);
470     }
471     b=safe_malloc(length,"rsapriv_apply");
472     if (fread(b,length,1,f)!=1) {
473         cfgfatal_maybefile(f,loc,"rsa-private",
474                            "error reading decryption key\n");
475     }
476     mpz_init(&iqmp);
477     read_mpbin(&iqmp,b,length);
478     free(b);
479     /* Read q (the smaller of the two primes) */
480     length=(keyfile_get_short(loc,f)+7)/8;
481     if (length>RSA_MAX_MODBYTES) {
482         cfgfatal(loc,"rsa-private","implausibly long (%ld) q value\n",
483                  length);
484     }
485     b=safe_malloc(length,"rsapriv_apply");
486     if (fread(b,length,1,f)!=1) {
487         cfgfatal_maybefile(f,loc,"rsa-private",
488                            "error reading q value\n");
489     }
490     mpz_init(&st->q);
491     read_mpbin(&st->q,b,length);
492     free(b);
493     /* Read p (the larger of the two primes) */
494     length=(keyfile_get_short(loc,f)+7)/8;
495     if (length>RSA_MAX_MODBYTES) {
496         cfgfatal(loc,"rsa-private","implausibly long (%ld) p value\n",
497                  length);
498     }
499     b=safe_malloc(length,"rsapriv_apply");
500     if (fread(b,length,1,f)!=1) {
501         cfgfatal_maybefile(f,loc,"rsa-private",
502                            "error reading p value\n");
503     }
504     mpz_init(&st->p);
505     read_mpbin(&st->p,b,length);
506     free(b);
507     
508     if (fclose(f)!=0) {
509         fatal_perror("rsa-private (%s:%d): fclose",loc.file,loc.line);
510     }
511
512     /*
513      * Now verify the validity of the key, and set up the auxiliary
514      * values for fast CRT signing.
515      */
516     valid=False;
517     i=list_elem(args,1);
518     mpz_init(&tmp);
519     mpz_init(&tmp2);
520     mpz_init(&tmp3);
521     if (i && i->type==t_bool && i->data.bool==False) {
522         Message(M_INFO,"rsa-private (%s:%d): skipping RSA key validity "
523                 "check\n",loc.file,loc.line);
524     } else {
525         /* Verify that p*q is equal to n. */
526         mpz_mul(&tmp, &st->p, &st->q);
527         if (mpz_cmp(&tmp, &st->n) != 0)
528             goto done_checks;
529
530         /*
531          * Verify that d*e is congruent to 1 mod (p-1), and mod
532          * (q-1). This is equivalent to it being congruent to 1 mod
533          * lambda(n) = lcm(p-1,q-1).  The usual `textbook' condition,
534          * that d e == 1 (mod (p-1)(q-1)) is sufficient, but not
535          * actually necessary.
536          */
537         mpz_mul(&tmp, &d, &e);
538         mpz_sub_ui(&tmp2, &st->p, 1);
539         mpz_mod(&tmp3, &tmp, &tmp2);
540         if (mpz_cmp_si(&tmp3, 1) != 0)
541             goto done_checks;
542         mpz_sub_ui(&tmp2, &st->q, 1);
543         mpz_mod(&tmp3, &tmp, &tmp2);
544         if (mpz_cmp_si(&tmp3, 1) != 0)
545             goto done_checks;
546
547         /* Verify that q*iqmp is congruent to 1 mod p. */
548         mpz_mul(&tmp, &st->q, &iqmp);
549         mpz_mod(&tmp2, &tmp, &st->p);
550         if (mpz_cmp_si(&tmp2, 1) != 0)
551             goto done_checks;
552     }
553     /* Now we know the key is valid (or we don't care). */
554     valid = True;
555     
556     /*
557      * Now we compute auxiliary values dp, dq and w to allow us
558      * to use the CRT optimisation when signing.
559      * 
560      *   dp == d mod (p-1)      so that a^dp == a^d mod p, for all a
561      *   dq == d mod (q-1)      similarly mod q
562      *   w == iqmp * q          so that w == 0 mod q, and w == 1 mod p
563      */
564     mpz_init(&st->dp);
565     mpz_init(&st->dq);
566     mpz_init(&st->w);
567     mpz_sub_ui(&tmp, &st->p, 1);
568     mpz_mod(&st->dp, &d, &tmp);
569     mpz_sub_ui(&tmp, &st->q, 1);
570     mpz_mod(&st->dq, &d, &tmp);
571     mpz_mul(&st->w, &iqmp, &st->q);
572     
573 done_checks:
574     if (!valid) {
575         cfgfatal(loc,"rsa-private","file \"%s\" does not contain a "
576                  "valid RSA key!\n",filename);
577     }
578     mpz_clear(&tmp);
579     mpz_clear(&tmp2);
580     mpz_clear(&tmp3);
581
582     free(c);
583     mpz_clear(&e);
584     mpz_clear(&d);
585     mpz_clear(&iqmp);
586
587 assume_valid:
588     return new_closure(&st->cl);
589 }
590
591 void rsa_module(dict_t *dict)
592 {
593     add_closure(dict,"rsa-private",rsapriv_apply);
594     add_closure(dict,"rsa-public",rsapub_apply);
595 }