chiark / gitweb /
1bf8dec7682c83256bafb8be22fb7b5233bc4670
[secnet.git] / site.c
1 /* site.c - manage communication with a remote network site */
2
3 /* The 'site' code doesn't know anything about the structure of the
4    packets it's transmitting.  In fact, under the new netlink
5    configuration scheme it doesn't need to know anything at all about
6    IP addresses, except how to contact its peer.  This means it could
7    potentially be used to tunnel other protocols too (IPv6, IPX, plain
8    old Ethernet frames) if appropriate netlink code can be written
9    (and that ought not to be too hard, eg. using the TUN/TAP device to
10    pretend to be an Ethernet interface).  */
11
12 /* At some point in the future the netlink code will be asked for
13    configuration information to go in the PING/PONG packets at the end
14    of the key exchange. */
15
16 #include "secnet.h"
17 #include <stdio.h>
18 #include <string.h>
19 #include <limits.h>
20 #include <assert.h>
21 #include <sys/socket.h>
22
23 #include <sys/mman.h>
24 #include "util.h"
25 #include "unaligned.h"
26 #include "magic.h"
27
28 #define SETUP_BUFFER_LEN 2048
29
30 #define DEFAULT_KEY_LIFETIME                  (3600*1000) /* [ms] */
31 #define DEFAULT_KEY_RENEGOTIATE_GAP           (5*60*1000) /* [ms] */
32 #define DEFAULT_SETUP_RETRIES 5
33 #define DEFAULT_SETUP_RETRY_INTERVAL             (2*1000) /* [ms] */
34 #define DEFAULT_WAIT_TIME                       (20*1000) /* [ms] */
35
36 #define DEFAULT_MOBILE_KEY_LIFETIME      (2*24*3600*1000) /* [ms] */
37 #define DEFAULT_MOBILE_KEY_RENEGOTIATE_GAP (12*3600*1000) /* [ms] */
38 #define DEFAULT_MOBILE_SETUP_RETRIES 30
39 #define DEFAULT_MOBILE_SETUP_RETRY_INTERVAL      (1*1000) /* [ms] */
40 #define DEFAULT_MOBILE_WAIT_TIME                (10*1000) /* [ms] */
41
42 #define DEFAULT_MOBILE_PEER_EXPIRY            (2*60)      /* [s] */
43 #define DEFAULT_MOBILE_PEERS_MAX 3 /* send at most this many copies (default) */
44
45 /* Each site can be in one of several possible states. */
46
47 /* States:
48    SITE_STOP         - nothing is allowed to happen; tunnel is down;
49                        all session keys have been erased
50      -> SITE_RUN upon external instruction
51    SITE_RUN          - site up, maybe with valid key
52      -> SITE_RESOLVE upon outgoing packet and no valid key
53          we start name resolution for the other end of the tunnel
54      -> SITE_SENTMSG2 upon valid incoming message 1 and suitable time
55          we send an appropriate message 2
56    SITE_RESOLVE      - waiting for name resolution
57      -> SITE_SENTMSG1 upon successful resolution
58          we send an appropriate message 1
59      -> SITE_SENTMSG2 upon valid incoming message 1 (then abort resolution)
60          we abort resolution and 
61      -> SITE_WAIT on timeout or resolution failure
62    SITE_SENTMSG1
63      -> SITE_SENTMSG2 upon valid incoming message 1 from higher priority end
64      -> SITE_SENTMSG3 upon valid incoming message 2
65      -> SITE_WAIT on timeout
66    SITE_SENTMSG2
67      -> SITE_SENTMSG4 upon valid incoming message 3
68      -> SITE_WAIT on timeout
69    SITE_SENTMSG3
70      -> SITE_SENTMSG5 upon valid incoming message 4
71      -> SITE_WAIT on timeout
72    SITE_SENTMSG4
73      -> SITE_RUN upon valid incoming message 5
74      -> SITE_WAIT on timeout
75    SITE_SENTMSG5
76      -> SITE_RUN upon valid incoming message 6
77      -> SITE_WAIT on timeout
78    SITE_WAIT         - failed to establish key; do nothing for a while
79      -> SITE_RUN on timeout
80    */
81
82 #define SITE_STOP     0
83 #define SITE_RUN      1
84 #define SITE_RESOLVE  2
85 #define SITE_SENTMSG1 3
86 #define SITE_SENTMSG2 4
87 #define SITE_SENTMSG3 5
88 #define SITE_SENTMSG4 6
89 #define SITE_SENTMSG5 7
90 #define SITE_WAIT     8
91
92 static cstring_t state_name(uint32_t state)
93 {
94     switch (state) {
95     case 0: return "STOP";
96     case 1: return "RUN";
97     case 2: return "RESOLVE";
98     case 3: return "SENTMSG1";
99     case 4: return "SENTMSG2";
100     case 5: return "SENTMSG3";
101     case 6: return "SENTMSG4";
102     case 7: return "SENTMSG5";
103     case 8: return "WAIT";
104     default: return "*bad state*";
105     }
106 }
107
108 #define NONCELEN 8
109
110 #define LOG_UNEXPECTED    0x00000001
111 #define LOG_SETUP_INIT    0x00000002
112 #define LOG_SETUP_TIMEOUT 0x00000004
113 #define LOG_ACTIVATE_KEY  0x00000008
114 #define LOG_TIMEOUT_KEY   0x00000010
115 #define LOG_SEC           0x00000020
116 #define LOG_STATE         0x00000040
117 #define LOG_DROP          0x00000080
118 #define LOG_DUMP          0x00000100
119 #define LOG_ERROR         0x00000400
120 #define LOG_PEER_ADDRS    0x00000800
121
122 static struct flagstr log_event_table[]={
123     { "unexpected", LOG_UNEXPECTED },
124     { "setup-init", LOG_SETUP_INIT },
125     { "setup-timeout", LOG_SETUP_TIMEOUT },
126     { "activate-key", LOG_ACTIVATE_KEY },
127     { "timeout-key", LOG_TIMEOUT_KEY },
128     { "security", LOG_SEC },
129     { "state-change", LOG_STATE },
130     { "packet-drop", LOG_DROP },
131     { "dump-packets", LOG_DUMP },
132     { "errors", LOG_ERROR },
133     { "peer-addrs", LOG_PEER_ADDRS },
134     { "default", LOG_SETUP_INIT|LOG_SETUP_TIMEOUT|
135       LOG_ACTIVATE_KEY|LOG_TIMEOUT_KEY|LOG_SEC|LOG_ERROR },
136     { "all", 0xffffffff },
137     { NULL, 0 }
138 };
139
140
141 /***** TRANSPORT PEERS declarations *****/
142
143 /* Details of "mobile peer" semantics:
144    
145    - We record mobile_peers_max peer address/port numbers ("peers")
146      for key setup, and separately mobile_peers_max for data
147      transfer.  If these lists fill up, we retain the newest peers.
148      (For non-mobile peers we only record one of each.)
149
150    - Outgoing packets are sent to every recorded peer in the
151      applicable list.
152
153    - Data transfer peers are straightforward: whenever we successfully
154      process a data packet, we record the peer.  Also, whenever we
155      successfully complete a key setup, we merge the key setup
156      peers into the data transfer peers.
157
158      (For "non-mobile" peers we simply copy the peer used for
159      successful key setup, and don't change the peer otherwise.)
160
161    - Key setup peers are slightly more complicated.
162
163      Whenever we receive and successfully process a key exchange
164      packet, we record the peer.
165
166      Whenever we try to initiate a key setup, we copy the list of data
167      transfer peers and use it for key setup.  But we also look to see
168      if the config supplies an address and port number and if so we
169      add that as a key setup peer (possibly evicting one of the data
170      transfer peers we just copied).
171
172      (For "non-mobile" peers, if we if we have a configured peer
173      address and port, we always use that; otherwise if we have a
174      current data peer address we use that; otherwise we do not
175      attempt to initiate a key setup for lack of a peer address.)
176
177    "Record the peer" means
178     1. expire any peers last seen >120s ("mobile-peer-expiry") ago
179     2. add the peer of the just received packet to the applicable list
180        (possibly evicting older entries)
181    NB that we do not expire peers until an incoming packet arrives.
182
183    */
184
185 #define MAX_MOBILE_PEERS_MAX 5 /* send at most this many copies, compiled max */
186
187 typedef struct {
188     struct timeval last;
189     struct comm_addr addr;
190 } transport_peer;
191
192 typedef struct {
193 /* configuration information */
194 /* runtime information */
195     int npeers;
196     transport_peer peers[MAX_MOBILE_PEERS_MAX];
197 } transport_peers;
198
199 static void transport_peers_clear(struct site *st, transport_peers *peers);
200 static int transport_peers_valid(transport_peers *peers);
201 static void transport_peers_copy(struct site *st, transport_peers *dst,
202                                  const transport_peers *src);
203
204 static void transport_setup_msgok(struct site *st, const struct comm_addr *a);
205 static void transport_data_msgok(struct site *st, const struct comm_addr *a);
206 static bool_t transport_compute_setupinit_peers(struct site *st,
207         const struct comm_addr *configured_addr /* 0 if none or not found */);
208 static void transport_record_peer(struct site *st, transport_peers *peers,
209                                   const struct comm_addr *addr, const char *m);
210
211 static void transport_xmit(struct site *st, transport_peers *peers,
212                            struct buffer_if *buf, bool_t candebug);
213
214  /***** END of transport peers declarations *****/
215
216
217 struct data_key {
218     struct transform_inst_if *transform;
219     uint64_t key_timeout; /* End of life of current key */
220     uint32_t remote_session_id;
221 };
222
223 struct site {
224     closure_t cl;
225     struct site_if ops;
226 /* configuration information */
227     string_t localname;
228     string_t remotename;
229     bool_t peer_mobile; /* Mobile client support */
230     int32_t transport_peers_max;
231     string_t tunname; /* localname<->remotename by default, used in logs */
232     string_t address; /* DNS name for bootstrapping, optional */
233     int remoteport; /* Port for bootstrapping, optional */
234     struct netlink_if *netlink;
235     struct comm_if **comms;
236     int ncomms;
237     struct resolver_if *resolver;
238     struct log_if *log;
239     struct random_if *random;
240     struct rsaprivkey_if *privkey;
241     struct rsapubkey_if *pubkey;
242     struct transform_if *transform;
243     struct dh_if *dh;
244     struct hash_if *hash;
245
246     uint32_t index; /* Index of this site */
247     int32_t setup_retries; /* How many times to send setup packets */
248     int32_t setup_retry_interval; /* Initial timeout for setup packets */
249     int32_t wait_timeout; /* How long to wait if setup unsuccessful */
250     int32_t mobile_peer_expiry; /* How long to remember 2ary addresses */
251     int32_t key_lifetime; /* How long a key lasts once set up */
252     int32_t key_renegotiate_time; /* If we see traffic (or a keepalive)
253                                       after this time, initiate a new
254                                       key exchange */
255
256     uint8_t *setupsig; /* Expected signature of incoming MSG1 packets */
257     int32_t setupsiglen; /* Allows us to discard packets quickly if
258                             they are not for us */
259     bool_t setup_priority; /* Do we have precedence if both sites emit
260                               message 1 simultaneously? */
261     uint32_t log_events;
262
263 /* runtime information */
264     uint32_t state;
265     uint64_t now; /* Most recently seen time */
266
267     /* The currently established session */
268     struct data_key current;
269     uint64_t renegotiate_key_time; /* When we can negotiate a new key */
270     transport_peers peers; /* Current address(es) of peer for data traffic */
271
272     /* The current key setup protocol exchange.  We can only be
273        involved in one of these at a time.  There's a potential for
274        denial of service here (the attacker keeps sending a setup
275        packet; we keep trying to continue the exchange, and have to
276        timeout before we can listen for another setup packet); perhaps
277        we should keep a list of 'bad' sources for setup packets. */
278     uint32_t setup_session_id;
279     transport_peers setup_peers;
280     uint8_t localN[NONCELEN]; /* Nonces for key exchange */
281     uint8_t remoteN[NONCELEN];
282     struct buffer_if buffer; /* Current outgoing key exchange packet */
283     struct buffer_if scratch;
284     int32_t retries; /* Number of retries remaining */
285     uint64_t timeout; /* Timeout for current state */
286     uint8_t *dhsecret;
287     uint8_t *sharedsecret;
288     struct transform_inst_if *new_transform; /* For key setup/verify */
289 };
290
291 static void slog(struct site *st, uint32_t event, cstring_t msg, ...)
292 {
293     va_list ap;
294     char buf[240];
295     uint32_t class;
296
297     va_start(ap,msg);
298
299     if (event&st->log_events) {
300         switch(event) {
301         case LOG_UNEXPECTED: class=M_INFO; break;
302         case LOG_SETUP_INIT: class=M_INFO; break;
303         case LOG_SETUP_TIMEOUT: class=M_NOTICE; break;
304         case LOG_ACTIVATE_KEY: class=M_INFO; break;
305         case LOG_TIMEOUT_KEY: class=M_INFO; break;
306         case LOG_SEC: class=M_SECURITY; break;
307         case LOG_STATE: class=M_DEBUG; break;
308         case LOG_DROP: class=M_DEBUG; break;
309         case LOG_DUMP: class=M_DEBUG; break;
310         case LOG_ERROR: class=M_ERR; break;
311         case LOG_PEER_ADDRS: class=M_DEBUG; break;
312         default: class=M_ERR; break;
313         }
314
315         vsnprintf(buf,sizeof(buf),msg,ap);
316         st->log->log(st->log->st,class,"%s: %s",st->tunname,buf);
317     }
318     va_end(ap);
319 }
320
321 static void set_link_quality(struct site *st);
322 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel);
323 static bool_t initiate_key_setup(struct site *st, cstring_t reason);
324 static void enter_state_run(struct site *st);
325 static bool_t enter_state_resolve(struct site *st);
326 static bool_t enter_new_state(struct site *st,uint32_t next);
327 static void enter_state_wait(struct site *st);
328 static void activate_new_key(struct site *st);
329
330 static bool_t current_valid(struct site *st)
331 {
332     return st->current.transform->valid(st->current.transform->st);
333 }
334
335 #define CHECK_AVAIL(b,l) do { if ((b)->size<(l)) return False; } while(0)
336 #define CHECK_EMPTY(b) do { if ((b)->size!=0) return False; } while(0)
337 #define CHECK_TYPE(b,t) do { uint32_t type; \
338     CHECK_AVAIL((b),4); \
339     type=buf_unprepend_uint32((b)); \
340     if (type!=(t)) return False; } while(0)
341
342 struct msg {
343     uint8_t *hashstart;
344     uint32_t dest;
345     uint32_t source;
346     int32_t remlen;
347     uint8_t *remote;
348     int32_t loclen;
349     uint8_t *local;
350     uint8_t *nR;
351     uint8_t *nL;
352     int32_t pklen;
353     char *pk;
354     int32_t hashlen;
355     int32_t siglen;
356     char *sig;
357 };
358
359 /* Build any of msg1 to msg4. msg5 and msg6 are built from the inside
360    out using a transform of config data supplied by netlink */
361 static bool_t generate_msg(struct site *st, uint32_t type, cstring_t what)
362 {
363     void *hst;
364     uint8_t *hash;
365     string_t dhpub, sig;
366
367     st->retries=st->setup_retries;
368     BUF_ALLOC(&st->buffer,what);
369     buffer_init(&st->buffer,0);
370     buf_append_uint32(&st->buffer,
371         (type==LABEL_MSG1?0:st->setup_session_id));
372     buf_append_uint32(&st->buffer,st->index);
373     buf_append_uint32(&st->buffer,type);
374     buf_append_string(&st->buffer,st->localname);
375     buf_append_string(&st->buffer,st->remotename);
376     memcpy(buf_append(&st->buffer,NONCELEN),st->localN,NONCELEN);
377     if (type==LABEL_MSG1) return True;
378     memcpy(buf_append(&st->buffer,NONCELEN),st->remoteN,NONCELEN);
379     if (type==LABEL_MSG2) return True;
380
381     if (hacky_par_mid_failnow()) return False;
382
383     dhpub=st->dh->makepublic(st->dh->st,st->dhsecret,st->dh->len);
384     buf_append_string(&st->buffer,dhpub);
385     free(dhpub);
386     hash=safe_malloc(st->hash->len, "generate_msg");
387     hst=st->hash->init();
388     st->hash->update(hst,st->buffer.start,st->buffer.size);
389     st->hash->final(hst,hash);
390     sig=st->privkey->sign(st->privkey->st,hash,st->hash->len);
391     buf_append_string(&st->buffer,sig);
392     free(sig);
393     free(hash);
394     return True;
395 }
396
397 static bool_t unpick_msg(struct site *st, uint32_t type,
398                          struct buffer_if *msg, struct msg *m)
399 {
400     m->hashstart=msg->start;
401     CHECK_AVAIL(msg,4);
402     m->dest=buf_unprepend_uint32(msg);
403     CHECK_AVAIL(msg,4);
404     m->source=buf_unprepend_uint32(msg);
405     CHECK_TYPE(msg,type);
406     CHECK_AVAIL(msg,2);
407     m->remlen=buf_unprepend_uint16(msg);
408     CHECK_AVAIL(msg,m->remlen);
409     m->remote=buf_unprepend(msg,m->remlen);
410     CHECK_AVAIL(msg,2);
411     m->loclen=buf_unprepend_uint16(msg);
412     CHECK_AVAIL(msg,m->loclen);
413     m->local=buf_unprepend(msg,m->loclen);
414     CHECK_AVAIL(msg,NONCELEN);
415     m->nR=buf_unprepend(msg,NONCELEN);
416     if (type==LABEL_MSG1) {
417         CHECK_EMPTY(msg);
418         return True;
419     }
420     CHECK_AVAIL(msg,NONCELEN);
421     m->nL=buf_unprepend(msg,NONCELEN);
422     if (type==LABEL_MSG2) {
423         CHECK_EMPTY(msg);
424         return True;
425     }
426     CHECK_AVAIL(msg,2);
427     m->pklen=buf_unprepend_uint16(msg);
428     CHECK_AVAIL(msg,m->pklen);
429     m->pk=buf_unprepend(msg,m->pklen);
430     m->hashlen=msg->start-m->hashstart;
431     CHECK_AVAIL(msg,2);
432     m->siglen=buf_unprepend_uint16(msg);
433     CHECK_AVAIL(msg,m->siglen);
434     m->sig=buf_unprepend(msg,m->siglen);
435     CHECK_EMPTY(msg);
436     return True;
437 }
438
439 static bool_t check_msg(struct site *st, uint32_t type, struct msg *m,
440                         cstring_t *error)
441 {
442     if (type==LABEL_MSG1) return True;
443
444     /* Check that the site names and our nonce have been sent
445        back correctly, and then store our peer's nonce. */ 
446     if (memcmp(m->remote,st->remotename,strlen(st->remotename)!=0)) {
447         *error="wrong remote site name";
448         return False;
449     }
450     if (memcmp(m->local,st->localname,strlen(st->localname)!=0)) {
451         *error="wrong local site name";
452         return False;
453     }
454     if (memcmp(m->nL,st->localN,NONCELEN)!=0) {
455         *error="wrong locally-generated nonce";
456         return False;
457     }
458     if (type==LABEL_MSG2) return True;
459     if (memcmp(m->nR,st->remoteN,NONCELEN)!=0) {
460         *error="wrong remotely-generated nonce";
461         return False;
462     }
463     if (type==LABEL_MSG3) return True;
464     if (type==LABEL_MSG4) return True;
465     *error="unknown message type";
466     return False;
467 }
468
469 static bool_t generate_msg1(struct site *st)
470 {
471     st->random->generate(st->random->st,NONCELEN,st->localN);
472     return generate_msg(st,LABEL_MSG1,"site:MSG1");
473 }
474
475 static bool_t process_msg1(struct site *st, struct buffer_if *msg1,
476                            const struct comm_addr *src)
477 {
478     struct msg m;
479
480     /* We've already determined we're in an appropriate state to
481        process an incoming MSG1, and that the MSG1 has correct values
482        of A and B. */
483
484     if (!unpick_msg(st,LABEL_MSG1,msg1,&m)) return False;
485
486     transport_record_peer(st,&st->setup_peers,src,"msg1");
487     st->setup_session_id=m.source;
488     memcpy(st->remoteN,m.nR,NONCELEN);
489     return True;
490 }
491
492 static bool_t generate_msg2(struct site *st)
493 {
494     st->random->generate(st->random->st,NONCELEN,st->localN);
495     return generate_msg(st,LABEL_MSG2,"site:MSG2");
496 }
497
498 static bool_t process_msg2(struct site *st, struct buffer_if *msg2,
499                            const struct comm_addr *src)
500 {
501     struct msg m;
502     cstring_t err;
503
504     if (!unpick_msg(st,LABEL_MSG2,msg2,&m)) return False;
505     if (!check_msg(st,LABEL_MSG2,&m,&err)) {
506         slog(st,LOG_SEC,"msg2: %s",err);
507         return False;
508     }
509     st->setup_session_id=m.source;
510     memcpy(st->remoteN,m.nR,NONCELEN);
511     return True;
512 }
513
514 static bool_t generate_msg3(struct site *st)
515 {
516     /* Now we have our nonce and their nonce. Think of a secret key,
517        and create message number 3. */
518     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
519     return generate_msg(st,LABEL_MSG3,"site:MSG3");
520 }
521
522 static bool_t process_msg3(struct site *st, struct buffer_if *msg3,
523                            const struct comm_addr *src)
524 {
525     struct msg m;
526     uint8_t *hash;
527     void *hst;
528     cstring_t err;
529
530     if (!unpick_msg(st,LABEL_MSG3,msg3,&m)) return False;
531     if (!check_msg(st,LABEL_MSG3,&m,&err)) {
532         slog(st,LOG_SEC,"msg3: %s",err);
533         return False;
534     }
535
536     /* Check signature and store g^x mod m */
537     hash=safe_malloc(st->hash->len, "process_msg3");
538     hst=st->hash->init();
539     st->hash->update(hst,m.hashstart,m.hashlen);
540     st->hash->final(hst,hash);
541     /* Terminate signature with a '0' - cheating, but should be ok */
542     m.sig[m.siglen]=0;
543     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
544         slog(st,LOG_SEC,"msg3 signature failed check!");
545         free(hash);
546         return False;
547     }
548     free(hash);
549
550     /* Terminate their DH public key with a '0' */
551     m.pk[m.pklen]=0;
552     /* Invent our DH secret key */
553     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
554
555     /* Generate the shared key */
556     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
557                        st->sharedsecret,st->transform->keylen);
558
559     /* Set up the transform */
560     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
561                               st->transform->keylen);
562
563     return True;
564 }
565
566 static bool_t generate_msg4(struct site *st)
567 {
568     /* We have both nonces, their public key and our private key. Generate
569        our public key, sign it and send it to them. */
570     return generate_msg(st,LABEL_MSG4,"site:MSG4");
571 }
572
573 static bool_t process_msg4(struct site *st, struct buffer_if *msg4,
574                            const struct comm_addr *src)
575 {
576     struct msg m;
577     uint8_t *hash;
578     void *hst;
579     cstring_t err;
580
581     if (!unpick_msg(st,LABEL_MSG4,msg4,&m)) return False;
582     if (!check_msg(st,LABEL_MSG4,&m,&err)) {
583         slog(st,LOG_SEC,"msg4: %s",err);
584         return False;
585     }
586     
587     /* Check signature and store g^x mod m */
588     hash=safe_malloc(st->hash->len, "process_msg4");
589     hst=st->hash->init();
590     st->hash->update(hst,m.hashstart,m.hashlen);
591     st->hash->final(hst,hash);
592     /* Terminate signature with a '0' - cheating, but should be ok */
593     m.sig[m.siglen]=0;
594     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
595         slog(st,LOG_SEC,"msg4 signature failed check!");
596         free(hash);
597         return False;
598     }
599     free(hash);
600
601     /* Terminate their DH public key with a '0' */
602     m.pk[m.pklen]=0;
603     /* Generate the shared key */
604     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
605                        st->sharedsecret,st->transform->keylen);
606     /* Set up the transform */
607     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
608                               st->transform->keylen);
609
610     return True;
611 }
612
613 struct msg0 {
614     uint32_t dest;
615     uint32_t source;
616     uint32_t type;
617 };
618
619 static bool_t unpick_msg0(struct site *st, struct buffer_if *msg0,
620                           struct msg0 *m)
621 {
622     CHECK_AVAIL(msg0,4);
623     m->dest=buf_unprepend_uint32(msg0);
624     CHECK_AVAIL(msg0,4);
625     m->source=buf_unprepend_uint32(msg0);
626     CHECK_AVAIL(msg0,4);
627     m->type=buf_unprepend_uint32(msg0);
628     return True;
629     /* Leaves transformed part of buffer untouched */
630 }
631
632 static bool_t generate_msg5(struct site *st)
633 {
634     cstring_t transform_err;
635
636     BUF_ALLOC(&st->buffer,"site:MSG5");
637     /* We are going to add four words to the message */
638     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
639     /* Give the netlink code an opportunity to put its own stuff in the
640        message (configuration information, etc.) */
641     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
642     st->new_transform->forwards(st->new_transform->st,&st->buffer,
643                                 &transform_err);
644     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
645     buf_prepend_uint32(&st->buffer,st->index);
646     buf_prepend_uint32(&st->buffer,st->setup_session_id);
647
648     st->retries=st->setup_retries;
649     return True;
650 }
651
652 static bool_t process_msg5(struct site *st, struct buffer_if *msg5,
653                            const struct comm_addr *src,
654                            struct transform_inst_if *transform)
655 {
656     struct msg0 m;
657     cstring_t transform_err;
658
659     if (!unpick_msg0(st,msg5,&m)) return False;
660
661     if (transform->reverse(transform->st,msg5,&transform_err)) {
662         /* There's a problem */
663         slog(st,LOG_SEC,"process_msg5: transform: %s",transform_err);
664         return False;
665     }
666     /* Buffer should now contain untransformed PING packet data */
667     CHECK_AVAIL(msg5,4);
668     if (buf_unprepend_uint32(msg5)!=LABEL_MSG5) {
669         slog(st,LOG_SEC,"MSG5/PING packet contained wrong label");
670         return False;
671     }
672     /* Older versions of secnet used to write some config data here
673      * which we ignore.  So we don't CHECK_EMPTY */
674     return True;
675 }
676
677 static void create_msg6(struct site *st, struct transform_inst_if *transform,
678                         uint32_t session_id)
679 {
680     cstring_t transform_err;
681
682     BUF_ALLOC(&st->buffer,"site:MSG6");
683     /* We are going to add four words to the message */
684     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
685     /* Give the netlink code an opportunity to put its own stuff in the
686        message (configuration information, etc.) */
687     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
688     transform->forwards(transform->st,&st->buffer,&transform_err);
689     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
690     buf_prepend_uint32(&st->buffer,st->index);
691     buf_prepend_uint32(&st->buffer,session_id);
692 }
693
694 static bool_t generate_msg6(struct site *st)
695 {
696     create_msg6(st,st->new_transform,st->setup_session_id);
697     st->retries=1; /* Peer will retransmit MSG5 if this packet gets lost */
698     return True;
699 }
700
701 static bool_t process_msg6(struct site *st, struct buffer_if *msg6,
702                            const struct comm_addr *src)
703 {
704     struct msg0 m;
705     cstring_t transform_err;
706
707     if (!unpick_msg0(st,msg6,&m)) return False;
708
709     if (st->new_transform->reverse(st->new_transform->st,
710                                    msg6,&transform_err)) {
711         /* There's a problem */
712         slog(st,LOG_SEC,"process_msg6: transform: %s",transform_err);
713         return False;
714     }
715     /* Buffer should now contain untransformed PING packet data */
716     CHECK_AVAIL(msg6,4);
717     if (buf_unprepend_uint32(msg6)!=LABEL_MSG6) {
718         slog(st,LOG_SEC,"MSG6/PONG packet contained invalid data");
719         return False;
720     }
721     /* Older versions of secnet used to write some config data here
722      * which we ignore.  So we don't CHECK_EMPTY */
723     return True;
724 }
725
726 static bool_t decrypt_msg0(struct site *st, struct buffer_if *msg0)
727 {
728     cstring_t transform_err, newkey_err="n/a";
729     struct msg0 m;
730     uint32_t problem;
731
732     if (!unpick_msg0(st,msg0,&m)) return False;
733
734     /* Keep a copy so we can try decrypting it with multiple keys */
735     buffer_copy(&st->scratch, msg0);
736
737     problem = st->current.transform->reverse(st->current.transform->st,
738                                              msg0,&transform_err);
739     if (!problem) return True;
740
741     if (problem==2) {
742         slog(st,LOG_DROP,"transform: %s (merely skew)",transform_err);
743         return False;
744     }
745
746     if (st->state==SITE_SENTMSG5) {
747         buffer_copy(msg0, &st->scratch);
748         if (!st->new_transform->reverse(st->new_transform->st,
749                                         msg0,&newkey_err)) {
750             /* It looks like we didn't get the peer's MSG6 */
751             /* This is like a cut-down enter_new_state(SITE_RUN) */
752             slog(st,LOG_STATE,"will enter state RUN (MSG0 with new key)");
753             BUF_FREE(&st->buffer);
754             st->timeout=0;
755             activate_new_key(st);
756             return True; /* do process the data in this packet */
757         }
758     }
759
760     slog(st,LOG_SEC,"transform: %s (new: %s)",transform_err,newkey_err);
761     initiate_key_setup(st,"incoming message would not decrypt");
762     return False;
763 }
764
765 static bool_t process_msg0(struct site *st, struct buffer_if *msg0,
766                            const struct comm_addr *src)
767 {
768     uint32_t type;
769
770     if (!decrypt_msg0(st,msg0))
771         return False;
772
773     CHECK_AVAIL(msg0,4);
774     type=buf_unprepend_uint32(msg0);
775     switch(type) {
776     case LABEL_MSG7:
777         /* We must forget about the current session. */
778         delete_key(st,"request from peer",LOG_SEC);
779         return True;
780     case LABEL_MSG9:
781         /* Deliver to netlink layer */
782         st->netlink->deliver(st->netlink->st,msg0);
783         transport_data_msgok(st,src);
784         /* See whether we should start negotiating a new key */
785         if (st->now > st->renegotiate_key_time)
786             initiate_key_setup(st,"incoming packet in renegotiation window");
787         return True;
788     default:
789         slog(st,LOG_SEC,"incoming encrypted message of type %08x "
790              "(unknown)",type);
791         break;
792     }
793     return False;
794 }
795
796 static void dump_packet(struct site *st, struct buffer_if *buf,
797                         const struct comm_addr *addr, bool_t incoming)
798 {
799     uint32_t dest=ntohl(*(uint32_t *)buf->start);
800     uint32_t source=ntohl(*(uint32_t *)(buf->start+4));
801     uint32_t msgtype=ntohl(*(uint32_t *)(buf->start+8));
802
803     if (st->log_events & LOG_DUMP)
804         slilog(st->log,M_DEBUG,"%s: %s: %08x<-%08x: %08x:",
805                st->tunname,incoming?"incoming":"outgoing",
806                dest,source,msgtype);
807 }
808
809 static uint32_t site_status(void *st)
810 {
811     return 0;
812 }
813
814 static bool_t send_msg(struct site *st)
815 {
816     if (st->retries>0) {
817         transport_xmit(st, &st->setup_peers, &st->buffer, True);
818         st->timeout=st->now+st->setup_retry_interval;
819         st->retries--;
820         return True;
821     } else {
822         slog(st,LOG_SETUP_TIMEOUT,"timed out sending key setup packet "
823             "(in state %s)",state_name(st->state));
824         enter_state_wait(st);
825         return False;
826     }
827 }
828
829 static void site_resolve_callback(void *sst, struct in_addr *address)
830 {
831     struct site *st=sst;
832     struct comm_addr ca_buf, *ca_use;
833
834     if (st->state!=SITE_RESOLVE) {
835         slog(st,LOG_UNEXPECTED,"site_resolve_callback called unexpectedly");
836         return;
837     }
838     if (address) {
839         FILLZERO(ca_buf);
840         ca_buf.comm=st->comms[0];
841         ca_buf.sin.sin_family=AF_INET;
842         ca_buf.sin.sin_port=htons(st->remoteport);
843         ca_buf.sin.sin_addr=*address;
844         ca_use=&ca_buf;
845     } else {
846         slog(st,LOG_ERROR,"resolution of %s failed",st->address);
847         ca_use=0;
848     }
849     if (transport_compute_setupinit_peers(st,ca_use)) {
850         enter_new_state(st,SITE_SENTMSG1);
851     } else {
852         /* Can't figure out who to try to to talk to */
853         slog(st,LOG_SETUP_INIT,"key exchange failed: cannot find peer address");
854         enter_state_run(st);
855     }
856 }
857
858 static bool_t initiate_key_setup(struct site *st, cstring_t reason)
859 {
860     if (st->state!=SITE_RUN) return False;
861     slog(st,LOG_SETUP_INIT,"initiating key exchange (%s)",reason);
862     if (st->address) {
863         slog(st,LOG_SETUP_INIT,"resolving peer address");
864         return enter_state_resolve(st);
865     } else if (transport_compute_setupinit_peers(st,0)) {
866         return enter_new_state(st,SITE_SENTMSG1);
867     }
868     slog(st,LOG_SETUP_INIT,"key exchange failed: no address for peer");
869     return False;
870 }
871
872 static void activate_new_key(struct site *st)
873 {
874     struct transform_inst_if *t;
875
876     /* We have two transform instances, which we swap between active
877        and setup */
878     t=st->current.transform;
879     st->current.transform=st->new_transform;
880     st->new_transform=t;
881
882     t->delkey(t->st);
883     st->timeout=0;
884     st->current.key_timeout=st->now+st->key_lifetime;
885     st->renegotiate_key_time=st->now+st->key_renegotiate_time;
886     transport_peers_copy(st,&st->peers,&st->setup_peers);
887     st->current.remote_session_id=st->setup_session_id;
888
889     slog(st,LOG_ACTIVATE_KEY,"new key activated");
890     enter_state_run(st);
891 }
892
893 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel)
894 {
895     if (current_valid(st)) {
896         slog(st,loglevel,"session closed (%s)",reason);
897
898         st->current.transform->delkey(st->current.transform->st);
899         st->current.key_timeout=0;
900         set_link_quality(st);
901     }
902 }
903
904 static void state_assert(struct site *st, bool_t ok)
905 {
906     if (!ok) fatal("site:state_assert");
907 }
908
909 static void enter_state_stop(struct site *st)
910 {
911     st->state=SITE_STOP;
912     st->timeout=0;
913     delete_key(st,"entering state STOP",LOG_TIMEOUT_KEY);
914     st->new_transform->delkey(st->new_transform->st);
915 }
916
917 static void set_link_quality(struct site *st)
918 {
919     uint32_t quality;
920     if (current_valid(st))
921         quality=LINK_QUALITY_UP;
922     else if (st->state==SITE_WAIT || st->state==SITE_STOP)
923         quality=LINK_QUALITY_DOWN;
924     else if (st->address)
925         quality=LINK_QUALITY_DOWN_CURRENT_ADDRESS;
926     else if (transport_peers_valid(&st->peers))
927         quality=LINK_QUALITY_DOWN_STALE_ADDRESS;
928     else
929         quality=LINK_QUALITY_DOWN;
930
931     st->netlink->set_quality(st->netlink->st,quality);
932 }
933
934 static void enter_state_run(struct site *st)
935 {
936     slog(st,LOG_STATE,"entering state RUN");
937     st->state=SITE_RUN;
938     st->timeout=0;
939
940     st->setup_session_id=0;
941     transport_peers_clear(st,&st->setup_peers);
942     memset(st->localN,0,NONCELEN);
943     memset(st->remoteN,0,NONCELEN);
944     st->new_transform->delkey(st->new_transform->st);
945     memset(st->dhsecret,0,st->dh->len);
946     memset(st->sharedsecret,0,st->transform->keylen);
947     set_link_quality(st);
948 }
949
950 static bool_t enter_state_resolve(struct site *st)
951 {
952     state_assert(st,st->state==SITE_RUN);
953     slog(st,LOG_STATE,"entering state RESOLVE");
954     st->state=SITE_RESOLVE;
955     st->resolver->request(st->resolver->st,st->address,
956                           site_resolve_callback,st);
957     return True;
958 }
959
960 static bool_t enter_new_state(struct site *st, uint32_t next)
961 {
962     bool_t (*gen)(struct site *st);
963     int r;
964
965     slog(st,LOG_STATE,"entering state %s",state_name(next));
966     switch(next) {
967     case SITE_SENTMSG1:
968         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE);
969         gen=generate_msg1;
970         break;
971     case SITE_SENTMSG2:
972         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE ||
973                      st->state==SITE_SENTMSG1 || st->state==SITE_WAIT);
974         gen=generate_msg2;
975         break;
976     case SITE_SENTMSG3:
977         state_assert(st,st->state==SITE_SENTMSG1);
978         BUF_FREE(&st->buffer);
979         gen=generate_msg3;
980         break;
981     case SITE_SENTMSG4:
982         state_assert(st,st->state==SITE_SENTMSG2);
983         BUF_FREE(&st->buffer);
984         gen=generate_msg4;
985         break;
986     case SITE_SENTMSG5:
987         state_assert(st,st->state==SITE_SENTMSG3);
988         BUF_FREE(&st->buffer);
989         gen=generate_msg5;
990         break;
991     case SITE_RUN:
992         state_assert(st,st->state==SITE_SENTMSG4);
993         BUF_FREE(&st->buffer);
994         gen=generate_msg6;
995         break;
996     default:
997         gen=NULL;
998         fatal("enter_new_state(%s): invalid new state",state_name(next));
999         break;
1000     }
1001
1002     if (hacky_par_start_failnow()) return False;
1003
1004     r= gen(st) && send_msg(st);
1005
1006     hacky_par_end(&r,
1007                   st->setup_retries, st->setup_retry_interval,
1008                   send_msg, st);
1009     
1010     if (r) {
1011         st->state=next;
1012         if (next==SITE_RUN) {
1013             BUF_FREE(&st->buffer); /* Never reused */
1014             st->timeout=0; /* Never retransmit */
1015             activate_new_key(st);
1016         }
1017         return True;
1018     }
1019     slog(st,LOG_ERROR,"error entering state %s",state_name(next));
1020     st->buffer.free=False; /* Unconditionally use the buffer; it may be
1021                               in either state, and enter_state_wait() will
1022                               do a BUF_FREE() */
1023     enter_state_wait(st);
1024     return False;
1025 }
1026
1027 /* msg7 tells our peer that we're about to forget our key */
1028 static bool_t send_msg7(struct site *st, cstring_t reason)
1029 {
1030     cstring_t transform_err;
1031
1032     if (current_valid(st) && st->buffer.free
1033         && transport_peers_valid(&st->peers)) {
1034         BUF_ALLOC(&st->buffer,"site:MSG7");
1035         buffer_init(&st->buffer,st->transform->max_start_pad+(4*3));
1036         buf_append_uint32(&st->buffer,LABEL_MSG7);
1037         buf_append_string(&st->buffer,reason);
1038         st->current.transform->forwards(st->current.transform->st,
1039                                         &st->buffer, &transform_err);
1040         buf_prepend_uint32(&st->buffer,LABEL_MSG0);
1041         buf_prepend_uint32(&st->buffer,st->index);
1042         buf_prepend_uint32(&st->buffer,st->current.remote_session_id);
1043         transport_xmit(st,&st->peers,&st->buffer,True);
1044         BUF_FREE(&st->buffer);
1045         return True;
1046     }
1047     return False;
1048 }
1049
1050 /* We go into this state if our peer becomes uncommunicative. Similar to
1051    the "stop" state, we forget all session keys for a while, before
1052    re-entering the "run" state. */
1053 static void enter_state_wait(struct site *st)
1054 {
1055     slog(st,LOG_STATE,"entering state WAIT");
1056     st->timeout=st->now+st->wait_timeout;
1057     st->state=SITE_WAIT;
1058     set_link_quality(st);
1059     BUF_FREE(&st->buffer); /* will have had an outgoing packet in it */
1060     /* XXX Erase keys etc. */
1061 }
1062
1063 static inline void site_settimeout(uint64_t timeout, int *timeout_io)
1064 {
1065     if (timeout) {
1066         int64_t offset=timeout-*now;
1067         if (offset<0) offset=0;
1068         if (offset>INT_MAX) offset=INT_MAX;
1069         if (*timeout_io<0 || offset<*timeout_io)
1070             *timeout_io=offset;
1071     }
1072 }
1073
1074 static int site_beforepoll(void *sst, struct pollfd *fds, int *nfds_io,
1075                            int *timeout_io)
1076 {
1077     struct site *st=sst;
1078
1079     *nfds_io=0; /* We don't use any file descriptors */
1080     st->now=*now;
1081
1082     /* Work out when our next timeout is. The earlier of 'timeout' or
1083        'current.key_timeout'. A stored value of '0' indicates no timeout
1084        active. */
1085     site_settimeout(st->timeout, timeout_io);
1086     site_settimeout(st->current.key_timeout, timeout_io);
1087
1088     return 0; /* success */
1089 }
1090
1091 /* NB site_afterpoll will be called before site_beforepoll is ever called */
1092 static void site_afterpoll(void *sst, struct pollfd *fds, int nfds)
1093 {
1094     struct site *st=sst;
1095
1096     st->now=*now;
1097     if (st->timeout && *now>st->timeout) {
1098         st->timeout=0;
1099         if (st->state>=SITE_SENTMSG1 && st->state<=SITE_SENTMSG5) {
1100             if (!hacky_par_start_failnow())
1101                 send_msg(st);
1102         } else if (st->state==SITE_WAIT) {
1103             enter_state_run(st);
1104         } else {
1105             slog(st,LOG_ERROR,"site_afterpoll: unexpected timeout, state=%d",
1106                  st->state);
1107         }
1108     }
1109     if (st->current.key_timeout && *now>st->current.key_timeout) {
1110         delete_key(st,"maximum key life exceeded",LOG_TIMEOUT_KEY);
1111     }
1112 }
1113
1114 /* This function is called by the netlink device to deliver packets
1115    intended for the remote network. The packet is in "raw" wire
1116    format, but is guaranteed to be word-aligned. */
1117 static void site_outgoing(void *sst, struct buffer_if *buf)
1118 {
1119     struct site *st=sst;
1120     cstring_t transform_err;
1121     
1122     if (st->state==SITE_STOP) {
1123         BUF_FREE(buf);
1124         return;
1125     }
1126
1127     /* In all other states we consider delivering the packet if we have
1128        a valid key and a valid address to send it to. */
1129     if (current_valid(st) && transport_peers_valid(&st->peers)) {
1130         /* Transform it and send it */
1131         if (buf->size>0) {
1132             buf_prepend_uint32(buf,LABEL_MSG9);
1133             st->current.transform->forwards(st->current.transform->st,
1134                                             buf, &transform_err);
1135             buf_prepend_uint32(buf,LABEL_MSG0);
1136             buf_prepend_uint32(buf,st->index);
1137             buf_prepend_uint32(buf,st->current.remote_session_id);
1138             transport_xmit(st,&st->peers,buf,False);
1139         }
1140         BUF_FREE(buf);
1141         return;
1142     }
1143
1144     slog(st,LOG_DROP,"discarding outgoing packet of size %d",buf->size);
1145     BUF_FREE(buf);
1146     initiate_key_setup(st,"outgoing packet");
1147 }
1148
1149 /* This function is called by the communication device to deliver
1150    packets from our peers. */
1151 static bool_t site_incoming(void *sst, struct buffer_if *buf,
1152                             const struct comm_addr *source)
1153 {
1154     struct site *st=sst;
1155
1156     if (buf->size < 12) return False;
1157
1158     uint32_t dest=ntohl(*(uint32_t *)buf->start);
1159
1160     if (dest==0) {
1161         /* It could be for any site - it should have LABEL_MSG1 and
1162            might have our name and our peer's name in it */
1163         if (buf->size<(st->setupsiglen+8+NONCELEN)) return False;
1164         if (memcmp(buf->start+8,st->setupsig,st->setupsiglen)==0) {
1165             /* It's addressed to us. Decide what to do about it. */
1166             dump_packet(st,buf,source,True);
1167             if (st->state==SITE_RUN || st->state==SITE_RESOLVE ||
1168                 st->state==SITE_WAIT) {
1169                 /* We should definitely process it */
1170                 if (process_msg1(st,buf,source)) {
1171                     slog(st,LOG_SETUP_INIT,"key setup initiated by peer");
1172                     enter_new_state(st,SITE_SENTMSG2);
1173                 } else {
1174                     slog(st,LOG_ERROR,"failed to process incoming msg1");
1175                 }
1176                 BUF_FREE(buf);
1177                 return True;
1178             } else if (st->state==SITE_SENTMSG1) {
1179                 /* We've just sent a message 1! They may have crossed on
1180                    the wire. If we have priority then we ignore the
1181                    incoming one, otherwise we process it as usual. */
1182                 if (st->setup_priority) {
1183                     BUF_FREE(buf);
1184                     slog(st,LOG_DUMP,"crossed msg1s; we are higher "
1185                          "priority => ignore incoming msg1");
1186                     return True;
1187                 } else {
1188                     slog(st,LOG_DUMP,"crossed msg1s; we are lower "
1189                          "priority => use incoming msg1");
1190                     if (process_msg1(st,buf,source)) {
1191                         BUF_FREE(&st->buffer); /* Free our old message 1 */
1192                         enter_new_state(st,SITE_SENTMSG2);
1193                     } else {
1194                         slog(st,LOG_ERROR,"failed to process an incoming "
1195                              "crossed msg1 (we have low priority)");
1196                     }
1197                     BUF_FREE(buf);
1198                     return True;
1199                 }
1200             }
1201             /* The message 1 was received at an unexpected stage of the
1202                key setup. XXX POLICY - what do we do? */
1203             slog(st,LOG_UNEXPECTED,"unexpected incoming message 1");
1204             BUF_FREE(buf);
1205             return True;
1206         }
1207         return False; /* Not for us. */
1208     }
1209     if (dest==st->index) {
1210         /* Explicitly addressed to us */
1211         uint32_t msgtype=ntohl(get_uint32(buf->start+8));
1212         if (msgtype!=LABEL_MSG0) dump_packet(st,buf,source,True);
1213         switch (msgtype) {
1214         case 0: /* NAK */
1215             /* If the source is our current peer then initiate a key setup,
1216                because our peer's forgotten the key */
1217             if (get_uint32(buf->start+4)==st->current.remote_session_id) {
1218                 initiate_key_setup(st,"received a NAK");
1219             } else {
1220                 slog(st,LOG_SEC,"bad incoming NAK");
1221             }
1222             break;
1223         case LABEL_MSG0:
1224             process_msg0(st,buf,source);
1225             break;
1226         case LABEL_MSG1:
1227             /* Setup packet: should not have been explicitly addressed
1228                to us */
1229             slog(st,LOG_SEC,"incoming explicitly addressed msg1");
1230             break;
1231         case LABEL_MSG2:
1232             /* Setup packet: expected only in state SENTMSG1 */
1233             if (st->state!=SITE_SENTMSG1) {
1234                 slog(st,LOG_UNEXPECTED,"unexpected MSG2");
1235             } else if (process_msg2(st,buf,source)) {
1236                 transport_setup_msgok(st,source);
1237                 enter_new_state(st,SITE_SENTMSG3);
1238             } else {
1239                 slog(st,LOG_SEC,"invalid MSG2");
1240             }
1241             break;
1242         case LABEL_MSG3:
1243             /* Setup packet: expected only in state SENTMSG2 */
1244             if (st->state!=SITE_SENTMSG2) {
1245                 slog(st,LOG_UNEXPECTED,"unexpected MSG3");
1246             } else if (process_msg3(st,buf,source)) {
1247                 transport_setup_msgok(st,source);
1248                 enter_new_state(st,SITE_SENTMSG4);
1249             } else {
1250                 slog(st,LOG_SEC,"invalid MSG3");
1251             }
1252             break;
1253         case LABEL_MSG4:
1254             /* Setup packet: expected only in state SENTMSG3 */
1255             if (st->state!=SITE_SENTMSG3) {
1256                 slog(st,LOG_UNEXPECTED,"unexpected MSG4");
1257             } else if (process_msg4(st,buf,source)) {
1258                 transport_setup_msgok(st,source);
1259                 enter_new_state(st,SITE_SENTMSG5);
1260             } else {
1261                 slog(st,LOG_SEC,"invalid MSG4");
1262             }
1263             break;
1264         case LABEL_MSG5:
1265             /* Setup packet: expected only in state SENTMSG4 */
1266             /* (may turn up in state RUN if our return MSG6 was lost
1267                and the new key has already been activated. In that
1268                case we discard it. The peer will realise that we
1269                are using the new key when they see our data packets.
1270                Until then the peer's data packets to us get discarded. */
1271             if (st->state==SITE_SENTMSG4) {
1272                 if (process_msg5(st,buf,source,st->new_transform)) {
1273                     transport_setup_msgok(st,source);
1274                     enter_new_state(st,SITE_RUN);
1275                 } else {
1276                     slog(st,LOG_SEC,"invalid MSG5");
1277                 }
1278             } else if (st->state==SITE_RUN) {
1279                 if (process_msg5(st,buf,source,st->current.transform)) {
1280                     slog(st,LOG_DROP,"got MSG5, retransmitting MSG6");
1281                     transport_setup_msgok(st,source);
1282                     create_msg6(st,st->current.transform,
1283                                 st->current.remote_session_id);
1284                     transport_xmit(st,&st->peers,&st->buffer,True);
1285                     BUF_FREE(&st->buffer);
1286                 } else {
1287                     slog(st,LOG_SEC,"invalid MSG5 (in state RUN)");
1288                 }
1289             } else {
1290                 slog(st,LOG_UNEXPECTED,"unexpected MSG5");
1291             }
1292             break;
1293         case LABEL_MSG6:
1294             /* Setup packet: expected only in state SENTMSG5 */
1295             if (st->state!=SITE_SENTMSG5) {
1296                 slog(st,LOG_UNEXPECTED,"unexpected MSG6");
1297             } else if (process_msg6(st,buf,source)) {
1298                 BUF_FREE(&st->buffer); /* Free message 5 */
1299                 transport_setup_msgok(st,source);
1300                 activate_new_key(st);
1301             } else {
1302                 slog(st,LOG_SEC,"invalid MSG6");
1303             }
1304             break;
1305         default:
1306             slog(st,LOG_SEC,"received message of unknown type 0x%08x",
1307                  msgtype);
1308             break;
1309         }
1310         BUF_FREE(buf);
1311         return True;
1312     }
1313
1314     return False;
1315 }
1316
1317 static void site_control(void *vst, bool_t run)
1318 {
1319     struct site *st=vst;
1320     if (run) enter_state_run(st);
1321     else enter_state_stop(st);
1322 }
1323
1324 static void site_phase_hook(void *sst, uint32_t newphase)
1325 {
1326     struct site *st=sst;
1327
1328     /* The program is shutting down; tell our peer */
1329     send_msg7(st,"shutting down");
1330 }
1331
1332 static list_t *site_apply(closure_t *self, struct cloc loc, dict_t *context,
1333                           list_t *args)
1334 {
1335     static uint32_t index_sequence;
1336     struct site *st;
1337     item_t *item;
1338     dict_t *dict;
1339     int i;
1340
1341     st=safe_malloc(sizeof(*st),"site_apply");
1342
1343     st->cl.description="site";
1344     st->cl.type=CL_SITE;
1345     st->cl.apply=NULL;
1346     st->cl.interface=&st->ops;
1347     st->ops.st=st;
1348     st->ops.control=site_control;
1349     st->ops.status=site_status;
1350
1351     /* First parameter must be a dict */
1352     item=list_elem(args,0);
1353     if (!item || item->type!=t_dict)
1354         cfgfatal(loc,"site","parameter must be a dictionary\n");
1355     
1356     dict=item->data.dict;
1357     st->localname=dict_read_string(dict, "local-name", True, "site", loc);
1358     st->remotename=dict_read_string(dict, "name", True, "site", loc);
1359
1360     st->peer_mobile=dict_read_bool(dict,"mobile",False,"site",loc,False);
1361     bool_t local_mobile=
1362         dict_read_bool(dict,"local-mobile",False,"site",loc,False);
1363
1364     /* Sanity check (which also allows the 'sites' file to include
1365        site() closures for all sites including our own): refuse to
1366        talk to ourselves */
1367     if (strcmp(st->localname,st->remotename)==0) {
1368         Message(M_DEBUG,"site %s: local-name==name -> ignoring this site\n",
1369                 st->localname);
1370         if (st->peer_mobile != local_mobile)
1371             cfgfatal(loc,"site","site %s's peer-mobile=%d"
1372                     " but our local-mobile=%d\n",
1373                     st->localname, st->peer_mobile, local_mobile);
1374         free(st);
1375         return NULL;
1376     }
1377     if (st->peer_mobile && local_mobile) {
1378         Message(M_WARNING,"site %s: site is mobile but so are we"
1379                 " -> ignoring this site\n", st->remotename);
1380         free(st);
1381         return NULL;
1382     }
1383
1384     assert(index_sequence < 0xffffffffUL);
1385     st->index = ++index_sequence;
1386     st->netlink=find_cl_if(dict,"link",CL_NETLINK,True,"site",loc);
1387
1388     list_t *comms_cfg=dict_lookup(dict,"comm");
1389     if (!comms_cfg) cfgfatal(loc,"site","closure list \"comm\" not found\n");
1390     st->ncomms=list_length(comms_cfg);
1391     st->comms=safe_malloc_ary(sizeof(*st->comms),st->ncomms,"comms");
1392     assert(st->ncomms);
1393     for (i=0; i<st->ncomms; i++) {
1394         item_t *item=list_elem(comms_cfg,i);
1395         if (item->type!=t_closure)
1396             cfgfatal(loc,"site","comm is not a closure\n");
1397         closure_t *cl=item->data.closure;
1398         if (cl->type!=CL_COMM) cfgfatal(loc,"site","comm closure wrong type\n");
1399         st->comms[i]=cl->interface;
1400     }
1401
1402     st->resolver=find_cl_if(dict,"resolver",CL_RESOLVER,True,"site",loc);
1403     st->log=find_cl_if(dict,"log",CL_LOG,True,"site",loc);
1404     st->random=find_cl_if(dict,"random",CL_RANDOMSRC,True,"site",loc);
1405
1406     st->privkey=find_cl_if(dict,"local-key",CL_RSAPRIVKEY,True,"site",loc);
1407     st->address=dict_read_string(dict, "address", False, "site", loc);
1408     if (st->address)
1409         st->remoteport=dict_read_number(dict,"port",True,"site",loc,0);
1410     else st->remoteport=0;
1411     st->pubkey=find_cl_if(dict,"key",CL_RSAPUBKEY,True,"site",loc);
1412
1413     st->transform=
1414         find_cl_if(dict,"transform",CL_TRANSFORM,True,"site",loc);
1415
1416     st->dh=find_cl_if(dict,"dh",CL_DH,True,"site",loc);
1417     st->hash=find_cl_if(dict,"hash",CL_HASH,True,"site",loc);
1418
1419 #define DEFAULT(D) (st->peer_mobile || local_mobile     \
1420                     ? DEFAULT_MOBILE_##D : DEFAULT_##D)
1421 #define CFG_NUMBER(k,D) dict_read_number(dict,(k),False,"site",loc,DEFAULT(D));
1422
1423     st->key_lifetime=         CFG_NUMBER("key-lifetime",  KEY_LIFETIME);
1424     st->setup_retries=        CFG_NUMBER("setup-retries", SETUP_RETRIES);
1425     st->setup_retry_interval= CFG_NUMBER("setup-timeout", SETUP_RETRY_INTERVAL);
1426     st->wait_timeout=         CFG_NUMBER("wait-time",     WAIT_TIME);
1427
1428     st->mobile_peer_expiry= dict_read_number(
1429        dict,"mobile-peer-expiry",False,"site",loc,DEFAULT_MOBILE_PEER_EXPIRY);
1430
1431     st->transport_peers_max= !st->peer_mobile ? 1 : dict_read_number(
1432         dict,"mobile-peers-max",False,"site",loc,DEFAULT_MOBILE_PEERS_MAX);
1433     if (st->transport_peers_max<1 ||
1434         st->transport_peers_max>=MAX_MOBILE_PEERS_MAX) {
1435         cfgfatal(loc,"site","mobile-peers-max must be in range 1.."
1436                  STRING(MAX_MOBILE_PEERS_MAX) "\n");
1437     }
1438
1439     if (st->key_lifetime < DEFAULT(KEY_RENEGOTIATE_GAP)*2)
1440         st->key_renegotiate_time=st->key_lifetime/2;
1441     else
1442         st->key_renegotiate_time=st->key_lifetime-DEFAULT(KEY_RENEGOTIATE_GAP);
1443     st->key_renegotiate_time=dict_read_number(
1444         dict,"renegotiate-time",False,"site",loc,st->key_renegotiate_time);
1445     if (st->key_renegotiate_time > st->key_lifetime) {
1446         cfgfatal(loc,"site",
1447                  "renegotiate-time must be less than key-lifetime\n");
1448     }
1449
1450     st->log_events=string_list_to_word(dict_lookup(dict,"log-events"),
1451                                        log_event_table,"site");
1452
1453     st->tunname=safe_malloc(strlen(st->localname)+strlen(st->remotename)+5,
1454                             "site_apply");
1455     sprintf(st->tunname,"%s<->%s",st->localname,st->remotename);
1456
1457     /* The information we expect to see in incoming messages of type 1 */
1458     /* fixme: lots of unchecked overflows here, but the results are only
1459        corrupted packets rather than undefined behaviour */
1460     st->setupsiglen=strlen(st->remotename)+strlen(st->localname)+8;
1461     st->setupsig=safe_malloc(st->setupsiglen,"site_apply");
1462     put_uint32(st->setupsig+0,LABEL_MSG1);
1463     put_uint16(st->setupsig+4,strlen(st->remotename));
1464     memcpy(&st->setupsig[6],st->remotename,strlen(st->remotename));
1465     put_uint16(st->setupsig+(6+strlen(st->remotename)),strlen(st->localname));
1466     memcpy(&st->setupsig[8+strlen(st->remotename)],st->localname,
1467            strlen(st->localname));
1468     st->setup_priority=(strcmp(st->localname,st->remotename)>0);
1469
1470     buffer_new(&st->buffer,SETUP_BUFFER_LEN);
1471
1472     buffer_new(&st->scratch,0);
1473     BUF_ALLOC(&st->scratch,"site:scratch");
1474
1475     /* We are interested in poll(), but only for timeouts. We don't have
1476        any fds of our own. */
1477     register_for_poll(st, site_beforepoll, site_afterpoll, 0, "site");
1478     st->timeout=0;
1479
1480     st->current.key_timeout=0;
1481     transport_peers_clear(st,&st->peers);
1482     transport_peers_clear(st,&st->setup_peers);
1483     /* XXX mlock these */
1484     st->dhsecret=safe_malloc(st->dh->len,"site:dhsecret");
1485     st->sharedsecret=safe_malloc(st->transform->keylen,"site:sharedsecret");
1486
1487     /* We need to compute some properties of our comms */
1488 #define COMPUTE_WORST(pad)                      \
1489     int worst_##pad=0;                          \
1490     for (i=0; i<st->ncomms; i++) {              \
1491         int thispad=st->comms[i]->pad;          \
1492         if (thispad > worst_##pad)              \
1493             worst_##pad=thispad;                \
1494     }
1495     COMPUTE_WORST(min_start_pad)
1496     COMPUTE_WORST(min_end_pad)
1497
1498     /* We need to register the remote networks with the netlink device */
1499     st->netlink->reg(st->netlink->st, site_outgoing, st,
1500                      st->transform->max_start_pad+(4*4)+
1501                      worst_min_start_pad,
1502                      st->transform->max_end_pad+worst_min_end_pad);
1503     
1504     for (i=0; i<st->ncomms; i++)
1505         st->comms[i]->request_notify(st->comms[i]->st, st, site_incoming);
1506
1507     st->current.transform=st->transform->create(st->transform->st);
1508     st->new_transform=st->transform->create(st->transform->st);
1509
1510     enter_state_stop(st);
1511
1512     add_hook(PHASE_SHUTDOWN,site_phase_hook,st);
1513
1514     return new_closure(&st->cl);
1515 }
1516
1517 void site_module(dict_t *dict)
1518 {
1519     add_closure(dict,"site",site_apply);
1520 }
1521
1522
1523 /***** TRANSPORT PEERS definitions *****/
1524
1525 static void transport_peers_debug(struct site *st, transport_peers *dst,
1526                                   const char *didwhat,
1527                                   int nargs, const struct comm_addr *args,
1528                                   size_t stride) {
1529     int i;
1530     char *argp;
1531
1532     if (!(st->log_events & LOG_PEER_ADDRS))
1533         return; /* an optimisation */
1534
1535     slog(st, LOG_PEER_ADDRS, "peers (%s) %s nargs=%d => npeers=%d",
1536          (dst==&st->peers ? "data" :
1537           dst==&st->setup_peers ? "setup" : "UNKNOWN"),
1538          didwhat, nargs, dst->npeers);
1539
1540     for (i=0, argp=(void*)args;
1541          i<nargs;
1542          i++, (argp+=stride?stride:sizeof(*args))) {
1543         const struct comm_addr *ca=(void*)argp;
1544         slog(st, LOG_PEER_ADDRS, " args: addrs[%d]=%s",
1545              i, ca->comm->addr_to_string(ca->comm->st,ca));
1546     }
1547     for (i=0; i<dst->npeers; i++) {
1548         struct timeval diff;
1549         timersub(tv_now,&dst->peers[i].last,&diff);
1550         const struct comm_addr *ca=&dst->peers[i].addr;
1551         slog(st, LOG_PEER_ADDRS, " peers: addrs[%d]=%s T-%ld.%06ld",
1552              i, ca->comm->addr_to_string(ca->comm->st,ca),
1553              (unsigned long)diff.tv_sec, (unsigned long)diff.tv_usec);
1554     }
1555 }
1556
1557 static int transport_peer_compar(const void *av, const void *bv) {
1558     const transport_peer *a=av;
1559     const transport_peer *b=bv;
1560     /* put most recent first in the array */
1561     if (timercmp(&a->last, &b->last, <)) return +1;
1562     if (timercmp(&a->last, &b->last, >)) return -11;
1563     return 0;
1564 }
1565
1566 static void transport_peers_expire(struct site *st, transport_peers *peers) {
1567     /* peers must be sorted first */
1568     int previous_peers=peers->npeers;
1569     struct timeval oldest;
1570     oldest.tv_sec  = tv_now->tv_sec - st->mobile_peer_expiry;
1571     oldest.tv_usec = tv_now->tv_usec;
1572     while (peers->npeers>1 &&
1573            timercmp(&peers->peers[peers->npeers-1].last, &oldest, <))
1574         peers->npeers--;
1575     if (peers->npeers != previous_peers)
1576         transport_peers_debug(st,peers,"expire", 0,0,0);
1577 }
1578
1579 static void transport_record_peer(struct site *st, transport_peers *peers,
1580                                   const struct comm_addr *addr, const char *m) {
1581     int slot, changed=0;
1582
1583     for (slot=0; slot<peers->npeers; slot++)
1584         if (!memcmp(&peers->peers[slot].addr, addr, sizeof(*addr)))
1585             goto found;
1586
1587     changed=1;
1588     if (peers->npeers==st->transport_peers_max)
1589         slot=st->transport_peers_max;
1590     else
1591         slot=peers->npeers++;
1592
1593  found:
1594     peers->peers[slot].addr=*addr;
1595     peers->peers[slot].last=*tv_now;
1596
1597     if (peers->npeers>1)
1598         qsort(peers->peers, peers->npeers,
1599               sizeof(*peers->peers), transport_peer_compar);
1600
1601     if (changed || peers->npeers!=1)
1602         transport_peers_debug(st,peers,m, 1,addr,0);
1603     transport_peers_expire(st, peers);
1604 }
1605
1606 static bool_t transport_compute_setupinit_peers(struct site *st,
1607         const struct comm_addr *configured_addr /* 0 if none or not found */) {
1608
1609     if (!configured_addr && !transport_peers_valid(&st->peers))
1610         return False;
1611
1612     slog(st,LOG_SETUP_INIT,
1613          (!configured_addr ? "using only %d old peer address(es)"
1614           : "using configured address, and/or perhaps %d old peer address(es)"),
1615          st->peers);
1616
1617     /* Non-mobile peers havve st->peers.npeers==0 or ==1, since they
1618      * have transport_peers_max==1.  The effect is that this code
1619      * always uses the configured address if supplied, or otherwise
1620      * the existing data peer if one exists; this is as desired. */
1621
1622     transport_peers_copy(st,&st->setup_peers,&st->peers);
1623
1624     if (configured_addr)
1625         transport_record_peer(st,&st->setup_peers,configured_addr,"setupinit");
1626
1627     assert(transport_peers_valid(&st->setup_peers));
1628     return True;
1629 }
1630
1631 static void transport_setup_msgok(struct site *st, const struct comm_addr *a) {
1632     if (st->peer_mobile)
1633         transport_record_peer(st,&st->setup_peers,a,"setupmsg");
1634 }
1635 static void transport_data_msgok(struct site *st, const struct comm_addr *a) {
1636     if (st->peer_mobile)
1637         transport_record_peer(st,&st->peers,a,"datamsg");
1638 }
1639
1640 static int transport_peers_valid(transport_peers *peers) {
1641     return peers->npeers;
1642 }
1643 static void transport_peers_clear(struct site *st, transport_peers *peers) {
1644     peers->npeers= 0;
1645     transport_peers_debug(st,peers,"clear",0,0,0);
1646 }
1647 static void transport_peers_copy(struct site *st, transport_peers *dst,
1648                                  const transport_peers *src) {
1649     dst->npeers=src->npeers;
1650     memcpy(dst->peers, src->peers, sizeof(*dst->peers) * dst->npeers);
1651     transport_peers_debug(st,dst,"copy",
1652                           src->npeers, &src->peers->addr, sizeof(*src->peers));
1653 }
1654
1655 void transport_xmit(struct site *st, transport_peers *peers,
1656                     struct buffer_if *buf, bool_t candebug) {
1657     int slot;
1658     transport_peers_expire(st, peers);
1659     for (slot=0; slot<peers->npeers; slot++) {
1660         transport_peer *peer=&peers->peers[slot];
1661         if (candebug)
1662             dump_packet(st, buf, &peer->addr, False);
1663         peer->addr.comm->sendmsg(peer->addr.comm->st, buf, &peer->addr);
1664     }
1665 }
1666
1667 /***** END of transport peers declarations *****/