chiark / gitweb /
comm,site: Make peer address configuration the responsibility of comm (udp)
[secnet.git] / site.c
1 /* site.c - manage communication with a remote network site */
2
3 /* The 'site' code doesn't know anything about the structure of the
4    packets it's transmitting.  In fact, under the new netlink
5    configuration scheme it doesn't need to know anything at all about
6    IP addresses, except how to contact its peer.  This means it could
7    potentially be used to tunnel other protocols too (IPv6, IPX, plain
8    old Ethernet frames) if appropriate netlink code can be written
9    (and that ought not to be too hard, eg. using the TUN/TAP device to
10    pretend to be an Ethernet interface).  */
11
12 /* At some point in the future the netlink code will be asked for
13    configuration information to go in the PING/PONG packets at the end
14    of the key exchange. */
15
16 #include "secnet.h"
17 #include <stdio.h>
18 #include <string.h>
19 #include <limits.h>
20 #include <assert.h>
21 #include <sys/socket.h>
22
23 #include <sys/mman.h>
24 #include "util.h"
25 #include "unaligned.h"
26 #include "magic.h"
27
28 #define SETUP_BUFFER_LEN 2048
29
30 #define DEFAULT_KEY_LIFETIME                  (3600*1000) /* [ms] */
31 #define DEFAULT_KEY_RENEGOTIATE_GAP           (5*60*1000) /* [ms] */
32 #define DEFAULT_SETUP_RETRIES 5
33 #define DEFAULT_SETUP_RETRY_INTERVAL             (2*1000) /* [ms] */
34 #define DEFAULT_WAIT_TIME                       (20*1000) /* [ms] */
35
36 #define DEFAULT_MOBILE_KEY_LIFETIME      (2*24*3600*1000) /* [ms] */
37 #define DEFAULT_MOBILE_KEY_RENEGOTIATE_GAP (12*3600*1000) /* [ms] */
38 #define DEFAULT_MOBILE_SETUP_RETRIES 30
39 #define DEFAULT_MOBILE_SETUP_RETRY_INTERVAL      (1*1000) /* [ms] */
40 #define DEFAULT_MOBILE_WAIT_TIME                (10*1000) /* [ms] */
41
42 #define DEFAULT_MOBILE_PEER_EXPIRY            (2*60)      /* [s] */
43 #define DEFAULT_MOBILE_PEERS_MAX 3 /* send at most this many copies (default) */
44
45 /* Each site can be in one of several possible states. */
46
47 /* States:
48    SITE_STOP         - nothing is allowed to happen; tunnel is down;
49                        all session keys have been erased
50      -> SITE_RUN upon external instruction
51    SITE_RUN          - site up, maybe with valid key
52      -> SITE_RESOLVE upon outgoing packet and no valid key
53          we start name resolution for the other end of the tunnel
54      -> SITE_SENTMSG2 upon valid incoming message 1 and suitable time
55          we send an appropriate message 2
56    SITE_RESOLVE      - waiting for name resolution
57      -> SITE_SENTMSG1 upon successful resolution
58          we send an appropriate message 1
59      -> SITE_SENTMSG2 upon valid incoming message 1 (then abort resolution)
60          we abort resolution and 
61      -> SITE_WAIT on timeout or resolution failure
62    SITE_SENTMSG1
63      -> SITE_SENTMSG2 upon valid incoming message 1 from higher priority end
64      -> SITE_SENTMSG3 upon valid incoming message 2
65      -> SITE_WAIT on timeout
66    SITE_SENTMSG2
67      -> SITE_SENTMSG4 upon valid incoming message 3
68      -> SITE_WAIT on timeout
69    SITE_SENTMSG3
70      -> SITE_SENTMSG5 upon valid incoming message 4
71      -> SITE_WAIT on timeout
72    SITE_SENTMSG4
73      -> SITE_RUN upon valid incoming message 5
74      -> SITE_WAIT on timeout
75    SITE_SENTMSG5
76      -> SITE_RUN upon valid incoming message 6
77      -> SITE_WAIT on timeout
78    SITE_WAIT         - failed to establish key; do nothing for a while
79      -> SITE_RUN on timeout
80    */
81
82 #define SITE_STOP     0
83 #define SITE_RUN      1
84 #define SITE_RESOLVE  2
85 #define SITE_SENTMSG1 3
86 #define SITE_SENTMSG2 4
87 #define SITE_SENTMSG3 5
88 #define SITE_SENTMSG4 6
89 #define SITE_SENTMSG5 7
90 #define SITE_WAIT     8
91
92 static cstring_t state_name(uint32_t state)
93 {
94     switch (state) {
95     case 0: return "STOP";
96     case 1: return "RUN";
97     case 2: return "RESOLVE";
98     case 3: return "SENTMSG1";
99     case 4: return "SENTMSG2";
100     case 5: return "SENTMSG3";
101     case 6: return "SENTMSG4";
102     case 7: return "SENTMSG5";
103     case 8: return "WAIT";
104     default: return "*bad state*";
105     }
106 }
107
108 #define NONCELEN 8
109
110 #define LOG_UNEXPECTED    0x00000001
111 #define LOG_SETUP_INIT    0x00000002
112 #define LOG_SETUP_TIMEOUT 0x00000004
113 #define LOG_ACTIVATE_KEY  0x00000008
114 #define LOG_TIMEOUT_KEY   0x00000010
115 #define LOG_SEC           0x00000020
116 #define LOG_STATE         0x00000040
117 #define LOG_DROP          0x00000080
118 #define LOG_DUMP          0x00000100
119 #define LOG_ERROR         0x00000400
120 #define LOG_PEER_ADDRS    0x00000800
121
122 static struct flagstr log_event_table[]={
123     { "unexpected", LOG_UNEXPECTED },
124     { "setup-init", LOG_SETUP_INIT },
125     { "setup-timeout", LOG_SETUP_TIMEOUT },
126     { "activate-key", LOG_ACTIVATE_KEY },
127     { "timeout-key", LOG_TIMEOUT_KEY },
128     { "security", LOG_SEC },
129     { "state-change", LOG_STATE },
130     { "packet-drop", LOG_DROP },
131     { "dump-packets", LOG_DUMP },
132     { "errors", LOG_ERROR },
133     { "peer-addrs", LOG_PEER_ADDRS },
134     { "default", LOG_SETUP_INIT|LOG_SETUP_TIMEOUT|
135       LOG_ACTIVATE_KEY|LOG_TIMEOUT_KEY|LOG_SEC|LOG_ERROR },
136     { "all", 0xffffffff },
137     { NULL, 0 }
138 };
139
140
141 /***** TRANSPORT PEERS declarations *****/
142
143 /* Details of "mobile peer" semantics:
144    
145    - We record mobile_peers_max peer address/port numbers ("peers")
146      for key setup, and separately mobile_peers_max for data
147      transfer.  If these lists fill up, we retain the newest peers.
148      (For non-mobile peers we only record one of each.)
149
150    - Outgoing packets are sent to every recorded peer in the
151      applicable list.
152
153    - Data transfer peers are straightforward: whenever we successfully
154      process a data packet, we record the peer.  Also, whenever we
155      successfully complete a key setup, we merge the key setup
156      peers into the data transfer peers.
157
158      (For "non-mobile" peers we simply copy the peer used for
159      successful key setup, and don't change the peer otherwise.)
160
161    - Key setup peers are slightly more complicated.
162
163      Whenever we receive and successfully process a key exchange
164      packet, we record the peer.
165
166      Whenever we try to initiate a key setup, we copy the list of data
167      transfer peers and use it for key setup.  But we also look to see
168      if the config supplies an address and port number and if so we
169      add that as a key setup peer (possibly evicting one of the data
170      transfer peers we just copied).
171
172      (For "non-mobile" peers, if we if we have a configured peer
173      address and port, we always use that; otherwise if we have a
174      current data peer address we use that; otherwise we do not
175      attempt to initiate a key setup for lack of a peer address.)
176
177    "Record the peer" means
178     1. expire any peers last seen >120s ("mobile-peer-expiry") ago
179     2. add the peer of the just received packet to the applicable list
180        (possibly evicting older entries)
181    NB that we do not expire peers until an incoming packet arrives.
182
183    */
184
185 #define MAX_MOBILE_PEERS_MAX 5 /* send at most this many copies, compiled max */
186
187 typedef struct {
188     struct timeval last;
189     struct comm_addr addr;
190 } transport_peer;
191
192 typedef struct {
193 /* configuration information */
194 /* runtime information */
195     int npeers;
196     transport_peer peers[MAX_MOBILE_PEERS_MAX];
197 } transport_peers;
198
199 static void transport_peers_clear(struct site *st, transport_peers *peers);
200 static int transport_peers_valid(transport_peers *peers);
201 static void transport_peers_copy(struct site *st, transport_peers *dst,
202                                  const transport_peers *src);
203
204 static void transport_setup_msgok(struct site *st, const struct comm_addr *a);
205 static void transport_data_msgok(struct site *st, const struct comm_addr *a);
206 static bool_t transport_compute_setupinit_peers(struct site *st,
207         const struct comm_addr *configured_addr /* 0 if none or not found */);
208 static void transport_record_peer(struct site *st, transport_peers *peers,
209                                   const struct comm_addr *addr, const char *m);
210
211 static void transport_xmit(struct site *st, transport_peers *peers,
212                            struct buffer_if *buf, bool_t candebug);
213
214  /***** END of transport peers declarations *****/
215
216
217 struct site {
218     closure_t cl;
219     struct site_if ops;
220 /* configuration information */
221     string_t localname;
222     string_t remotename;
223     bool_t peer_mobile; /* Mobile client support */
224     int32_t transport_peers_max;
225     string_t tunname; /* localname<->remotename by default, used in logs */
226     void *remote_addr_config; /* created and used by comm */
227     struct netlink_if *netlink;
228     struct comm_if **comms;
229     int ncomms;
230     struct log_if *log;
231     struct random_if *random;
232     struct rsaprivkey_if *privkey;
233     struct rsapubkey_if *pubkey;
234     struct transform_if *transform;
235     struct dh_if *dh;
236     struct hash_if *hash;
237
238     uint32_t index; /* Index of this site */
239     int32_t setup_retries; /* How many times to send setup packets */
240     int32_t setup_retry_interval; /* Initial timeout for setup packets */
241     int32_t wait_timeout; /* How long to wait if setup unsuccessful */
242     int32_t mobile_peer_expiry; /* How long to remember 2ary addresses */
243     int32_t key_lifetime; /* How long a key lasts once set up */
244     int32_t key_renegotiate_time; /* If we see traffic (or a keepalive)
245                                       after this time, initiate a new
246                                       key exchange */
247
248     uint8_t *setupsig; /* Expected signature of incoming MSG1 packets */
249     int32_t setupsiglen; /* Allows us to discard packets quickly if
250                             they are not for us */
251     bool_t setup_priority; /* Do we have precedence if both sites emit
252                               message 1 simultaneously? */
253     uint32_t log_events;
254
255 /* runtime information */
256     uint32_t state;
257     uint64_t now; /* Most recently seen time */
258
259     /* The currently established session */
260     uint32_t remote_session_id;
261     struct transform_inst_if *current_transform;
262     bool_t current_valid;
263     uint64_t current_key_timeout; /* End of life of current key */
264     uint64_t renegotiate_key_time; /* When we can negotiate a new key */
265     transport_peers peers; /* Current address(es) of peer for data traffic */
266
267     /* The current key setup protocol exchange.  We can only be
268        involved in one of these at a time.  There's a potential for
269        denial of service here (the attacker keeps sending a setup
270        packet; we keep trying to continue the exchange, and have to
271        timeout before we can listen for another setup packet); perhaps
272        we should keep a list of 'bad' sources for setup packets. */
273     uint32_t setup_session_id;
274     transport_peers setup_peers;
275     uint8_t localN[NONCELEN]; /* Nonces for key exchange */
276     uint8_t remoteN[NONCELEN];
277     struct buffer_if buffer; /* Current outgoing key exchange packet */
278     int32_t retries; /* Number of retries remaining */
279     uint64_t timeout; /* Timeout for current state */
280     uint8_t *dhsecret;
281     uint8_t *sharedsecret;
282     struct transform_inst_if *new_transform; /* For key setup/verify */
283 };
284
285 static void slog(struct site *st, uint32_t event, cstring_t msg, ...)
286 {
287     va_list ap;
288     char buf[240];
289     uint32_t class;
290
291     va_start(ap,msg);
292
293     if (event&st->log_events) {
294         switch(event) {
295         case LOG_UNEXPECTED: class=M_INFO; break;
296         case LOG_SETUP_INIT: class=M_INFO; break;
297         case LOG_SETUP_TIMEOUT: class=M_NOTICE; break;
298         case LOG_ACTIVATE_KEY: class=M_INFO; break;
299         case LOG_TIMEOUT_KEY: class=M_INFO; break;
300         case LOG_SEC: class=M_SECURITY; break;
301         case LOG_STATE: class=M_DEBUG; break;
302         case LOG_DROP: class=M_DEBUG; break;
303         case LOG_DUMP: class=M_DEBUG; break;
304         case LOG_ERROR: class=M_ERR; break;
305         case LOG_PEER_ADDRS: class=M_DEBUG; break;
306         default: class=M_ERR; break;
307         }
308
309         vsnprintf(buf,sizeof(buf),msg,ap);
310         st->log->log(st->log->st,class,"%s: %s",st->tunname,buf);
311     }
312     va_end(ap);
313 }
314
315 static void set_link_quality(struct site *st);
316 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel);
317 static bool_t initiate_key_setup(struct site *st, cstring_t reason);
318 static void enter_state_run(struct site *st);
319 static bool_t enter_state_resolve(struct site *st);
320 static bool_t enter_new_state(struct site *st,uint32_t next);
321 static void enter_state_wait(struct site *st);
322
323 #define CHECK_AVAIL(b,l) do { if ((b)->size<(l)) return False; } while(0)
324 #define CHECK_EMPTY(b) do { if ((b)->size!=0) return False; } while(0)
325 #define CHECK_TYPE(b,t) do { uint32_t type; \
326     CHECK_AVAIL((b),4); \
327     type=buf_unprepend_uint32((b)); \
328     if (type!=(t)) return False; } while(0)
329
330 struct msg {
331     uint8_t *hashstart;
332     uint32_t dest;
333     uint32_t source;
334     int32_t remlen;
335     uint8_t *remote;
336     int32_t loclen;
337     uint8_t *local;
338     uint8_t *nR;
339     uint8_t *nL;
340     int32_t pklen;
341     char *pk;
342     int32_t hashlen;
343     int32_t siglen;
344     char *sig;
345 };
346
347 /* Build any of msg1 to msg4. msg5 and msg6 are built from the inside
348    out using a transform of config data supplied by netlink */
349 static bool_t generate_msg(struct site *st, uint32_t type, cstring_t what)
350 {
351     void *hst;
352     uint8_t *hash;
353     string_t dhpub, sig;
354
355     st->retries=st->setup_retries;
356     BUF_ALLOC(&st->buffer,what);
357     buffer_init(&st->buffer,0);
358     buf_append_uint32(&st->buffer,
359         (type==LABEL_MSG1?0:st->setup_session_id));
360     buf_append_uint32(&st->buffer,st->index);
361     buf_append_uint32(&st->buffer,type);
362     buf_append_string(&st->buffer,st->localname);
363     buf_append_string(&st->buffer,st->remotename);
364     memcpy(buf_append(&st->buffer,NONCELEN),st->localN,NONCELEN);
365     if (type==LABEL_MSG1) return True;
366     memcpy(buf_append(&st->buffer,NONCELEN),st->remoteN,NONCELEN);
367     if (type==LABEL_MSG2) return True;
368
369     if (hacky_par_mid_failnow()) return False;
370
371     dhpub=st->dh->makepublic(st->dh->st,st->dhsecret,st->dh->len);
372     buf_append_string(&st->buffer,dhpub);
373     free(dhpub);
374     hash=safe_malloc(st->hash->len, "generate_msg");
375     hst=st->hash->init();
376     st->hash->update(hst,st->buffer.start,st->buffer.size);
377     st->hash->final(hst,hash);
378     sig=st->privkey->sign(st->privkey->st,hash,st->hash->len);
379     buf_append_string(&st->buffer,sig);
380     free(sig);
381     free(hash);
382     return True;
383 }
384
385 static bool_t unpick_msg(struct site *st, uint32_t type,
386                          struct buffer_if *msg, struct msg *m)
387 {
388     m->hashstart=msg->start;
389     CHECK_AVAIL(msg,4);
390     m->dest=buf_unprepend_uint32(msg);
391     CHECK_AVAIL(msg,4);
392     m->source=buf_unprepend_uint32(msg);
393     CHECK_TYPE(msg,type);
394     CHECK_AVAIL(msg,2);
395     m->remlen=buf_unprepend_uint16(msg);
396     CHECK_AVAIL(msg,m->remlen);
397     m->remote=buf_unprepend(msg,m->remlen);
398     CHECK_AVAIL(msg,2);
399     m->loclen=buf_unprepend_uint16(msg);
400     CHECK_AVAIL(msg,m->loclen);
401     m->local=buf_unprepend(msg,m->loclen);
402     CHECK_AVAIL(msg,NONCELEN);
403     m->nR=buf_unprepend(msg,NONCELEN);
404     if (type==LABEL_MSG1) {
405         CHECK_EMPTY(msg);
406         return True;
407     }
408     CHECK_AVAIL(msg,NONCELEN);
409     m->nL=buf_unprepend(msg,NONCELEN);
410     if (type==LABEL_MSG2) {
411         CHECK_EMPTY(msg);
412         return True;
413     }
414     CHECK_AVAIL(msg,2);
415     m->pklen=buf_unprepend_uint16(msg);
416     CHECK_AVAIL(msg,m->pklen);
417     m->pk=buf_unprepend(msg,m->pklen);
418     m->hashlen=msg->start-m->hashstart;
419     CHECK_AVAIL(msg,2);
420     m->siglen=buf_unprepend_uint16(msg);
421     CHECK_AVAIL(msg,m->siglen);
422     m->sig=buf_unprepend(msg,m->siglen);
423     CHECK_EMPTY(msg);
424     return True;
425 }
426
427 static bool_t check_msg(struct site *st, uint32_t type, struct msg *m,
428                         cstring_t *error)
429 {
430     if (type==LABEL_MSG1) return True;
431
432     /* Check that the site names and our nonce have been sent
433        back correctly, and then store our peer's nonce. */ 
434     if (memcmp(m->remote,st->remotename,strlen(st->remotename)!=0)) {
435         *error="wrong remote site name";
436         return False;
437     }
438     if (memcmp(m->local,st->localname,strlen(st->localname)!=0)) {
439         *error="wrong local site name";
440         return False;
441     }
442     if (memcmp(m->nL,st->localN,NONCELEN)!=0) {
443         *error="wrong locally-generated nonce";
444         return False;
445     }
446     if (type==LABEL_MSG2) return True;
447     if (memcmp(m->nR,st->remoteN,NONCELEN)!=0) {
448         *error="wrong remotely-generated nonce";
449         return False;
450     }
451     if (type==LABEL_MSG3) return True;
452     if (type==LABEL_MSG4) return True;
453     *error="unknown message type";
454     return False;
455 }
456
457 static bool_t generate_msg1(struct site *st)
458 {
459     st->random->generate(st->random->st,NONCELEN,st->localN);
460     return generate_msg(st,LABEL_MSG1,"site:MSG1");
461 }
462
463 static bool_t process_msg1(struct site *st, struct buffer_if *msg1,
464                            const struct comm_addr *src)
465 {
466     struct msg m;
467
468     /* We've already determined we're in an appropriate state to
469        process an incoming MSG1, and that the MSG1 has correct values
470        of A and B. */
471
472     if (!unpick_msg(st,LABEL_MSG1,msg1,&m)) return False;
473
474     transport_record_peer(st,&st->setup_peers,src,"msg1");
475     st->setup_session_id=m.source;
476     memcpy(st->remoteN,m.nR,NONCELEN);
477     return True;
478 }
479
480 static bool_t generate_msg2(struct site *st)
481 {
482     st->random->generate(st->random->st,NONCELEN,st->localN);
483     return generate_msg(st,LABEL_MSG2,"site:MSG2");
484 }
485
486 static bool_t process_msg2(struct site *st, struct buffer_if *msg2,
487                            const struct comm_addr *src)
488 {
489     struct msg m;
490     cstring_t err;
491
492     if (!unpick_msg(st,LABEL_MSG2,msg2,&m)) return False;
493     if (!check_msg(st,LABEL_MSG2,&m,&err)) {
494         slog(st,LOG_SEC,"msg2: %s",err);
495         return False;
496     }
497     st->setup_session_id=m.source;
498     memcpy(st->remoteN,m.nR,NONCELEN);
499     return True;
500 }
501
502 static bool_t generate_msg3(struct site *st)
503 {
504     /* Now we have our nonce and their nonce. Think of a secret key,
505        and create message number 3. */
506     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
507     return generate_msg(st,LABEL_MSG3,"site:MSG3");
508 }
509
510 static bool_t process_msg3(struct site *st, struct buffer_if *msg3,
511                            const struct comm_addr *src)
512 {
513     struct msg m;
514     uint8_t *hash;
515     void *hst;
516     cstring_t err;
517
518     if (!unpick_msg(st,LABEL_MSG3,msg3,&m)) return False;
519     if (!check_msg(st,LABEL_MSG3,&m,&err)) {
520         slog(st,LOG_SEC,"msg3: %s",err);
521         return False;
522     }
523
524     /* Check signature and store g^x mod m */
525     hash=safe_malloc(st->hash->len, "process_msg3");
526     hst=st->hash->init();
527     st->hash->update(hst,m.hashstart,m.hashlen);
528     st->hash->final(hst,hash);
529     /* Terminate signature with a '0' - cheating, but should be ok */
530     m.sig[m.siglen]=0;
531     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
532         slog(st,LOG_SEC,"msg3 signature failed check!");
533         free(hash);
534         return False;
535     }
536     free(hash);
537
538     /* Terminate their DH public key with a '0' */
539     m.pk[m.pklen]=0;
540     /* Invent our DH secret key */
541     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
542
543     /* Generate the shared key */
544     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
545                        st->sharedsecret,st->transform->keylen);
546
547     /* Set up the transform */
548     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
549                               st->transform->keylen);
550
551     return True;
552 }
553
554 static bool_t generate_msg4(struct site *st)
555 {
556     /* We have both nonces, their public key and our private key. Generate
557        our public key, sign it and send it to them. */
558     return generate_msg(st,LABEL_MSG4,"site:MSG4");
559 }
560
561 static bool_t process_msg4(struct site *st, struct buffer_if *msg4,
562                            const struct comm_addr *src)
563 {
564     struct msg m;
565     uint8_t *hash;
566     void *hst;
567     cstring_t err;
568
569     if (!unpick_msg(st,LABEL_MSG4,msg4,&m)) return False;
570     if (!check_msg(st,LABEL_MSG4,&m,&err)) {
571         slog(st,LOG_SEC,"msg4: %s",err);
572         return False;
573     }
574     
575     /* Check signature and store g^x mod m */
576     hash=safe_malloc(st->hash->len, "process_msg4");
577     hst=st->hash->init();
578     st->hash->update(hst,m.hashstart,m.hashlen);
579     st->hash->final(hst,hash);
580     /* Terminate signature with a '0' - cheating, but should be ok */
581     m.sig[m.siglen]=0;
582     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
583         slog(st,LOG_SEC,"msg4 signature failed check!");
584         free(hash);
585         return False;
586     }
587     free(hash);
588
589     /* Terminate their DH public key with a '0' */
590     m.pk[m.pklen]=0;
591     /* Generate the shared key */
592     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
593                        st->sharedsecret,st->transform->keylen);
594     /* Set up the transform */
595     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
596                               st->transform->keylen);
597
598     return True;
599 }
600
601 struct msg0 {
602     uint32_t dest;
603     uint32_t source;
604     uint32_t type;
605 };
606
607 static bool_t unpick_msg0(struct site *st, struct buffer_if *msg0,
608                           struct msg0 *m)
609 {
610     CHECK_AVAIL(msg0,4);
611     m->dest=buf_unprepend_uint32(msg0);
612     CHECK_AVAIL(msg0,4);
613     m->source=buf_unprepend_uint32(msg0);
614     CHECK_AVAIL(msg0,4);
615     m->type=buf_unprepend_uint32(msg0);
616     return True;
617     /* Leaves transformed part of buffer untouched */
618 }
619
620 static bool_t generate_msg5(struct site *st)
621 {
622     cstring_t transform_err;
623
624     BUF_ALLOC(&st->buffer,"site:MSG5");
625     /* We are going to add four words to the message */
626     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
627     /* Give the netlink code an opportunity to put its own stuff in the
628        message (configuration information, etc.) */
629     st->netlink->output_config(st->netlink->st,&st->buffer);
630     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
631     st->new_transform->forwards(st->new_transform->st,&st->buffer,
632                                 &transform_err);
633     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
634     buf_prepend_uint32(&st->buffer,st->index);
635     buf_prepend_uint32(&st->buffer,st->setup_session_id);
636
637     st->retries=st->setup_retries;
638     return True;
639 }
640
641 static bool_t process_msg5(struct site *st, struct buffer_if *msg5,
642                            const struct comm_addr *src)
643 {
644     struct msg0 m;
645     cstring_t transform_err;
646
647     if (!unpick_msg0(st,msg5,&m)) return False;
648
649     if (st->new_transform->reverse(st->new_transform->st,
650                                    msg5,&transform_err)) {
651         /* There's a problem */
652         slog(st,LOG_SEC,"process_msg5: transform: %s",transform_err);
653         return False;
654     }
655     /* Buffer should now contain untransformed PING packet data */
656     CHECK_AVAIL(msg5,4);
657     if (buf_unprepend_uint32(msg5)!=LABEL_MSG5) {
658         slog(st,LOG_SEC,"MSG5/PING packet contained wrong label");
659         return False;
660     }
661     if (!st->netlink->check_config(st->netlink->st,msg5)) {
662         slog(st,LOG_SEC,"MSG5/PING packet contained bad netlink config");
663         return False;
664     }
665     CHECK_EMPTY(msg5);
666     return True;
667 }
668
669 static bool_t generate_msg6(struct site *st)
670 {
671     cstring_t transform_err;
672
673     BUF_ALLOC(&st->buffer,"site:MSG6");
674     /* We are going to add four words to the message */
675     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
676     /* Give the netlink code an opportunity to put its own stuff in the
677        message (configuration information, etc.) */
678     st->netlink->output_config(st->netlink->st,&st->buffer);
679     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
680     st->new_transform->forwards(st->new_transform->st,&st->buffer,
681                                 &transform_err);
682     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
683     buf_prepend_uint32(&st->buffer,st->index);
684     buf_prepend_uint32(&st->buffer,st->setup_session_id);
685
686     st->retries=1; /* Peer will retransmit MSG5 if this packet gets lost */
687     return True;
688 }
689
690 static bool_t process_msg6(struct site *st, struct buffer_if *msg6,
691                            const struct comm_addr *src)
692 {
693     struct msg0 m;
694     cstring_t transform_err;
695
696     if (!unpick_msg0(st,msg6,&m)) return False;
697
698     if (st->new_transform->reverse(st->new_transform->st,
699                                    msg6,&transform_err)) {
700         /* There's a problem */
701         slog(st,LOG_SEC,"process_msg6: transform: %s",transform_err);
702         return False;
703     }
704     /* Buffer should now contain untransformed PING packet data */
705     CHECK_AVAIL(msg6,4);
706     if (buf_unprepend_uint32(msg6)!=LABEL_MSG6) {
707         slog(st,LOG_SEC,"MSG6/PONG packet contained invalid data");
708         return False;
709     }
710     if (!st->netlink->check_config(st->netlink->st,msg6)) {
711         slog(st,LOG_SEC,"MSG6/PONG packet contained bad netlink config");
712         return False;
713     }
714     CHECK_EMPTY(msg6);
715     return True;
716 }
717
718 static bool_t process_msg0(struct site *st, struct buffer_if *msg0,
719                            const struct comm_addr *src)
720 {
721     struct msg0 m;
722     cstring_t transform_err;
723     uint32_t type;
724
725     if (!st->current_valid) {
726         slog(st,LOG_DROP,"incoming message but no current key -> dropping");
727         return initiate_key_setup(st,"incoming message but no current key");
728     }
729
730     if (!unpick_msg0(st,msg0,&m)) return False;
731
732     if (st->current_transform->reverse(st->current_transform->st,
733                                        msg0,&transform_err)) {
734         /* There's a problem */
735         slog(st,LOG_SEC,"transform: %s",transform_err);
736         return initiate_key_setup(st,"incoming message would not decrypt");
737     }
738     CHECK_AVAIL(msg0,4);
739     type=buf_unprepend_uint32(msg0);
740     switch(type) {
741     case LABEL_MSG7:
742         /* We must forget about the current session. */
743         delete_key(st,"request from peer",LOG_SEC);
744         return True;
745     case LABEL_MSG9:
746         /* Deliver to netlink layer */
747         st->netlink->deliver(st->netlink->st,msg0);
748         transport_data_msgok(st,src);
749         /* See whether we should start negotiating a new key */
750         if (st->now > st->renegotiate_key_time)
751             initiate_key_setup(st,"incoming packet in renegotiation window");
752         return True;
753     default:
754         slog(st,LOG_SEC,"incoming encrypted message of type %08x "
755              "(unknown)",type);
756         break;
757     }
758     return False;
759 }
760
761 static void dump_packet(struct site *st, struct buffer_if *buf,
762                         const struct comm_addr *addr, bool_t incoming)
763 {
764     uint32_t dest=ntohl(*(uint32_t *)buf->start);
765     uint32_t source=ntohl(*(uint32_t *)(buf->start+4));
766     uint32_t msgtype=ntohl(*(uint32_t *)(buf->start+8));
767
768     if (st->log_events & LOG_DUMP)
769         slilog(st->log,M_DEBUG,"%s: %s: %08x<-%08x: %08x:",
770                st->tunname,incoming?"incoming":"outgoing",
771                dest,source,msgtype);
772 }
773
774 static uint32_t site_status(void *st)
775 {
776     return 0;
777 }
778
779 static bool_t send_msg(struct site *st)
780 {
781     if (st->retries>0) {
782         transport_xmit(st, &st->setup_peers, &st->buffer, True);
783         st->timeout=st->now+st->setup_retry_interval;
784         st->retries--;
785         return True;
786     } else {
787         slog(st,LOG_SETUP_TIMEOUT,"timed out sending key setup packet "
788             "(in state %s)",state_name(st->state));
789         enter_state_wait(st);
790         return False;
791     }
792 }
793
794 static void site_resolve_callback(void *sst, const struct comm_addr *address)
795 {
796     struct site *st=sst;
797
798     if (st->state!=SITE_RESOLVE) {
799         slog(st,LOG_UNEXPECTED,"site_resolve_callback called unexpectedly");
800         return;
801     }
802     if (!address) {
803         slog(st,LOG_ERROR,"resolution of peer address failed");
804     }
805     if (transport_compute_setupinit_peers(st,address)) {
806         enter_new_state(st,SITE_SENTMSG1);
807     } else {
808         /* Can't figure out who to try to to talk to */
809         slog(st,LOG_SETUP_INIT,"key exchange failed: cannot find peer address");
810         enter_state_run(st);
811     }
812 }
813
814 static bool_t initiate_key_setup(struct site *st, cstring_t reason)
815 {
816     if (st->state!=SITE_RUN) return False;
817     slog(st,LOG_SETUP_INIT,"initiating key exchange (%s)",reason);
818     if (st->remote_addr_config) {
819         slog(st,LOG_SETUP_INIT,"resolving peer address");
820         return enter_state_resolve(st);
821     } else if (transport_compute_setupinit_peers(st,0)) {
822         return enter_new_state(st,SITE_SENTMSG1);
823     }
824     slog(st,LOG_SETUP_INIT,"key exchange failed: no address for peer");
825     return False;
826 }
827
828 static void activate_new_key(struct site *st)
829 {
830     struct transform_inst_if *t;
831
832     /* We have two transform instances, which we swap between active
833        and setup */
834     t=st->current_transform;
835     st->current_transform=st->new_transform;
836     st->new_transform=t;
837
838     t->delkey(t->st);
839     st->timeout=0;
840     st->current_valid=True;
841     st->current_key_timeout=st->now+st->key_lifetime;
842     st->renegotiate_key_time=st->now+st->key_renegotiate_time;
843     transport_peers_copy(st,&st->peers,&st->setup_peers);
844     st->remote_session_id=st->setup_session_id;
845
846     slog(st,LOG_ACTIVATE_KEY,"new key activated");
847     enter_state_run(st);
848 }
849
850 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel)
851 {
852     if (st->current_valid) {
853         slog(st,loglevel,"session closed (%s)",reason);
854
855         st->current_valid=False;
856         st->current_transform->delkey(st->current_transform->st);
857         st->current_key_timeout=0;
858         set_link_quality(st);
859     }
860 }
861
862 static void state_assert(struct site *st, bool_t ok)
863 {
864     if (!ok) fatal("site:state_assert");
865 }
866
867 static void enter_state_stop(struct site *st)
868 {
869     st->state=SITE_STOP;
870     st->timeout=0;
871     delete_key(st,"entering state STOP",LOG_TIMEOUT_KEY);
872     st->new_transform->delkey(st->new_transform->st);
873 }
874
875 static void set_link_quality(struct site *st)
876 {
877     uint32_t quality;
878     if (st->current_valid)
879         quality=LINK_QUALITY_UP;
880     else if (st->state==SITE_WAIT || st->state==SITE_STOP)
881         quality=LINK_QUALITY_DOWN;
882     else if (st->remote_addr_config)
883         quality=LINK_QUALITY_DOWN_CURRENT_ADDRESS;
884     else if (transport_peers_valid(&st->peers))
885         quality=LINK_QUALITY_DOWN_STALE_ADDRESS;
886     else
887         quality=LINK_QUALITY_DOWN;
888
889     st->netlink->set_quality(st->netlink->st,quality);
890 }
891
892 static void enter_state_run(struct site *st)
893 {
894     slog(st,LOG_STATE,"entering state RUN");
895     st->state=SITE_RUN;
896     st->timeout=0;
897
898     st->setup_session_id=0;
899     transport_peers_clear(st,&st->setup_peers);
900     memset(st->localN,0,NONCELEN);
901     memset(st->remoteN,0,NONCELEN);
902     st->new_transform->delkey(st->new_transform->st);
903     memset(st->dhsecret,0,st->dh->len);
904     memset(st->sharedsecret,0,st->transform->keylen);
905     set_link_quality(st);
906 }
907
908 static bool_t enter_state_resolve(struct site *st)
909 {
910     state_assert(st,st->state==SITE_RUN);
911     slog(st,LOG_STATE,"entering state RESOLVE");
912     st->state=SITE_RESOLVE;
913     st->comms[0]->peer_addr_request(st->comms[0]->st,st->remote_addr_config,
914                                     site_resolve_callback,st);
915     return True;
916 }
917
918 static bool_t enter_new_state(struct site *st, uint32_t next)
919 {
920     bool_t (*gen)(struct site *st);
921     int r;
922
923     slog(st,LOG_STATE,"entering state %s",state_name(next));
924     switch(next) {
925     case SITE_SENTMSG1:
926         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE);
927         gen=generate_msg1;
928         break;
929     case SITE_SENTMSG2:
930         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE ||
931                      st->state==SITE_SENTMSG1 || st->state==SITE_WAIT);
932         gen=generate_msg2;
933         break;
934     case SITE_SENTMSG3:
935         state_assert(st,st->state==SITE_SENTMSG1);
936         BUF_FREE(&st->buffer);
937         gen=generate_msg3;
938         break;
939     case SITE_SENTMSG4:
940         state_assert(st,st->state==SITE_SENTMSG2);
941         BUF_FREE(&st->buffer);
942         gen=generate_msg4;
943         break;
944     case SITE_SENTMSG5:
945         state_assert(st,st->state==SITE_SENTMSG3);
946         BUF_FREE(&st->buffer);
947         gen=generate_msg5;
948         break;
949     case SITE_RUN:
950         state_assert(st,st->state==SITE_SENTMSG4);
951         BUF_FREE(&st->buffer);
952         gen=generate_msg6;
953         break;
954     default:
955         gen=NULL;
956         fatal("enter_new_state(%s): invalid new state",state_name(next));
957         break;
958     }
959
960     if (hacky_par_start_failnow()) return False;
961
962     r= gen(st) && send_msg(st);
963
964     hacky_par_end(&r,
965                   st->setup_retries, st->setup_retry_interval,
966                   send_msg, st);
967     
968     if (r) {
969         st->state=next;
970         if (next==SITE_RUN) {
971             BUF_FREE(&st->buffer); /* Never reused */
972             st->timeout=0; /* Never retransmit */
973             activate_new_key(st);
974         }
975         return True;
976     }
977     slog(st,LOG_ERROR,"error entering state %s",state_name(next));
978     st->buffer.free=False; /* Unconditionally use the buffer; it may be
979                               in either state, and enter_state_wait() will
980                               do a BUF_FREE() */
981     enter_state_wait(st);
982     return False;
983 }
984
985 /* msg7 tells our peer that we're about to forget our key */
986 static bool_t send_msg7(struct site *st, cstring_t reason)
987 {
988     cstring_t transform_err;
989
990     if (st->current_valid && st->buffer.free
991         && transport_peers_valid(&st->peers)) {
992         BUF_ALLOC(&st->buffer,"site:MSG7");
993         buffer_init(&st->buffer,st->transform->max_start_pad+(4*3));
994         buf_append_uint32(&st->buffer,LABEL_MSG7);
995         buf_append_string(&st->buffer,reason);
996         st->current_transform->forwards(st->current_transform->st,
997                                         &st->buffer, &transform_err);
998         buf_prepend_uint32(&st->buffer,LABEL_MSG0);
999         buf_prepend_uint32(&st->buffer,st->index);
1000         buf_prepend_uint32(&st->buffer,st->remote_session_id);
1001         transport_xmit(st,&st->peers,&st->buffer,True);
1002         BUF_FREE(&st->buffer);
1003         return True;
1004     }
1005     return False;
1006 }
1007
1008 /* We go into this state if our peer becomes uncommunicative. Similar to
1009    the "stop" state, we forget all session keys for a while, before
1010    re-entering the "run" state. */
1011 static void enter_state_wait(struct site *st)
1012 {
1013     slog(st,LOG_STATE,"entering state WAIT");
1014     st->timeout=st->now+st->wait_timeout;
1015     st->state=SITE_WAIT;
1016     set_link_quality(st);
1017     BUF_FREE(&st->buffer); /* will have had an outgoing packet in it */
1018     /* XXX Erase keys etc. */
1019 }
1020
1021 static inline void site_settimeout(uint64_t timeout, int *timeout_io)
1022 {
1023     if (timeout) {
1024         int64_t offset=timeout-*now;
1025         if (offset<0) offset=0;
1026         if (offset>INT_MAX) offset=INT_MAX;
1027         if (*timeout_io<0 || offset<*timeout_io)
1028             *timeout_io=offset;
1029     }
1030 }
1031
1032 static int site_beforepoll(void *sst, struct pollfd *fds, int *nfds_io,
1033                            int *timeout_io)
1034 {
1035     struct site *st=sst;
1036
1037     *nfds_io=0; /* We don't use any file descriptors */
1038     st->now=*now;
1039
1040     /* Work out when our next timeout is. The earlier of 'timeout' or
1041        'current_key_timeout'. A stored value of '0' indicates no timeout
1042        active. */
1043     site_settimeout(st->timeout, timeout_io);
1044     site_settimeout(st->current_key_timeout, timeout_io);
1045
1046     return 0; /* success */
1047 }
1048
1049 /* NB site_afterpoll will be called before site_beforepoll is ever called */
1050 static void site_afterpoll(void *sst, struct pollfd *fds, int nfds)
1051 {
1052     struct site *st=sst;
1053
1054     st->now=*now;
1055     if (st->timeout && *now>st->timeout) {
1056         st->timeout=0;
1057         if (st->state>=SITE_SENTMSG1 && st->state<=SITE_SENTMSG5) {
1058             if (!hacky_par_start_failnow())
1059                 send_msg(st);
1060         } else if (st->state==SITE_WAIT) {
1061             enter_state_run(st);
1062         } else {
1063             slog(st,LOG_ERROR,"site_afterpoll: unexpected timeout, state=%d",
1064                  st->state);
1065         }
1066     }
1067     if (st->current_key_timeout && *now>st->current_key_timeout) {
1068         delete_key(st,"maximum key life exceeded",LOG_TIMEOUT_KEY);
1069     }
1070 }
1071
1072 /* This function is called by the netlink device to deliver packets
1073    intended for the remote network. The packet is in "raw" wire
1074    format, but is guaranteed to be word-aligned. */
1075 static void site_outgoing(void *sst, struct buffer_if *buf)
1076 {
1077     struct site *st=sst;
1078     cstring_t transform_err;
1079     
1080     if (st->state==SITE_STOP) {
1081         BUF_FREE(buf);
1082         return;
1083     }
1084
1085     /* In all other states we consider delivering the packet if we have
1086        a valid key and a valid address to send it to. */
1087     if (st->current_valid && transport_peers_valid(&st->peers)) {
1088         /* Transform it and send it */
1089         if (buf->size>0) {
1090             buf_prepend_uint32(buf,LABEL_MSG9);
1091             st->current_transform->forwards(st->current_transform->st,
1092                                             buf, &transform_err);
1093             buf_prepend_uint32(buf,LABEL_MSG0);
1094             buf_prepend_uint32(buf,st->index);
1095             buf_prepend_uint32(buf,st->remote_session_id);
1096             transport_xmit(st,&st->peers,buf,False);
1097         }
1098         BUF_FREE(buf);
1099         return;
1100     }
1101
1102     slog(st,LOG_DROP,"discarding outgoing packet of size %d",buf->size);
1103     BUF_FREE(buf);
1104     initiate_key_setup(st,"outgoing packet");
1105 }
1106
1107 /* This function is called by the communication device to deliver
1108    packets from our peers. */
1109 static bool_t site_incoming(void *sst, struct buffer_if *buf,
1110                             const struct comm_addr *source)
1111 {
1112     struct site *st=sst;
1113     uint32_t dest=ntohl(*(uint32_t *)buf->start);
1114
1115     if (dest==0) {
1116         /* It could be for any site - it should have LABEL_MSG1 and
1117            might have our name and our peer's name in it */
1118         if (buf->size<(st->setupsiglen+8+NONCELEN)) return False;
1119         if (memcmp(buf->start+8,st->setupsig,st->setupsiglen)==0) {
1120             /* It's addressed to us. Decide what to do about it. */
1121             dump_packet(st,buf,source,True);
1122             if (st->state==SITE_RUN || st->state==SITE_RESOLVE ||
1123                 st->state==SITE_WAIT) {
1124                 /* We should definitely process it */
1125                 if (process_msg1(st,buf,source)) {
1126                     slog(st,LOG_SETUP_INIT,"key setup initiated by peer");
1127                     enter_new_state(st,SITE_SENTMSG2);
1128                 } else {
1129                     slog(st,LOG_ERROR,"failed to process incoming msg1");
1130                 }
1131                 BUF_FREE(buf);
1132                 return True;
1133             } else if (st->state==SITE_SENTMSG1) {
1134                 /* We've just sent a message 1! They may have crossed on
1135                    the wire. If we have priority then we ignore the
1136                    incoming one, otherwise we process it as usual. */
1137                 if (st->setup_priority) {
1138                     BUF_FREE(buf);
1139                     slog(st,LOG_DUMP,"crossed msg1s; we are higher "
1140                          "priority => ignore incoming msg1");
1141                     return True;
1142                 } else {
1143                     slog(st,LOG_DUMP,"crossed msg1s; we are lower "
1144                          "priority => use incoming msg1");
1145                     if (process_msg1(st,buf,source)) {
1146                         BUF_FREE(&st->buffer); /* Free our old message 1 */
1147                         enter_new_state(st,SITE_SENTMSG2);
1148                     } else {
1149                         slog(st,LOG_ERROR,"failed to process an incoming "
1150                              "crossed msg1 (we have low priority)");
1151                     }
1152                     BUF_FREE(buf);
1153                     return True;
1154                 }
1155             }
1156             /* The message 1 was received at an unexpected stage of the
1157                key setup. XXX POLICY - what do we do? */
1158             slog(st,LOG_UNEXPECTED,"unexpected incoming message 1");
1159             BUF_FREE(buf);
1160             return True;
1161         }
1162         return False; /* Not for us. */
1163     }
1164     if (dest==st->index) {
1165         /* Explicitly addressed to us */
1166         uint32_t msgtype=ntohl(get_uint32(buf->start+8));
1167         if (msgtype!=LABEL_MSG0) dump_packet(st,buf,source,True);
1168         switch (msgtype) {
1169         case 0: /* NAK */
1170             /* If the source is our current peer then initiate a key setup,
1171                because our peer's forgotten the key */
1172             if (get_uint32(buf->start+4)==st->remote_session_id) {
1173                 initiate_key_setup(st,"received a NAK");
1174             } else {
1175                 slog(st,LOG_SEC,"bad incoming NAK");
1176             }
1177             break;
1178         case LABEL_MSG0:
1179             process_msg0(st,buf,source);
1180             break;
1181         case LABEL_MSG1:
1182             /* Setup packet: should not have been explicitly addressed
1183                to us */
1184             slog(st,LOG_SEC,"incoming explicitly addressed msg1");
1185             break;
1186         case LABEL_MSG2:
1187             /* Setup packet: expected only in state SENTMSG1 */
1188             if (st->state!=SITE_SENTMSG1) {
1189                 slog(st,LOG_UNEXPECTED,"unexpected MSG2");
1190             } else if (process_msg2(st,buf,source)) {
1191                 transport_setup_msgok(st,source);
1192                 enter_new_state(st,SITE_SENTMSG3);
1193             } else {
1194                 slog(st,LOG_SEC,"invalid MSG2");
1195             }
1196             break;
1197         case LABEL_MSG3:
1198             /* Setup packet: expected only in state SENTMSG2 */
1199             if (st->state!=SITE_SENTMSG2) {
1200                 slog(st,LOG_UNEXPECTED,"unexpected MSG3");
1201             } else if (process_msg3(st,buf,source)) {
1202                 transport_setup_msgok(st,source);
1203                 enter_new_state(st,SITE_SENTMSG4);
1204             } else {
1205                 slog(st,LOG_SEC,"invalid MSG3");
1206             }
1207             break;
1208         case LABEL_MSG4:
1209             /* Setup packet: expected only in state SENTMSG3 */
1210             if (st->state!=SITE_SENTMSG3) {
1211                 slog(st,LOG_UNEXPECTED,"unexpected MSG4");
1212             } else if (process_msg4(st,buf,source)) {
1213                 transport_setup_msgok(st,source);
1214                 enter_new_state(st,SITE_SENTMSG5);
1215             } else {
1216                 slog(st,LOG_SEC,"invalid MSG4");
1217             }
1218             break;
1219         case LABEL_MSG5:
1220             /* Setup packet: expected only in state SENTMSG4 */
1221             /* (may turn up in state RUN if our return MSG6 was lost
1222                and the new key has already been activated. In that
1223                case we should treat it as an ordinary PING packet. We
1224                can't pass it to process_msg5() because the
1225                new_transform will now be unkeyed. XXX) */
1226             if (st->state!=SITE_SENTMSG4) {
1227                 slog(st,LOG_UNEXPECTED,"unexpected MSG5");
1228             } else if (process_msg5(st,buf,source)) {
1229                 transport_setup_msgok(st,source);
1230                 enter_new_state(st,SITE_RUN);
1231             } else {
1232                 slog(st,LOG_SEC,"invalid MSG5");
1233             }
1234             break;
1235         case LABEL_MSG6:
1236             /* Setup packet: expected only in state SENTMSG5 */
1237             if (st->state!=SITE_SENTMSG5) {
1238                 slog(st,LOG_UNEXPECTED,"unexpected MSG6");
1239             } else if (process_msg6(st,buf,source)) {
1240                 BUF_FREE(&st->buffer); /* Free message 5 */
1241                 transport_setup_msgok(st,source);
1242                 activate_new_key(st);
1243             } else {
1244                 slog(st,LOG_SEC,"invalid MSG6");
1245             }
1246             break;
1247         default:
1248             slog(st,LOG_SEC,"received message of unknown type 0x%08x",
1249                  msgtype);
1250             break;
1251         }
1252         BUF_FREE(buf);
1253         return True;
1254     }
1255
1256     return False;
1257 }
1258
1259 static void site_control(void *vst, bool_t run)
1260 {
1261     struct site *st=vst;
1262     if (run) enter_state_run(st);
1263     else enter_state_stop(st);
1264 }
1265
1266 static void site_phase_hook(void *sst, uint32_t newphase)
1267 {
1268     struct site *st=sst;
1269
1270     /* The program is shutting down; tell our peer */
1271     send_msg7(st,"shutting down");
1272 }
1273
1274 static list_t *site_apply(closure_t *self, struct cloc loc, dict_t *context,
1275                           list_t *args)
1276 {
1277     static uint32_t index_sequence;
1278     struct site *st;
1279     item_t *item;
1280     dict_t *dict;
1281     int i;
1282
1283     st=safe_malloc(sizeof(*st),"site_apply");
1284
1285     st->cl.description="site";
1286     st->cl.type=CL_SITE;
1287     st->cl.apply=NULL;
1288     st->cl.interface=&st->ops;
1289     st->ops.st=st;
1290     st->ops.control=site_control;
1291     st->ops.status=site_status;
1292
1293     /* First parameter must be a dict */
1294     item=list_elem(args,0);
1295     if (!item || item->type!=t_dict)
1296         cfgfatal(loc,"site","parameter must be a dictionary\n");
1297     
1298     dict=item->data.dict;
1299     st->localname=dict_read_string(dict, "local-name", True, "site", loc);
1300     st->remotename=dict_read_string(dict, "name", True, "site", loc);
1301
1302     st->peer_mobile=dict_read_bool(dict,"mobile",False,"site",loc,False);
1303     bool_t local_mobile=
1304         dict_read_bool(dict,"local-mobile",False,"site",loc,False);
1305
1306     /* Sanity check (which also allows the 'sites' file to include
1307        site() closures for all sites including our own): refuse to
1308        talk to ourselves */
1309     if (strcmp(st->localname,st->remotename)==0) {
1310         Message(M_DEBUG,"site %s: local-name==name -> ignoring this site\n",
1311                 st->localname);
1312         if (st->peer_mobile != local_mobile)
1313             cfgfatal(loc,"site","site %s's peer-mobile=%d"
1314                     " but our local-mobile=%d\n",
1315                     st->localname, st->peer_mobile, local_mobile);
1316         free(st);
1317         return NULL;
1318     }
1319     if (st->peer_mobile && local_mobile) {
1320         Message(M_WARNING,"site %s: site is mobile but so are we"
1321                 " -> ignoring this site\n", st->remotename);
1322         free(st);
1323         return NULL;
1324     }
1325
1326     assert(index_sequence < 0xffffffffUL);
1327     st->index = ++index_sequence;
1328     st->netlink=find_cl_if(dict,"link",CL_NETLINK,True,"site",loc);
1329
1330     list_t *comms_cfg=dict_lookup(dict,"comm");
1331     if (!comms_cfg) cfgfatal(loc,"site","closure list \"comm\" not found");
1332     st->ncomms=list_length(comms_cfg);
1333     st->comms=safe_malloc_ary(sizeof(*st->comms),st->ncomms,"comms");
1334     assert(st->ncomms);
1335     for (i=0; i<st->ncomms; i++) {
1336         item_t *item=list_elem(comms_cfg,i);
1337         if (item->type!=t_closure) cfgfatal(loc,"site","comm is not a closure");
1338         closure_t *cl=item->data.closure;
1339         if (cl->type!=CL_COMM) cfgfatal(loc,"site","comm closure wrong type");
1340         st->comms[i]=cl->interface;
1341     }
1342
1343     st->log=find_cl_if(dict,"log",CL_LOG,True,"site",loc);
1344     st->random=find_cl_if(dict,"random",CL_RANDOMSRC,True,"site",loc);
1345
1346     st->remote_addr_config=st->comms[0]->peer_addr_config(
1347         st->comms[0]->st,dict,loc,"site");
1348     st->privkey=find_cl_if(dict,"local-key",CL_RSAPRIVKEY,True,"site",loc);
1349     st->pubkey=find_cl_if(dict,"key",CL_RSAPUBKEY,True,"site",loc);
1350
1351     st->transform=
1352         find_cl_if(dict,"transform",CL_TRANSFORM,True,"site",loc);
1353
1354     st->dh=find_cl_if(dict,"dh",CL_DH,True,"site",loc);
1355     st->hash=find_cl_if(dict,"hash",CL_HASH,True,"site",loc);
1356
1357 #define DEFAULT(D) (st->peer_mobile || local_mobile     \
1358                     ? DEFAULT_MOBILE_##D : DEFAULT_##D)
1359 #define CFG_NUMBER(k,D) dict_read_number(dict,(k),False,"site",loc,DEFAULT(D));
1360
1361     st->key_lifetime=         CFG_NUMBER("key-lifetime",  KEY_LIFETIME);
1362     st->setup_retries=        CFG_NUMBER("setup-retries", SETUP_RETRIES);
1363     st->setup_retry_interval= CFG_NUMBER("setup-timeout", SETUP_RETRY_INTERVAL);
1364     st->wait_timeout=         CFG_NUMBER("wait-time",     WAIT_TIME);
1365
1366     st->mobile_peer_expiry= dict_read_number(
1367        dict,"mobile-peer-expiry",False,"site",loc,DEFAULT_MOBILE_PEER_EXPIRY);
1368
1369     st->transport_peers_max= !st->peer_mobile ? 1 : dict_read_number(
1370         dict,"mobile-peers-max",False,"site",loc,DEFAULT_MOBILE_PEERS_MAX);
1371     if (st->transport_peers_max<1 ||
1372         st->transport_peers_max>=MAX_MOBILE_PEERS_MAX) {
1373         cfgfatal(loc,"site","mobile-peers-max must be in range 1.."
1374                  STRING(MAX_MOBILE_PEERS_MAX) "\n");
1375     }
1376
1377     if (st->key_lifetime < DEFAULT(KEY_RENEGOTIATE_GAP)*2)
1378         st->key_renegotiate_time=st->key_lifetime/2;
1379     else
1380         st->key_renegotiate_time=st->key_lifetime-DEFAULT(KEY_RENEGOTIATE_GAP);
1381     st->key_renegotiate_time=dict_read_number(
1382         dict,"renegotiate-time",False,"site",loc,st->key_renegotiate_time);
1383     if (st->key_renegotiate_time > st->key_lifetime) {
1384         cfgfatal(loc,"site",
1385                  "renegotiate-time must be less than key-lifetime\n");
1386     }
1387
1388     st->log_events=string_list_to_word(dict_lookup(dict,"log-events"),
1389                                        log_event_table,"site");
1390
1391     st->tunname=safe_malloc(strlen(st->localname)+strlen(st->remotename)+5,
1392                             "site_apply");
1393     sprintf(st->tunname,"%s<->%s",st->localname,st->remotename);
1394
1395     /* The information we expect to see in incoming messages of type 1 */
1396     /* fixme: lots of unchecked overflows here, but the results are only
1397        corrupted packets rather than undefined behaviour */
1398     st->setupsiglen=strlen(st->remotename)+strlen(st->localname)+8;
1399     st->setupsig=safe_malloc(st->setupsiglen,"site_apply");
1400     put_uint32(st->setupsig+0,LABEL_MSG1);
1401     put_uint16(st->setupsig+4,strlen(st->remotename));
1402     memcpy(&st->setupsig[6],st->remotename,strlen(st->remotename));
1403     put_uint16(st->setupsig+(6+strlen(st->remotename)),strlen(st->localname));
1404     memcpy(&st->setupsig[8+strlen(st->remotename)],st->localname,
1405            strlen(st->localname));
1406     st->setup_priority=(strcmp(st->localname,st->remotename)>0);
1407
1408     buffer_new(&st->buffer,SETUP_BUFFER_LEN);
1409
1410     /* We are interested in poll(), but only for timeouts. We don't have
1411        any fds of our own. */
1412     register_for_poll(st, site_beforepoll, site_afterpoll, 0, "site");
1413     st->timeout=0;
1414
1415     st->current_valid=False;
1416     st->current_key_timeout=0;
1417     transport_peers_clear(st,&st->peers);
1418     transport_peers_clear(st,&st->setup_peers);
1419     /* XXX mlock these */
1420     st->dhsecret=safe_malloc(st->dh->len,"site:dhsecret");
1421     st->sharedsecret=safe_malloc(st->transform->keylen,"site:sharedsecret");
1422
1423     /* We need to compute some properties of our comms */
1424 #define COMPUTE_WORST(pad)                      \
1425     int worst_##pad=0;                          \
1426     for (i=0; i<st->ncomms; i++) {              \
1427         int thispad=st->comms[i]->pad;          \
1428         if (thispad > worst_##pad)              \
1429             worst_##pad=thispad;                \
1430     }
1431     COMPUTE_WORST(min_start_pad)
1432     COMPUTE_WORST(min_end_pad)
1433
1434     /* We need to register the remote networks with the netlink device */
1435     st->netlink->reg(st->netlink->st, site_outgoing, st,
1436                      st->transform->max_start_pad+(4*4)+
1437                      worst_min_start_pad,
1438                      st->transform->max_end_pad+worst_min_end_pad);
1439     
1440     for (i=0; i<st->ncomms; i++)
1441         st->comms[i]->request_notify(st->comms[i]->st, st, site_incoming);
1442
1443     st->current_transform=st->transform->create(st->transform->st);
1444     st->new_transform=st->transform->create(st->transform->st);
1445
1446     enter_state_stop(st);
1447
1448     add_hook(PHASE_SHUTDOWN,site_phase_hook,st);
1449
1450     return new_closure(&st->cl);
1451 }
1452
1453 void site_module(dict_t *dict)
1454 {
1455     add_closure(dict,"site",site_apply);
1456 }
1457
1458
1459 /***** TRANSPORT PEERS definitions *****/
1460
1461 static void transport_peers_debug(struct site *st, transport_peers *dst,
1462                                   const char *didwhat,
1463                                   int nargs, const struct comm_addr *args,
1464                                   size_t stride) {
1465     int i;
1466     char *argp;
1467
1468     if (!(st->log_events & LOG_PEER_ADDRS))
1469         return; /* an optimisation */
1470
1471     slog(st, LOG_PEER_ADDRS, "peers (%s) %s nargs=%d => npeers=%d",
1472          (dst==&st->peers ? "data" :
1473           dst==&st->setup_peers ? "setup" : "UNKNOWN"),
1474          didwhat, nargs, dst->npeers);
1475
1476     for (i=0, argp=(void*)args;
1477          i<nargs;
1478          i++, (argp+=stride?stride:sizeof(*args))) {
1479         const struct comm_addr *ca=(void*)argp;
1480         slog(st, LOG_PEER_ADDRS, " args: addrs[%d]=%s",
1481              i, ca->comm->addr_to_string(ca->comm->st,ca));
1482     }
1483     for (i=0; i<dst->npeers; i++) {
1484         struct timeval diff;
1485         timersub(tv_now,&dst->peers[i].last,&diff);
1486         const struct comm_addr *ca=&dst->peers[i].addr;
1487         slog(st, LOG_PEER_ADDRS, " peers: addrs[%d]=%s T-%ld.%06ld",
1488              i, ca->comm->addr_to_string(ca->comm->st,ca),
1489              (unsigned long)diff.tv_sec, (unsigned long)diff.tv_usec);
1490     }
1491 }
1492
1493 static int transport_peer_compar(const void *av, const void *bv) {
1494     const transport_peer *a=av;
1495     const transport_peer *b=bv;
1496     /* put most recent first in the array */
1497     if (timercmp(&a->last, &b->last, <)) return +1;
1498     if (timercmp(&a->last, &b->last, >)) return -11;
1499     return 0;
1500 }
1501
1502 static void transport_peers_expire(struct site *st, transport_peers *peers) {
1503     /* peers must be sorted first */
1504     int previous_peers=peers->npeers;
1505     struct timeval oldest;
1506     oldest.tv_sec  = tv_now->tv_sec - st->mobile_peer_expiry;
1507     oldest.tv_usec = tv_now->tv_usec;
1508     while (peers->npeers>1 &&
1509            timercmp(&peers->peers[peers->npeers-1].last, &oldest, <))
1510         peers->npeers--;
1511     if (peers->npeers != previous_peers)
1512         transport_peers_debug(st,peers,"expire", 0,0,0);
1513 }
1514
1515 static void transport_record_peer(struct site *st, transport_peers *peers,
1516                                   const struct comm_addr *addr, const char *m) {
1517     int slot, changed=0;
1518
1519     for (slot=0; slot<peers->npeers; slot++)
1520         if (!memcmp(&peers->peers[slot].addr, addr, sizeof(*addr)))
1521             goto found;
1522
1523     changed=1;
1524     if (peers->npeers==st->transport_peers_max)
1525         slot=st->transport_peers_max;
1526     else
1527         slot=peers->npeers++;
1528
1529  found:
1530     peers->peers[slot].addr=*addr;
1531     peers->peers[slot].last=*tv_now;
1532
1533     if (peers->npeers>1)
1534         qsort(peers->peers, peers->npeers,
1535               sizeof(*peers->peers), transport_peer_compar);
1536
1537     if (changed || peers->npeers!=1)
1538         transport_peers_debug(st,peers,m, 1,addr,0);
1539     transport_peers_expire(st, peers);
1540 }
1541
1542 static bool_t transport_compute_setupinit_peers(struct site *st,
1543         const struct comm_addr *configured_addr /* 0 if none or not found */) {
1544
1545     if (!configured_addr && !transport_peers_valid(&st->peers))
1546         return False;
1547
1548     slog(st,LOG_SETUP_INIT,
1549          (!configured_addr ? "using only %d old peer address(es)"
1550           : "using configured address, and/or perhaps %d old peer address(es)"),
1551          st->peers);
1552
1553     /* Non-mobile peers havve st->peers.npeers==0 or ==1, since they
1554      * have transport_peers_max==1.  The effect is that this code
1555      * always uses the configured address if supplied, or otherwise
1556      * the existing data peer if one exists; this is as desired. */
1557
1558     transport_peers_copy(st,&st->setup_peers,&st->peers);
1559
1560     if (configured_addr)
1561         transport_record_peer(st,&st->setup_peers,configured_addr,"setupinit");
1562
1563     assert(transport_peers_valid(&st->setup_peers));
1564     return True;
1565 }
1566
1567 static void transport_setup_msgok(struct site *st, const struct comm_addr *a) {
1568     if (st->peer_mobile)
1569         transport_record_peer(st,&st->setup_peers,a,"setupmsg");
1570 }
1571 static void transport_data_msgok(struct site *st, const struct comm_addr *a) {
1572     if (st->peer_mobile)
1573         transport_record_peer(st,&st->peers,a,"datamsg");
1574 }
1575
1576 static int transport_peers_valid(transport_peers *peers) {
1577     return peers->npeers;
1578 }
1579 static void transport_peers_clear(struct site *st, transport_peers *peers) {
1580     peers->npeers= 0;
1581     transport_peers_debug(st,peers,"clear",0,0,0);
1582 }
1583 static void transport_peers_copy(struct site *st, transport_peers *dst,
1584                                  const transport_peers *src) {
1585     dst->npeers=src->npeers;
1586     memcpy(dst->peers, src->peers, sizeof(*dst->peers) * dst->npeers);
1587     transport_peers_debug(st,dst,"copy",
1588                           src->npeers, &src->peers->addr, sizeof(src->peers));
1589 }
1590
1591 void transport_xmit(struct site *st, transport_peers *peers,
1592                     struct buffer_if *buf, bool_t candebug) {
1593     int slot;
1594     transport_peers_expire(st, peers);
1595     for (slot=0; slot<peers->npeers; slot++) {
1596         transport_peer *peer=&peers->peers[slot];
1597         if (candebug)
1598             dump_packet(st, buf, &peer->addr, False);
1599         peer->addr.comm->sendmsg(peer->addr.comm->st, buf, &peer->addr);
1600     }
1601 }
1602
1603 /***** END of transport peers declarations *****/