site.c

   1 /* site.c - manage communication with a remote network site */
   2
   3 /* The 'site' code doesn't know anything about the structure of the
   4    packets it's transmitting.  In fact, under the new netlink
   5    configuration scheme it doesn't need to know anything at all about
   6    IP addresses, except how to contact its peer.  This means it could
   7    potentially be used to tunnel other protocols too (IPv6, IPX, plain
   8    old Ethernet frames) if appropriate netlink code can be written
   9    (and that ought not to be too hard, eg. using the TUN/TAP device to
  10    pretend to be an Ethernet interface).  */
  11
  12 /* At some point in the future the netlink code will be asked for
  13    configuration information to go in the PING/PONG packets at the end
  14    of the key exchange. */
  15
  16 #include "secnet.h"
  17 #include <stdio.h>
  18 #include <string.h>
  19 #include <limits.h>
  20 #include <assert.h>
  21 #include <sys/socket.h>
  22
  23 #include <sys/mman.h>
  24 #include "util.h"
  25 #include "unaligned.h"
  26 #include "magic.h"
  27
  28 #define SETUP_BUFFER_LEN 2048
  29
  30 #define DEFAULT_KEY_LIFETIME                  (3600*1000) /* [ms] */
  31 #define DEFAULT_KEY_RENEGOTIATE_GAP           (5*60*1000) /* [ms] */
  32 #define DEFAULT_SETUP_RETRIES 5
  33 #define DEFAULT_SETUP_RETRY_INTERVAL             (2*1000) /* [ms] */
  34 #define DEFAULT_WAIT_TIME                       (20*1000) /* [ms] */
  35
  36 #define DEFAULT_MOBILE_KEY_LIFETIME      (2*24*3600*1000) /* [ms] */
  37 #define DEFAULT_MOBILE_KEY_RENEGOTIATE_GAP (12*3600*1000) /* [ms] */
  38 #define DEFAULT_MOBILE_SETUP_RETRIES 30
  39 #define DEFAULT_MOBILE_SETUP_RETRY_INTERVAL      (1*1000) /* [ms] */
  40 #define DEFAULT_MOBILE_WAIT_TIME                (10*1000) /* [ms] */
  41
  42 #define DEFAULT_MOBILE_PEER_EXPIRY            (2*60)      /* [s] */
  43 #define DEFAULT_MOBILE_PEERS_MAX 3 /* send at most this many copies (default) */
  44
  45 /* Each site can be in one of several possible states. */
  46
  47 /* States:
  48    SITE_STOP         - nothing is allowed to happen; tunnel is down;
  49                        all session keys have been erased
  50      -> SITE_RUN upon external instruction
  51    SITE_RUN          - site up, maybe with valid key
  52      -> SITE_RESOLVE upon outgoing packet and no valid key
  53          we start name resolution for the other end of the tunnel
  54      -> SITE_SENTMSG2 upon valid incoming message 1 and suitable time
  55          we send an appropriate message 2
  56    SITE_RESOLVE      - waiting for name resolution
  57      -> SITE_SENTMSG1 upon successful resolution
  58          we send an appropriate message 1
  59      -> SITE_SENTMSG2 upon valid incoming message 1 (then abort resolution)
  60          we abort resolution and
  61      -> SITE_WAIT on timeout or resolution failure
  62    SITE_SENTMSG1
  63      -> SITE_SENTMSG2 upon valid incoming message 1 from higher priority end
  64      -> SITE_SENTMSG3 upon valid incoming message 2
  65      -> SITE_WAIT on timeout
  66    SITE_SENTMSG2
  67      -> SITE_SENTMSG4 upon valid incoming message 3
  68      -> SITE_WAIT on timeout
  69    SITE_SENTMSG3
  70      -> SITE_SENTMSG5 upon valid incoming message 4
  71      -> SITE_WAIT on timeout
  72    SITE_SENTMSG4
  73      -> SITE_RUN upon valid incoming message 5
  74      -> SITE_WAIT on timeout
  75    SITE_SENTMSG5
  76      -> SITE_RUN upon valid incoming message 6
  77      -> SITE_WAIT on timeout
  78    SITE_WAIT         - failed to establish key; do nothing for a while
  79      -> SITE_RUN on timeout
  80    */
  81
  82 #define SITE_STOP     0
  83 #define SITE_RUN      1
  84 #define SITE_RESOLVE  2
  85 #define SITE_SENTMSG1 3
  86 #define SITE_SENTMSG2 4
  87 #define SITE_SENTMSG3 5
  88 #define SITE_SENTMSG4 6
  89 #define SITE_SENTMSG5 7
  90 #define SITE_WAIT     8
  91
  92 static cstring_t state_name(uint32_t state)
  93 {
  94     switch (state) {
  95     case 0: return "STOP";
  96     case 1: return "RUN";
  97     case 2: return "RESOLVE";
  98     case 3: return "SENTMSG1";
  99     case 4: return "SENTMSG2";
 100     case 5: return "SENTMSG3";
 101     case 6: return "SENTMSG4";
 102     case 7: return "SENTMSG5";
 103     case 8: return "WAIT";
 104     default: return "*bad state*";
 105     }
 106 }
 107
 108 #define NONCELEN 8
 109
 110 #define LOG_UNEXPECTED    0x00000001
 111 #define LOG_SETUP_INIT    0x00000002
 112 #define LOG_SETUP_TIMEOUT 0x00000004
 113 #define LOG_ACTIVATE_KEY  0x00000008
 114 #define LOG_TIMEOUT_KEY   0x00000010
 115 #define LOG_SEC           0x00000020
 116 #define LOG_STATE         0x00000040
 117 #define LOG_DROP          0x00000080
 118 #define LOG_DUMP          0x00000100
 119 #define LOG_ERROR         0x00000400
 120 #define LOG_PEER_ADDRS    0x00000800
 121
 122 static struct flagstr log_event_table[]={
 123     { "unexpected", LOG_UNEXPECTED },
 124     { "setup-init", LOG_SETUP_INIT },
 125     { "setup-timeout", LOG_SETUP_TIMEOUT },
 126     { "activate-key", LOG_ACTIVATE_KEY },
 127     { "timeout-key", LOG_TIMEOUT_KEY },
 128     { "security", LOG_SEC },
 129     { "state-change", LOG_STATE },
 130     { "packet-drop", LOG_DROP },
 131     { "dump-packets", LOG_DUMP },
 132     { "errors", LOG_ERROR },
 133     { "peer-addrs", LOG_PEER_ADDRS },
 134     { "default", LOG_SETUP_INIT|LOG_SETUP_TIMEOUT|
 135       LOG_ACTIVATE_KEY|LOG_TIMEOUT_KEY|LOG_SEC|LOG_ERROR },
 136     { "all", 0xffffffff },
 137     { NULL, 0 }
 138 };
 139
 140
 141 /***** TRANSPORT PEERS declarations *****/
 142
 143 /* Details of "mobile peer" semantics:
 144
 145    - We record mobile_peers_max peer address/port numbers ("peers")
 146      for key setup, and separately mobile_peers_max for data
 147      transfer.  If these lists fill up, we retain the newest peers.
 148      (For non-mobile peers we only record one of each.)
 149
 150    - Outgoing packets are sent to every recorded peer in the
 151      applicable list.
 152
 153    - Data transfer peers are straightforward: whenever we successfully
 154      process a data packet, we record the peer.  Also, whenever we
 155      successfully complete a key setup, we merge the key setup
 156      peers into the data transfer peers.
 157
 158      (For "non-mobile" peers we simply copy the peer used for
 159      successful key setup, and don't change the peer otherwise.)
 160
 161    - Key setup peers are slightly more complicated.
 162
 163      Whenever we receive and successfully process a key exchange
 164      packet, we record the peer.
 165
 166      Whenever we try to initiate a key setup, we copy the list of data
 167      transfer peers and use it for key setup.  But we also look to see
 168      if the config supplies an address and port number and if so we
 169      add that as a key setup peer (possibly evicting one of the data
 170      transfer peers we just copied).
 171
 172      (For "non-mobile" peers, if we if we have a configured peer
 173      address and port, we always use that; otherwise if we have a
 174      current data peer address we use that; otherwise we do not
 175      attempt to initiate a key setup for lack of a peer address.)
 176
 177    "Record the peer" means
 178     1. expire any peers last seen >120s ("mobile-peer-expiry") ago
 179     2. add the peer of the just received packet to the applicable list
 180        (possibly evicting older entries)
 181    NB that we do not expire peers until an incoming packet arrives.
 182
 183    */
 184
 185 #define MAX_MOBILE_PEERS_MAX 5 /* send at most this many copies, compiled max */
 186
 187 typedef struct {
 188     struct timeval last;
 189     struct comm_addr addr;
 190 } transport_peer;
 191
 192 typedef struct {
 193 /* configuration information */
 194 /* runtime information */
 195     int npeers;
 196     transport_peer peers[MAX_MOBILE_PEERS_MAX];
 197 } transport_peers;
 198
 199 static void transport_peers_clear(struct site *st, transport_peers *peers);
 200 static int transport_peers_valid(transport_peers *peers);
 201 static void transport_peers_copy(struct site *st, transport_peers *dst,
 202                                  const transport_peers *src);
 203
 204 static void transport_setup_msgok(struct site *st, const struct comm_addr *a);
 205 static void transport_data_msgok(struct site *st, const struct comm_addr *a);
 206 static bool_t transport_compute_setupinit_peers(struct site *st,
 207         const struct comm_addr *configured_addr /* 0 if none or not found */);
 208 static void transport_record_peer(struct site *st, transport_peers *peers,
 209                                   const struct comm_addr *addr, const char *m);
 210
 211 static void transport_xmit(struct site *st, transport_peers *peers,
 212                            struct buffer_if *buf, bool_t candebug);
 213
 214  /***** END of transport peers declarations *****/
 215
 216
 217 struct site {
 218     closure_t cl;
 219     struct site_if ops;
 220 /* configuration information */
 221     string_t localname;
 222     string_t remotename;
 223     bool_t peer_mobile; /* Mobile client support */
 224     int32_t transport_peers_max;
 225     string_t tunname; /* localname<->remotename by default, used in logs */
 226     string_t address; /* DNS name for bootstrapping, optional */
 227     int remoteport; /* Port for bootstrapping, optional */
 228     struct netlink_if *netlink;
 229     struct comm_if *comm;
 230     struct resolver_if *resolver;
 231     struct log_if *log;
 232     struct random_if *random;
 233     struct rsaprivkey_if *privkey;
 234     struct rsapubkey_if *pubkey;
 235     struct transform_if *transform;
 236     struct dh_if *dh;
 237     struct hash_if *hash;
 238
 239     uint32_t index; /* Index of this site */
 240     int32_t setup_retries; /* How many times to send setup packets */
 241     int32_t setup_retry_interval; /* Initial timeout for setup packets */
 242     int32_t wait_timeout; /* How long to wait if setup unsuccessful */
 243     int32_t mobile_peer_expiry; /* How long to remember 2ary addresses */
 244     int32_t key_lifetime; /* How long a key lasts once set up */
 245     int32_t key_renegotiate_time; /* If we see traffic (or a keepalive)
 246                                       after this time, initiate a new
 247                                       key exchange */
 248
 249     uint8_t *setupsig; /* Expected signature of incoming MSG1 packets */
 250     int32_t setupsiglen; /* Allows us to discard packets quickly if
 251                             they are not for us */
 252     bool_t setup_priority; /* Do we have precedence if both sites emit
 253                               message 1 simultaneously? */
 254     uint32_t log_events;
 255
 256 /* runtime information */
 257     uint32_t state;
 258     uint64_t now; /* Most recently seen time */
 259
 260     /* The currently established session */
 261     uint32_t remote_session_id;
 262     struct transform_inst_if *current_transform;
 263     bool_t current_valid;
 264     uint64_t current_key_timeout; /* End of life of current key */
 265     uint64_t renegotiate_key_time; /* When we can negotiate a new key */
 266     transport_peers peers; /* Current address(es) of peer for data traffic */
 267
 268     /* The current key setup protocol exchange.  We can only be
 269        involved in one of these at a time.  There's a potential for
 270        denial of service here (the attacker keeps sending a setup
 271        packet; we keep trying to continue the exchange, and have to
 272        timeout before we can listen for another setup packet); perhaps
 273        we should keep a list of 'bad' sources for setup packets. */
 274     uint32_t setup_session_id;
 275     transport_peers setup_peers;
 276     uint8_t localN[NONCELEN]; /* Nonces for key exchange */
 277     uint8_t remoteN[NONCELEN];
 278     struct buffer_if buffer; /* Current outgoing key exchange packet */
 279     int32_t retries; /* Number of retries remaining */
 280     uint64_t timeout; /* Timeout for current state */
 281     uint8_t *dhsecret;
 282     uint8_t *sharedsecret;
 283     struct transform_inst_if *new_transform; /* For key setup/verify */
 284 };
 285
 286 static void slog(struct site *st, uint32_t event, cstring_t msg, ...)
 287 {
 288     va_list ap;
 289     char buf[240];
 290     uint32_t class;
 291
 292     va_start(ap,msg);
 293
 294     if (event&st->log_events) {
 295         switch(event) {
 296         case LOG_UNEXPECTED: class=M_INFO; break;
 297         case LOG_SETUP_INIT: class=M_INFO; break;
 298         case LOG_SETUP_TIMEOUT: class=M_NOTICE; break;
 299         case LOG_ACTIVATE_KEY: class=M_INFO; break;
 300         case LOG_TIMEOUT_KEY: class=M_INFO; break;
 301         case LOG_SEC: class=M_SECURITY; break;
 302         case LOG_STATE: class=M_DEBUG; break;
 303         case LOG_DROP: class=M_DEBUG; break;
 304         case LOG_DUMP: class=M_DEBUG; break;
 305         case LOG_ERROR: class=M_ERR; break;
 306         case LOG_PEER_ADDRS: class=M_DEBUG; break;
 307         default: class=M_ERR; break;
 308         }
 309
 310         vsnprintf(buf,sizeof(buf),msg,ap);
 311         st->log->log(st->log->st,class,"%s: %s",st->tunname,buf);
 312     }
 313     va_end(ap);
 314 }
 315
 316 static void set_link_quality(struct site *st);
 317 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel);
 318 static bool_t initiate_key_setup(struct site *st, cstring_t reason);
 319 static void enter_state_run(struct site *st);
 320 static bool_t enter_state_resolve(struct site *st);
 321 static bool_t enter_new_state(struct site *st,uint32_t next);
 322 static void enter_state_wait(struct site *st);
 323
 324 #define CHECK_AVAIL(b,l) do { if ((b)->size<(l)) return False; } while(0)
 325 #define CHECK_EMPTY(b) do { if ((b)->size!=0) return False; } while(0)
 326 #define CHECK_TYPE(b,t) do { uint32_t type; \
 327     CHECK_AVAIL((b),4); \
 328     type=buf_unprepend_uint32((b)); \
 329     if (type!=(t)) return False; } while(0)
 330
 331 struct msg {
 332     uint8_t *hashstart;
 333     uint32_t dest;
 334     uint32_t source;
 335     int32_t remlen;
 336     uint8_t *remote;
 337     int32_t loclen;
 338     uint8_t *local;
 339     uint8_t *nR;
 340     uint8_t *nL;
 341     int32_t pklen;
 342     char *pk;
 343     int32_t hashlen;
 344     int32_t siglen;
 345     char *sig;
 346 };
 347
 348 /* Build any of msg1 to msg4. msg5 and msg6 are built from the inside
 349    out using a transform of config data supplied by netlink */
 350 static bool_t generate_msg(struct site *st, uint32_t type, cstring_t what)
 351 {
 352     void *hst;
 353     uint8_t *hash;
 354     string_t dhpub, sig;
 355
 356     st->retries=st->setup_retries;
 357     BUF_ALLOC(&st->buffer,what);
 358     buffer_init(&st->buffer,0);
 359     buf_append_uint32(&st->buffer,
 360         (type==LABEL_MSG1?0:st->setup_session_id));
 361     buf_append_uint32(&st->buffer,st->index);
 362     buf_append_uint32(&st->buffer,type);
 363     buf_append_string(&st->buffer,st->localname);
 364     buf_append_string(&st->buffer,st->remotename);
 365     memcpy(buf_append(&st->buffer,NONCELEN),st->localN,NONCELEN);
 366     if (type==LABEL_MSG1) return True;
 367     memcpy(buf_append(&st->buffer,NONCELEN),st->remoteN,NONCELEN);
 368     if (type==LABEL_MSG2) return True;
 369
 370     if (hacky_par_mid_failnow()) return False;
 371
 372     dhpub=st->dh->makepublic(st->dh->st,st->dhsecret,st->dh->len);
 373     buf_append_string(&st->buffer,dhpub);
 374     free(dhpub);
 375     hash=safe_malloc(st->hash->len, "generate_msg");
 376     hst=st->hash->init();
 377     st->hash->update(hst,st->buffer.start,st->buffer.size);
 378     st->hash->final(hst,hash);
 379     sig=st->privkey->sign(st->privkey->st,hash,st->hash->len);
 380     buf_append_string(&st->buffer,sig);
 381     free(sig);
 382     free(hash);
 383     return True;
 384 }
 385
 386 static bool_t unpick_msg(struct site *st, uint32_t type,
 387                          struct buffer_if *msg, struct msg *m)
 388 {
 389     m->hashstart=msg->start;
 390     CHECK_AVAIL(msg,4);
 391     m->dest=buf_unprepend_uint32(msg);
 392     CHECK_AVAIL(msg,4);
 393     m->source=buf_unprepend_uint32(msg);
 394     CHECK_TYPE(msg,type);
 395     CHECK_AVAIL(msg,2);
 396     m->remlen=buf_unprepend_uint16(msg);
 397     CHECK_AVAIL(msg,m->remlen);
 398     m->remote=buf_unprepend(msg,m->remlen);
 399     CHECK_AVAIL(msg,2);
 400     m->loclen=buf_unprepend_uint16(msg);
 401     CHECK_AVAIL(msg,m->loclen);
 402     m->local=buf_unprepend(msg,m->loclen);
 403     CHECK_AVAIL(msg,NONCELEN);
 404     m->nR=buf_unprepend(msg,NONCELEN);
 405     if (type==LABEL_MSG1) {
 406         CHECK_EMPTY(msg);
 407         return True;
 408     }
 409     CHECK_AVAIL(msg,NONCELEN);
 410     m->nL=buf_unprepend(msg,NONCELEN);
 411     if (type==LABEL_MSG2) {
 412         CHECK_EMPTY(msg);
 413         return True;
 414     }
 415     CHECK_AVAIL(msg,2);
 416     m->pklen=buf_unprepend_uint16(msg);
 417     CHECK_AVAIL(msg,m->pklen);
 418     m->pk=buf_unprepend(msg,m->pklen);
 419     m->hashlen=msg->start-m->hashstart;
 420     CHECK_AVAIL(msg,2);
 421     m->siglen=buf_unprepend_uint16(msg);
 422     CHECK_AVAIL(msg,m->siglen);
 423     m->sig=buf_unprepend(msg,m->siglen);
 424     CHECK_EMPTY(msg);
 425     return True;
 426 }
 427
 428 static bool_t check_msg(struct site *st, uint32_t type, struct msg *m,
 429                         cstring_t *error)
 430 {
 431     if (type==LABEL_MSG1) return True;
 432
 433     /* Check that the site names and our nonce have been sent
 434        back correctly, and then store our peer's nonce. */
 435     if (memcmp(m->remote,st->remotename,strlen(st->remotename)!=0)) {
 436         *error="wrong remote site name";
 437         return False;
 438     }
 439     if (memcmp(m->local,st->localname,strlen(st->localname)!=0)) {
 440         *error="wrong local site name";
 441         return False;
 442     }
 443     if (memcmp(m->nL,st->localN,NONCELEN)!=0) {
 444         *error="wrong locally-generated nonce";
 445         return False;
 446     }
 447     if (type==LABEL_MSG2) return True;
 448     if (memcmp(m->nR,st->remoteN,NONCELEN)!=0) {
 449         *error="wrong remotely-generated nonce";
 450         return False;
 451     }
 452     if (type==LABEL_MSG3) return True;
 453     if (type==LABEL_MSG4) return True;
 454     *error="unknown message type";
 455     return False;
 456 }
 457
 458 static bool_t generate_msg1(struct site *st)
 459 {
 460     st->random->generate(st->random->st,NONCELEN,st->localN);
 461     return generate_msg(st,LABEL_MSG1,"site:MSG1");
 462 }
 463
 464 static bool_t process_msg1(struct site *st, struct buffer_if *msg1,
 465                            const struct comm_addr *src)
 466 {
 467     struct msg m;
 468
 469     /* We've already determined we're in an appropriate state to
 470        process an incoming MSG1, and that the MSG1 has correct values
 471        of A and B. */
 472
 473     if (!unpick_msg(st,LABEL_MSG1,msg1,&m)) return False;
 474
 475     transport_record_peer(st,&st->setup_peers,src,"msg1");
 476     st->setup_session_id=m.source;
 477     memcpy(st->remoteN,m.nR,NONCELEN);
 478     return True;
 479 }
 480
 481 static bool_t generate_msg2(struct site *st)
 482 {
 483     st->random->generate(st->random->st,NONCELEN,st->localN);
 484     return generate_msg(st,LABEL_MSG2,"site:MSG2");
 485 }
 486
 487 static bool_t process_msg2(struct site *st, struct buffer_if *msg2,
 488                            const struct comm_addr *src)
 489 {
 490     struct msg m;
 491     cstring_t err;
 492
 493     if (!unpick_msg(st,LABEL_MSG2,msg2,&m)) return False;
 494     if (!check_msg(st,LABEL_MSG2,&m,&err)) {
 495         slog(st,LOG_SEC,"msg2: %s",err);
 496         return False;
 497     }
 498     st->setup_session_id=m.source;
 499     memcpy(st->remoteN,m.nR,NONCELEN);
 500     return True;
 501 }
 502
 503 static bool_t generate_msg3(struct site *st)
 504 {
 505     /* Now we have our nonce and their nonce. Think of a secret key,
 506        and create message number 3. */
 507     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
 508     return generate_msg(st,LABEL_MSG3,"site:MSG3");
 509 }
 510
 511 static bool_t process_msg3(struct site *st, struct buffer_if *msg3,
 512                            const struct comm_addr *src)
 513 {
 514     struct msg m;
 515     uint8_t *hash;
 516     void *hst;
 517     cstring_t err;
 518
 519     if (!unpick_msg(st,LABEL_MSG3,msg3,&m)) return False;
 520     if (!check_msg(st,LABEL_MSG3,&m,&err)) {
 521         slog(st,LOG_SEC,"msg3: %s",err);
 522         return False;
 523     }
 524
 525     /* Check signature and store g^x mod m */
 526     hash=safe_malloc(st->hash->len, "process_msg3");
 527     hst=st->hash->init();
 528     st->hash->update(hst,m.hashstart,m.hashlen);
 529     st->hash->final(hst,hash);
 530     /* Terminate signature with a '0' - cheating, but should be ok */
 531     m.sig[m.siglen]=0;
 532     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
 533         slog(st,LOG_SEC,"msg3 signature failed check!");
 534         free(hash);
 535         return False;
 536     }
 537     free(hash);
 538
 539     /* Terminate their DH public key with a '0' */
 540     m.pk[m.pklen]=0;
 541     /* Invent our DH secret key */
 542     st->random->generate(st->random->st,st->dh->len,st->dhsecret);
 543
 544     /* Generate the shared key */
 545     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
 546                        st->sharedsecret,st->transform->keylen);
 547
 548     /* Set up the transform */
 549     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
 550                               st->transform->keylen);
 551
 552     return True;
 553 }
 554
 555 static bool_t generate_msg4(struct site *st)
 556 {
 557     /* We have both nonces, their public key and our private key. Generate
 558        our public key, sign it and send it to them. */
 559     return generate_msg(st,LABEL_MSG4,"site:MSG4");
 560 }
 561
 562 static bool_t process_msg4(struct site *st, struct buffer_if *msg4,
 563                            const struct comm_addr *src)
 564 {
 565     struct msg m;
 566     uint8_t *hash;
 567     void *hst;
 568     cstring_t err;
 569
 570     if (!unpick_msg(st,LABEL_MSG4,msg4,&m)) return False;
 571     if (!check_msg(st,LABEL_MSG4,&m,&err)) {
 572         slog(st,LOG_SEC,"msg4: %s",err);
 573         return False;
 574     }
 575
 576     /* Check signature and store g^x mod m */
 577     hash=safe_malloc(st->hash->len, "process_msg4");
 578     hst=st->hash->init();
 579     st->hash->update(hst,m.hashstart,m.hashlen);
 580     st->hash->final(hst,hash);
 581     /* Terminate signature with a '0' - cheating, but should be ok */
 582     m.sig[m.siglen]=0;
 583     if (!st->pubkey->check(st->pubkey->st,hash,st->hash->len,m.sig)) {
 584         slog(st,LOG_SEC,"msg4 signature failed check!");
 585         free(hash);
 586         return False;
 587     }
 588     free(hash);
 589
 590     /* Terminate their DH public key with a '0' */
 591     m.pk[m.pklen]=0;
 592     /* Generate the shared key */
 593     st->dh->makeshared(st->dh->st,st->dhsecret,st->dh->len,m.pk,
 594                        st->sharedsecret,st->transform->keylen);
 595     /* Set up the transform */
 596     st->new_transform->setkey(st->new_transform->st,st->sharedsecret,
 597                               st->transform->keylen);
 598
 599     return True;
 600 }
 601
 602 struct msg0 {
 603     uint32_t dest;
 604     uint32_t source;
 605     uint32_t type;
 606 };
 607
 608 static bool_t unpick_msg0(struct site *st, struct buffer_if *msg0,
 609                           struct msg0 *m)
 610 {
 611     CHECK_AVAIL(msg0,4);
 612     m->dest=buf_unprepend_uint32(msg0);
 613     CHECK_AVAIL(msg0,4);
 614     m->source=buf_unprepend_uint32(msg0);
 615     CHECK_AVAIL(msg0,4);
 616     m->type=buf_unprepend_uint32(msg0);
 617     return True;
 618     /* Leaves transformed part of buffer untouched */
 619 }
 620
 621 static bool_t generate_msg5(struct site *st)
 622 {
 623     cstring_t transform_err;
 624
 625     BUF_ALLOC(&st->buffer,"site:MSG5");
 626     /* We are going to add four words to the message */
 627     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
 628     /* Give the netlink code an opportunity to put its own stuff in the
 629        message (configuration information, etc.) */
 630     st->netlink->output_config(st->netlink->st,&st->buffer);
 631     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
 632     st->new_transform->forwards(st->new_transform->st,&st->buffer,
 633                                 &transform_err);
 634     buf_prepend_uint32(&st->buffer,LABEL_MSG5);
 635     buf_prepend_uint32(&st->buffer,st->index);
 636     buf_prepend_uint32(&st->buffer,st->setup_session_id);
 637
 638     st->retries=st->setup_retries;
 639     return True;
 640 }
 641
 642 static bool_t process_msg5(struct site *st, struct buffer_if *msg5,
 643                            const struct comm_addr *src)
 644 {
 645     struct msg0 m;
 646     cstring_t transform_err;
 647
 648     if (!unpick_msg0(st,msg5,&m)) return False;
 649
 650     if (st->new_transform->reverse(st->new_transform->st,
 651                                    msg5,&transform_err)) {
 652         /* There's a problem */
 653         slog(st,LOG_SEC,"process_msg5: transform: %s",transform_err);
 654         return False;
 655     }
 656     /* Buffer should now contain untransformed PING packet data */
 657     CHECK_AVAIL(msg5,4);
 658     if (buf_unprepend_uint32(msg5)!=LABEL_MSG5) {
 659         slog(st,LOG_SEC,"MSG5/PING packet contained wrong label");
 660         return False;
 661     }
 662     if (!st->netlink->check_config(st->netlink->st,msg5)) {
 663         slog(st,LOG_SEC,"MSG5/PING packet contained bad netlink config");
 664         return False;
 665     }
 666     CHECK_EMPTY(msg5);
 667     return True;
 668 }
 669
 670 static bool_t generate_msg6(struct site *st)
 671 {
 672     cstring_t transform_err;
 673
 674     BUF_ALLOC(&st->buffer,"site:MSG6");
 675     /* We are going to add four words to the message */
 676     buffer_init(&st->buffer,st->transform->max_start_pad+(4*4));
 677     /* Give the netlink code an opportunity to put its own stuff in the
 678        message (configuration information, etc.) */
 679     st->netlink->output_config(st->netlink->st,&st->buffer);
 680     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
 681     st->new_transform->forwards(st->new_transform->st,&st->buffer,
 682                                 &transform_err);
 683     buf_prepend_uint32(&st->buffer,LABEL_MSG6);
 684     buf_prepend_uint32(&st->buffer,st->index);
 685     buf_prepend_uint32(&st->buffer,st->setup_session_id);
 686
 687     st->retries=1; /* Peer will retransmit MSG5 if this packet gets lost */
 688     return True;
 689 }
 690
 691 static bool_t process_msg6(struct site *st, struct buffer_if *msg6,
 692                            const struct comm_addr *src)
 693 {
 694     struct msg0 m;
 695     cstring_t transform_err;
 696
 697     if (!unpick_msg0(st,msg6,&m)) return False;
 698
 699     if (st->new_transform->reverse(st->new_transform->st,
 700                                    msg6,&transform_err)) {
 701         /* There's a problem */
 702         slog(st,LOG_SEC,"process_msg6: transform: %s",transform_err);
 703         return False;
 704     }
 705     /* Buffer should now contain untransformed PING packet data */
 706     CHECK_AVAIL(msg6,4);
 707     if (buf_unprepend_uint32(msg6)!=LABEL_MSG6) {
 708         slog(st,LOG_SEC,"MSG6/PONG packet contained invalid data");
 709         return False;
 710     }
 711     if (!st->netlink->check_config(st->netlink->st,msg6)) {
 712         slog(st,LOG_SEC,"MSG6/PONG packet contained bad netlink config");
 713         return False;
 714     }
 715     CHECK_EMPTY(msg6);
 716     return True;
 717 }
 718
 719 static bool_t process_msg0(struct site *st, struct buffer_if *msg0,
 720                            const struct comm_addr *src)
 721 {
 722     struct msg0 m;
 723     cstring_t transform_err;
 724     uint32_t type;
 725
 726     if (!st->current_valid) {
 727         slog(st,LOG_DROP,"incoming message but no current key -> dropping");
 728         return initiate_key_setup(st,"incoming message but no current key");
 729     }
 730
 731     if (!unpick_msg0(st,msg0,&m)) return False;
 732
 733     if (st->current_transform->reverse(st->current_transform->st,
 734                                        msg0,&transform_err)) {
 735         /* There's a problem */
 736         slog(st,LOG_SEC,"transform: %s",transform_err);
 737         return initiate_key_setup(st,"incoming message would not decrypt");
 738     }
 739     CHECK_AVAIL(msg0,4);
 740     type=buf_unprepend_uint32(msg0);
 741     switch(type) {
 742     case LABEL_MSG7:
 743         /* We must forget about the current session. */
 744         delete_key(st,"request from peer",LOG_SEC);
 745         return True;
 746     case LABEL_MSG9:
 747         /* Deliver to netlink layer */
 748         st->netlink->deliver(st->netlink->st,msg0);
 749         transport_data_msgok(st,src);
 750         /* See whether we should start negotiating a new key */
 751         if (st->now > st->renegotiate_key_time)
 752             initiate_key_setup(st,"incoming packet in renegotiation window");
 753         return True;
 754     default:
 755         slog(st,LOG_SEC,"incoming encrypted message of type %08x "
 756              "(unknown)",type);
 757         break;
 758     }
 759     return False;
 760 }
 761
 762 static void dump_packet(struct site *st, struct buffer_if *buf,
 763                         const struct comm_addr *addr, bool_t incoming)
 764 {
 765     uint32_t dest=ntohl(*(uint32_t *)buf->start);
 766     uint32_t source=ntohl(*(uint32_t *)(buf->start+4));
 767     uint32_t msgtype=ntohl(*(uint32_t *)(buf->start+8));
 768
 769     if (st->log_events & LOG_DUMP)
 770         slilog(st->log,M_DEBUG,"%s: %s: %08x<-%08x: %08x:",
 771                st->tunname,incoming?"incoming":"outgoing",
 772                dest,source,msgtype);
 773 }
 774
 775 static uint32_t site_status(void *st)
 776 {
 777     return 0;
 778 }
 779
 780 static bool_t send_msg(struct site *st)
 781 {
 782     if (st->retries>0) {
 783         transport_xmit(st, &st->setup_peers, &st->buffer, True);
 784         st->timeout=st->now+st->setup_retry_interval;
 785         st->retries--;
 786         return True;
 787     } else {
 788         slog(st,LOG_SETUP_TIMEOUT,"timed out sending key setup packet "
 789             "(in state %s)",state_name(st->state));
 790         enter_state_wait(st);
 791         return False;
 792     }
 793 }
 794
 795 static void site_resolve_callback(void *sst, struct in_addr *address)
 796 {
 797     struct site *st=sst;
 798     struct comm_addr ca_buf, *ca_use;
 799
 800     if (st->state!=SITE_RESOLVE) {
 801         slog(st,LOG_UNEXPECTED,"site_resolve_callback called unexpectedly");
 802         return;
 803     }
 804     if (address) {
 805         FILLZERO(ca_buf);
 806         ca_buf.comm=st->comm;
 807         ca_buf.sin.sin_family=AF_INET;
 808         ca_buf.sin.sin_port=htons(st->remoteport);
 809         ca_buf.sin.sin_addr=*address;
 810         ca_use=&ca_buf;
 811     } else {
 812         slog(st,LOG_ERROR,"resolution of %s failed",st->address);
 813         ca_use=0;
 814     }
 815     if (transport_compute_setupinit_peers(st,ca_use)) {
 816         enter_new_state(st,SITE_SENTMSG1);
 817     } else {
 818         /* Can't figure out who to try to to talk to */
 819         slog(st,LOG_SETUP_INIT,"key exchange failed: cannot find peer address");
 820         enter_state_run(st);
 821     }
 822 }
 823
 824 static bool_t initiate_key_setup(struct site *st, cstring_t reason)
 825 {
 826     if (st->state!=SITE_RUN) return False;
 827     slog(st,LOG_SETUP_INIT,"initiating key exchange (%s)",reason);
 828     if (st->address) {
 829         slog(st,LOG_SETUP_INIT,"resolving peer address");
 830         return enter_state_resolve(st);
 831     } else if (transport_compute_setupinit_peers(st,0)) {
 832         return enter_new_state(st,SITE_SENTMSG1);
 833     }
 834     slog(st,LOG_SETUP_INIT,"key exchange failed: no address for peer");
 835     return False;
 836 }
 837
 838 static void activate_new_key(struct site *st)
 839 {
 840     struct transform_inst_if *t;
 841
 842     /* We have two transform instances, which we swap between active
 843        and setup */
 844     t=st->current_transform;
 845     st->current_transform=st->new_transform;
 846     st->new_transform=t;
 847
 848     t->delkey(t->st);
 849     st->timeout=0;
 850     st->current_valid=True;
 851     st->current_key_timeout=st->now+st->key_lifetime;
 852     st->renegotiate_key_time=st->now+st->key_renegotiate_time;
 853     transport_peers_copy(st,&st->peers,&st->setup_peers);
 854     st->remote_session_id=st->setup_session_id;
 855
 856     slog(st,LOG_ACTIVATE_KEY,"new key activated");
 857     enter_state_run(st);
 858 }
 859
 860 static void delete_key(struct site *st, cstring_t reason, uint32_t loglevel)
 861 {
 862     if (st->current_valid) {
 863         slog(st,loglevel,"session closed (%s)",reason);
 864
 865         st->current_valid=False;
 866         st->current_transform->delkey(st->current_transform->st);
 867         st->current_key_timeout=0;
 868         set_link_quality(st);
 869     }
 870 }
 871
 872 static void state_assert(struct site *st, bool_t ok)
 873 {
 874     if (!ok) fatal("site:state_assert");
 875 }
 876
 877 static void enter_state_stop(struct site *st)
 878 {
 879     st->state=SITE_STOP;
 880     st->timeout=0;
 881     delete_key(st,"entering state STOP",LOG_TIMEOUT_KEY);
 882     st->new_transform->delkey(st->new_transform->st);
 883 }
 884
 885 static void set_link_quality(struct site *st)
 886 {
 887     uint32_t quality;
 888     if (st->current_valid)
 889         quality=LINK_QUALITY_UP;
 890     else if (st->state==SITE_WAIT || st->state==SITE_STOP)
 891         quality=LINK_QUALITY_DOWN;
 892     else if (st->address)
 893         quality=LINK_QUALITY_DOWN_CURRENT_ADDRESS;
 894     else if (transport_peers_valid(&st->peers))
 895         quality=LINK_QUALITY_DOWN_STALE_ADDRESS;
 896     else
 897         quality=LINK_QUALITY_DOWN;
 898
 899     st->netlink->set_quality(st->netlink->st,quality);
 900 }
 901
 902 static void enter_state_run(struct site *st)
 903 {
 904     slog(st,LOG_STATE,"entering state RUN");
 905     st->state=SITE_RUN;
 906     st->timeout=0;
 907
 908     st->setup_session_id=0;
 909     transport_peers_clear(st,&st->setup_peers);
 910     memset(st->localN,0,NONCELEN);
 911     memset(st->remoteN,0,NONCELEN);
 912     st->new_transform->delkey(st->new_transform->st);
 913     memset(st->dhsecret,0,st->dh->len);
 914     memset(st->sharedsecret,0,st->transform->keylen);
 915     set_link_quality(st);
 916 }
 917
 918 static bool_t enter_state_resolve(struct site *st)
 919 {
 920     state_assert(st,st->state==SITE_RUN);
 921     slog(st,LOG_STATE,"entering state RESOLVE");
 922     st->state=SITE_RESOLVE;
 923     st->resolver->request(st->resolver->st,st->address,
 924                           site_resolve_callback,st);
 925     return True;
 926 }
 927
 928 static bool_t enter_new_state(struct site *st, uint32_t next)
 929 {
 930     bool_t (*gen)(struct site *st);
 931     int r;
 932
 933     slog(st,LOG_STATE,"entering state %s",state_name(next));
 934     switch(next) {
 935     case SITE_SENTMSG1:
 936         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE);
 937         gen=generate_msg1;
 938         break;
 939     case SITE_SENTMSG2:
 940         state_assert(st,st->state==SITE_RUN || st->state==SITE_RESOLVE ||
 941                      st->state==SITE_SENTMSG1 || st->state==SITE_WAIT);
 942         gen=generate_msg2;
 943         break;
 944     case SITE_SENTMSG3:
 945         state_assert(st,st->state==SITE_SENTMSG1);
 946         BUF_FREE(&st->buffer);
 947         gen=generate_msg3;
 948         break;
 949     case SITE_SENTMSG4:
 950         state_assert(st,st->state==SITE_SENTMSG2);
 951         BUF_FREE(&st->buffer);
 952         gen=generate_msg4;
 953         break;
 954     case SITE_SENTMSG5:
 955         state_assert(st,st->state==SITE_SENTMSG3);
 956         BUF_FREE(&st->buffer);
 957         gen=generate_msg5;
 958         break;
 959     case SITE_RUN:
 960         state_assert(st,st->state==SITE_SENTMSG4);
 961         BUF_FREE(&st->buffer);
 962         gen=generate_msg6;
 963         break;
 964     default:
 965         gen=NULL;
 966         fatal("enter_new_state(%s): invalid new state",state_name(next));
 967         break;
 968     }
 969
 970     if (hacky_par_start_failnow()) return False;
 971
 972     r= gen(st) && send_msg(st);
 973
 974     hacky_par_end(&r,
 975                   st->setup_retries, st->setup_retry_interval,
 976                   send_msg, st);
 977
 978     if (r) {
 979         st->state=next;
 980         if (next==SITE_RUN) {
 981             BUF_FREE(&st->buffer); /* Never reused */
 982             st->timeout=0; /* Never retransmit */
 983             activate_new_key(st);
 984         }
 985         return True;
 986     }
 987     slog(st,LOG_ERROR,"error entering state %s",state_name(next));
 988     st->buffer.free=False; /* Unconditionally use the buffer; it may be
 989                               in either state, and enter_state_wait() will
 990                               do a BUF_FREE() */
 991     enter_state_wait(st);
 992     return False;
 993 }
 994
 995 /* msg7 tells our peer that we're about to forget our key */
 996 static bool_t send_msg7(struct site *st, cstring_t reason)
 997 {
 998     cstring_t transform_err;
 999
1000     if (st->current_valid && st->buffer.free
1001         && transport_peers_valid(&st->peers)) {
1002         BUF_ALLOC(&st->buffer,"site:MSG7");
1003         buffer_init(&st->buffer,st->transform->max_start_pad+(4*3));
1004         buf_append_uint32(&st->buffer,LABEL_MSG7);
1005         buf_append_string(&st->buffer,reason);
1006         st->current_transform->forwards(st->current_transform->st,
1007                                         &st->buffer, &transform_err);
1008         buf_prepend_uint32(&st->buffer,LABEL_MSG0);
1009         buf_prepend_uint32(&st->buffer,st->index);
1010         buf_prepend_uint32(&st->buffer,st->remote_session_id);
1011         transport_xmit(st,&st->peers,&st->buffer,True);
1012         BUF_FREE(&st->buffer);
1013         return True;
1014     }
1015     return False;
1016 }
1017
1018 /* We go into this state if our peer becomes uncommunicative. Similar to
1019    the "stop" state, we forget all session keys for a while, before
1020    re-entering the "run" state. */
1021 static void enter_state_wait(struct site *st)
1022 {
1023     slog(st,LOG_STATE,"entering state WAIT");
1024     st->timeout=st->now+st->wait_timeout;
1025     st->state=SITE_WAIT;
1026     set_link_quality(st);
1027     BUF_FREE(&st->buffer); /* will have had an outgoing packet in it */
1028     /* XXX Erase keys etc. */
1029 }
1030
1031 static inline void site_settimeout(uint64_t timeout, int *timeout_io)
1032 {
1033     if (timeout) {
1034         int64_t offset=timeout-*now;
1035         if (offset<0) offset=0;
1036         if (offset>INT_MAX) offset=INT_MAX;
1037         if (*timeout_io<0 || offset<*timeout_io)
1038             *timeout_io=offset;
1039     }
1040 }
1041
1042 static int site_beforepoll(void *sst, struct pollfd *fds, int *nfds_io,
1043                            int *timeout_io)
1044 {
1045     struct site *st=sst;
1046
1047     *nfds_io=0; /* We don't use any file descriptors */
1048     st->now=*now;
1049
1050     /* Work out when our next timeout is. The earlier of 'timeout' or
1051        'current_key_timeout'. A stored value of '0' indicates no timeout
1052        active. */
1053     site_settimeout(st->timeout, timeout_io);
1054     site_settimeout(st->current_key_timeout, timeout_io);
1055
1056     return 0; /* success */
1057 }
1058
1059 /* NB site_afterpoll will be called before site_beforepoll is ever called */
1060 static void site_afterpoll(void *sst, struct pollfd *fds, int nfds)
1061 {
1062     struct site *st=sst;
1063
1064     st->now=*now;
1065     if (st->timeout && *now>st->timeout) {
1066         st->timeout=0;
1067         if (st->state>=SITE_SENTMSG1 && st->state<=SITE_SENTMSG5) {
1068             if (!hacky_par_start_failnow())
1069                 send_msg(st);
1070         } else if (st->state==SITE_WAIT) {
1071             enter_state_run(st);
1072         } else {
1073             slog(st,LOG_ERROR,"site_afterpoll: unexpected timeout, state=%d",
1074                  st->state);
1075         }
1076     }
1077     if (st->current_key_timeout && *now>st->current_key_timeout) {
1078         delete_key(st,"maximum key life exceeded",LOG_TIMEOUT_KEY);
1079     }
1080 }
1081
1082 /* This function is called by the netlink device to deliver packets
1083    intended for the remote network. The packet is in "raw" wire
1084    format, but is guaranteed to be word-aligned. */
1085 static void site_outgoing(void *sst, struct buffer_if *buf)
1086 {
1087     struct site *st=sst;
1088     cstring_t transform_err;
1089
1090     if (st->state==SITE_STOP) {
1091         BUF_FREE(buf);
1092         return;
1093     }
1094
1095     /* In all other states we consider delivering the packet if we have
1096        a valid key and a valid address to send it to. */
1097     if (st->current_valid && transport_peers_valid(&st->peers)) {
1098         /* Transform it and send it */
1099         if (buf->size>0) {
1100             buf_prepend_uint32(buf,LABEL_MSG9);
1101             st->current_transform->forwards(st->current_transform->st,
1102                                             buf, &transform_err);
1103             buf_prepend_uint32(buf,LABEL_MSG0);
1104             buf_prepend_uint32(buf,st->index);
1105             buf_prepend_uint32(buf,st->remote_session_id);
1106             transport_xmit(st,&st->peers,buf,False);
1107         }
1108         BUF_FREE(buf);
1109         return;
1110     }
1111
1112     slog(st,LOG_DROP,"discarding outgoing packet of size %d",buf->size);
1113     BUF_FREE(buf);
1114     initiate_key_setup(st,"outgoing packet");
1115 }
1116
1117 /* This function is called by the communication device to deliver
1118    packets from our peers. */
1119 static bool_t site_incoming(void *sst, struct buffer_if *buf,
1120                             const struct comm_addr *source)
1121 {
1122     struct site *st=sst;
1123     uint32_t dest=ntohl(*(uint32_t *)buf->start);
1124
1125     if (dest==0) {
1126         /* It could be for any site - it should have LABEL_MSG1 and
1127            might have our name and our peer's name in it */
1128         if (buf->size<(st->setupsiglen+8+NONCELEN)) return False;
1129         if (memcmp(buf->start+8,st->setupsig,st->setupsiglen)==0) {
1130             /* It's addressed to us. Decide what to do about it. */
1131             dump_packet(st,buf,source,True);
1132             if (st->state==SITE_RUN || st->state==SITE_RESOLVE ||
1133                 st->state==SITE_WAIT) {
1134                 /* We should definitely process it */
1135                 if (process_msg1(st,buf,source)) {
1136                     slog(st,LOG_SETUP_INIT,"key setup initiated by peer");
1137                     enter_new_state(st,SITE_SENTMSG2);
1138                 } else {
1139                     slog(st,LOG_ERROR,"failed to process incoming msg1");
1140                 }
1141                 BUF_FREE(buf);
1142                 return True;
1143             } else if (st->state==SITE_SENTMSG1) {
1144                 /* We've just sent a message 1! They may have crossed on
1145                    the wire. If we have priority then we ignore the
1146                    incoming one, otherwise we process it as usual. */
1147                 if (st->setup_priority) {
1148                     BUF_FREE(buf);
1149                     slog(st,LOG_DUMP,"crossed msg1s; we are higher "
1150                          "priority => ignore incoming msg1");
1151                     return True;
1152                 } else {
1153                     slog(st,LOG_DUMP,"crossed msg1s; we are lower "
1154                          "priority => use incoming msg1");
1155                     if (process_msg1(st,buf,source)) {
1156                         BUF_FREE(&st->buffer); /* Free our old message 1 */
1157                         enter_new_state(st,SITE_SENTMSG2);
1158                     } else {
1159                         slog(st,LOG_ERROR,"failed to process an incoming "
1160                              "crossed msg1 (we have low priority)");
1161                     }
1162                     BUF_FREE(buf);
1163                     return True;
1164                 }
1165             }
1166             /* The message 1 was received at an unexpected stage of the
1167                key setup. XXX POLICY - what do we do? */
1168             slog(st,LOG_UNEXPECTED,"unexpected incoming message 1");
1169             BUF_FREE(buf);
1170             return True;
1171         }
1172         return False; /* Not for us. */
1173     }
1174     if (dest==st->index) {
1175         /* Explicitly addressed to us */
1176         uint32_t msgtype=ntohl(get_uint32(buf->start+8));
1177         if (msgtype!=LABEL_MSG0) dump_packet(st,buf,source,True);
1178         switch (msgtype) {
1179         case 0: /* NAK */
1180             /* If the source is our current peer then initiate a key setup,
1181                because our peer's forgotten the key */
1182             if (get_uint32(buf->start+4)==st->remote_session_id) {
1183                 initiate_key_setup(st,"received a NAK");
1184             } else {
1185                 slog(st,LOG_SEC,"bad incoming NAK");
1186             }
1187             break;
1188         case LABEL_MSG0:
1189             process_msg0(st,buf,source);
1190             break;
1191         case LABEL_MSG1:
1192             /* Setup packet: should not have been explicitly addressed
1193                to us */
1194             slog(st,LOG_SEC,"incoming explicitly addressed msg1");
1195             break;
1196         case LABEL_MSG2:
1197             /* Setup packet: expected only in state SENTMSG1 */
1198             if (st->state!=SITE_SENTMSG1) {
1199                 slog(st,LOG_UNEXPECTED,"unexpected MSG2");
1200             } else if (process_msg2(st,buf,source)) {
1201                 transport_setup_msgok(st,source);
1202                 enter_new_state(st,SITE_SENTMSG3);
1203             } else {
1204                 slog(st,LOG_SEC,"invalid MSG2");
1205             }
1206             break;
1207         case LABEL_MSG3:
1208             /* Setup packet: expected only in state SENTMSG2 */
1209             if (st->state!=SITE_SENTMSG2) {
1210                 slog(st,LOG_UNEXPECTED,"unexpected MSG3");
1211             } else if (process_msg3(st,buf,source)) {
1212                 transport_setup_msgok(st,source);
1213                 enter_new_state(st,SITE_SENTMSG4);
1214             } else {
1215                 slog(st,LOG_SEC,"invalid MSG3");
1216             }
1217             break;
1218         case LABEL_MSG4:
1219             /* Setup packet: expected only in state SENTMSG3 */
1220             if (st->state!=SITE_SENTMSG3) {
1221                 slog(st,LOG_UNEXPECTED,"unexpected MSG4");
1222             } else if (process_msg4(st,buf,source)) {
1223                 transport_setup_msgok(st,source);
1224                 enter_new_state(st,SITE_SENTMSG5);
1225             } else {
1226                 slog(st,LOG_SEC,"invalid MSG4");
1227             }
1228             break;
1229         case LABEL_MSG5:
1230             /* Setup packet: expected only in state SENTMSG4 */
1231             /* (may turn up in state RUN if our return MSG6 was lost
1232                and the new key has already been activated. In that
1233                case we should treat it as an ordinary PING packet. We
1234                can't pass it to process_msg5() because the
1235                new_transform will now be unkeyed. XXX) */
1236             if (st->state!=SITE_SENTMSG4) {
1237                 slog(st,LOG_UNEXPECTED,"unexpected MSG5");
1238             } else if (process_msg5(st,buf,source)) {
1239                 transport_setup_msgok(st,source);
1240                 enter_new_state(st,SITE_RUN);
1241             } else {
1242                 slog(st,LOG_SEC,"invalid MSG5");
1243             }
1244             break;
1245         case LABEL_MSG6:
1246             /* Setup packet: expected only in state SENTMSG5 */
1247             if (st->state!=SITE_SENTMSG5) {
1248                 slog(st,LOG_UNEXPECTED,"unexpected MSG6");
1249             } else if (process_msg6(st,buf,source)) {
1250                 BUF_FREE(&st->buffer); /* Free message 5 */
1251                 transport_setup_msgok(st,source);
1252                 activate_new_key(st);
1253             } else {
1254                 slog(st,LOG_SEC,"invalid MSG6");
1255             }
1256             break;
1257         default:
1258             slog(st,LOG_SEC,"received message of unknown type 0x%08x",
1259                  msgtype);
1260             break;
1261         }
1262         BUF_FREE(buf);
1263         return True;
1264     }
1265
1266     return False;
1267 }
1268
1269 static void site_control(void *vst, bool_t run)
1270 {
1271     struct site *st=vst;
1272     if (run) enter_state_run(st);
1273     else enter_state_stop(st);
1274 }
1275
1276 static void site_phase_hook(void *sst, uint32_t newphase)
1277 {
1278     struct site *st=sst;
1279
1280     /* The program is shutting down; tell our peer */
1281     send_msg7(st,"shutting down");
1282 }
1283
1284 static list_t *site_apply(closure_t *self, struct cloc loc, dict_t *context,
1285                           list_t *args)
1286 {
1287     static uint32_t index_sequence;
1288     struct site *st;
1289     item_t *item;
1290     dict_t *dict;
1291
1292     st=safe_malloc(sizeof(*st),"site_apply");
1293
1294     st->cl.description="site";
1295     st->cl.type=CL_SITE;
1296     st->cl.apply=NULL;
1297     st->cl.interface=&st->ops;
1298     st->ops.st=st;
1299     st->ops.control=site_control;
1300     st->ops.status=site_status;
1301
1302     /* First parameter must be a dict */
1303     item=list_elem(args,0);
1304     if (!item || item->type!=t_dict)
1305         cfgfatal(loc,"site","parameter must be a dictionary\n");
1306
1307     dict=item->data.dict;
1308     st->localname=dict_read_string(dict, "local-name", True, "site", loc);
1309     st->remotename=dict_read_string(dict, "name", True, "site", loc);
1310
1311     st->peer_mobile=dict_read_bool(dict,"mobile",False,"site",loc,False);
1312     bool_t local_mobile=
1313         dict_read_bool(dict,"local-mobile",False,"site",loc,False);
1314
1315     /* Sanity check (which also allows the 'sites' file to include
1316        site() closures for all sites including our own): refuse to
1317        talk to ourselves */
1318     if (strcmp(st->localname,st->remotename)==0) {
1319         Message(M_DEBUG,"site %s: local-name==name -> ignoring this site\n",
1320                 st->localname);
1321         if (st->peer_mobile != local_mobile)
1322             cfgfatal(loc,"site","site %s's peer-mobile=%d"
1323                     " but our local-mobile=%d\n",
1324                     st->localname, st->peer_mobile, local_mobile);
1325         free(st);
1326         return NULL;
1327     }
1328     if (st->peer_mobile && local_mobile) {
1329         Message(M_WARNING,"site %s: site is mobile but so are we"
1330                 " -> ignoring this site\n", st->remotename);
1331         free(st);
1332         return NULL;
1333     }
1334
1335     assert(index_sequence < 0xffffffffUL);
1336     st->index = ++index_sequence;
1337     st->netlink=find_cl_if(dict,"link",CL_NETLINK,True,"site",loc);
1338     st->comm=find_cl_if(dict,"comm",CL_COMM,True,"site",loc);
1339     st->resolver=find_cl_if(dict,"resolver",CL_RESOLVER,True,"site",loc);
1340     st->log=find_cl_if(dict,"log",CL_LOG,True,"site",loc);
1341     st->random=find_cl_if(dict,"random",CL_RANDOMSRC,True,"site",loc);
1342
1343     st->privkey=find_cl_if(dict,"local-key",CL_RSAPRIVKEY,True,"site",loc);
1344     st->address=dict_read_string(dict, "address", False, "site", loc);
1345     if (st->address)
1346         st->remoteport=dict_read_number(dict,"port",True,"site",loc,0);
1347     else st->remoteport=0;
1348     st->pubkey=find_cl_if(dict,"key",CL_RSAPUBKEY,True,"site",loc);
1349
1350     st->transform=
1351         find_cl_if(dict,"transform",CL_TRANSFORM,True,"site",loc);
1352
1353     st->dh=find_cl_if(dict,"dh",CL_DH,True,"site",loc);
1354     st->hash=find_cl_if(dict,"hash",CL_HASH,True,"site",loc);
1355
1356 #define DEFAULT(D) (st->peer_mobile || local_mobile     \
1357                     ? DEFAULT_MOBILE_##D : DEFAULT_##D)
1358 #define CFG_NUMBER(k,D) dict_read_number(dict,(k),False,"site",loc,DEFAULT(D));
1359
1360     st->key_lifetime=         CFG_NUMBER("key-lifetime",  KEY_LIFETIME);
1361     st->setup_retries=        CFG_NUMBER("setup-retries", SETUP_RETRIES);
1362     st->setup_retry_interval= CFG_NUMBER("setup-timeout", SETUP_RETRY_INTERVAL);
1363     st->wait_timeout=         CFG_NUMBER("wait-time",     WAIT_TIME);
1364
1365     st->mobile_peer_expiry= dict_read_number(
1366        dict,"mobile-peer-expiry",False,"site",loc,DEFAULT_MOBILE_PEER_EXPIRY);
1367
1368     st->transport_peers_max= !st->peer_mobile ? 1 : dict_read_number(
1369         dict,"mobile-peers-max",False,"site",loc,DEFAULT_MOBILE_PEERS_MAX);
1370     if (st->transport_peers_max<1 ||
1371         st->transport_peers_max>=MAX_MOBILE_PEERS_MAX) {
1372         cfgfatal(loc,"site","mobile-peers-max must be in range 1.."
1373                  STRING(MAX_MOBILE_PEERS_MAX) "\n");
1374     }
1375
1376     if (st->key_lifetime < DEFAULT(KEY_RENEGOTIATE_GAP)*2)
1377         st->key_renegotiate_time=st->key_lifetime/2;
1378     else
1379         st->key_renegotiate_time=st->key_lifetime-DEFAULT(KEY_RENEGOTIATE_GAP);
1380     st->key_renegotiate_time=dict_read_number(
1381         dict,"renegotiate-time",False,"site",loc,st->key_renegotiate_time);
1382     if (st->key_renegotiate_time > st->key_lifetime) {
1383         cfgfatal(loc,"site",
1384                  "renegotiate-time must be less than key-lifetime\n");
1385     }
1386
1387     st->log_events=string_list_to_word(dict_lookup(dict,"log-events"),
1388                                        log_event_table,"site");
1389
1390     st->tunname=safe_malloc(strlen(st->localname)+strlen(st->remotename)+5,
1391                             "site_apply");
1392     sprintf(st->tunname,"%s<->%s",st->localname,st->remotename);
1393
1394     /* The information we expect to see in incoming messages of type 1 */
1395     /* fixme: lots of unchecked overflows here, but the results are only
1396        corrupted packets rather than undefined behaviour */
1397     st->setupsiglen=strlen(st->remotename)+strlen(st->localname)+8;
1398     st->setupsig=safe_malloc(st->setupsiglen,"site_apply");
1399     put_uint32(st->setupsig+0,LABEL_MSG1);
1400     put_uint16(st->setupsig+4,strlen(st->remotename));
1401     memcpy(&st->setupsig[6],st->remotename,strlen(st->remotename));
1402     put_uint16(st->setupsig+(6+strlen(st->remotename)),strlen(st->localname));
1403     memcpy(&st->setupsig[8+strlen(st->remotename)],st->localname,
1404            strlen(st->localname));
1405     st->setup_priority=(strcmp(st->localname,st->remotename)>0);
1406
1407     buffer_new(&st->buffer,SETUP_BUFFER_LEN);
1408
1409     /* We are interested in poll(), but only for timeouts. We don't have
1410        any fds of our own. */
1411     register_for_poll(st, site_beforepoll, site_afterpoll, 0, "site");
1412     st->timeout=0;
1413
1414     st->current_valid=False;
1415     st->current_key_timeout=0;
1416     transport_peers_clear(st,&st->peers);
1417     transport_peers_clear(st,&st->setup_peers);
1418     /* XXX mlock these */
1419     st->dhsecret=safe_malloc(st->dh->len,"site:dhsecret");
1420     st->sharedsecret=safe_malloc(st->transform->keylen,"site:sharedsecret");
1421
1422     /* We need to register the remote networks with the netlink device */
1423     st->netlink->reg(st->netlink->st, site_outgoing, st,
1424                      st->transform->max_start_pad+(4*4)+
1425                      st->comm->min_start_pad,
1426                      st->transform->max_end_pad+st->comm->min_end_pad);
1427
1428     st->comm->request_notify(st->comm->st, st, site_incoming);
1429
1430     st->current_transform=st->transform->create(st->transform->st);
1431     st->new_transform=st->transform->create(st->transform->st);
1432
1433     enter_state_stop(st);
1434
1435     add_hook(PHASE_SHUTDOWN,site_phase_hook,st);
1436
1437     return new_closure(&st->cl);
1438 }
1439
1440 void site_module(dict_t *dict)
1441 {
1442     add_closure(dict,"site",site_apply);
1443 }
1444
1445
1446 /***** TRANSPORT PEERS definitions *****/
1447
1448 static void transport_peers_debug(struct site *st, transport_peers *dst,
1449                                   const char *didwhat,
1450                                   int nargs, const struct comm_addr *args,
1451                                   size_t stride) {
1452     int i;
1453     char *argp;
1454
1455     if (!(st->log_events & LOG_PEER_ADDRS))
1456         return; /* an optimisation */
1457
1458     slog(st, LOG_PEER_ADDRS, "peers (%s) %s nargs=%d => npeers=%d",
1459          (dst==&st->peers ? "data" :
1460           dst==&st->setup_peers ? "setup" : "UNKNOWN"),
1461          didwhat, nargs, dst->npeers);
1462
1463     for (i=0, argp=(void*)args;
1464          i<nargs;
1465          i++, (argp+=stride?stride:sizeof(*args))) {
1466         const struct comm_addr *ca=(void*)argp;
1467         slog(st, LOG_PEER_ADDRS, " args: addrs[%d]=%s",
1468              i, ca->comm->addr_to_string(ca->comm->st,ca));
1469     }
1470     for (i=0; i<dst->npeers; i++) {
1471         struct timeval diff;
1472         timersub(tv_now,&dst->peers[i].last,&diff);
1473         const struct comm_addr *ca=&dst->peers[i].addr;
1474         slog(st, LOG_PEER_ADDRS, " peers: addrs[%d]=%s T-%ld.%06ld",
1475              i, ca->comm->addr_to_string(ca->comm->st,ca),
1476              (unsigned long)diff.tv_sec, (unsigned long)diff.tv_usec);
1477     }
1478 }
1479
1480 static int transport_peer_compar(const void *av, const void *bv) {
1481     const transport_peer *a=av;
1482     const transport_peer *b=bv;
1483     /* put most recent first in the array */
1484     if (timercmp(&a->last, &b->last, <)) return +1;
1485     if (timercmp(&a->last, &b->last, >)) return -11;
1486     return 0;
1487 }
1488
1489 static void transport_peers_expire(struct site *st, transport_peers *peers) {
1490     /* peers must be sorted first */
1491     int previous_peers=peers->npeers;
1492     struct timeval oldest;
1493     oldest.tv_sec  = tv_now->tv_sec - st->mobile_peer_expiry;
1494     oldest.tv_usec = tv_now->tv_usec;
1495     while (peers->npeers>1 &&
1496            timercmp(&peers->peers[peers->npeers-1].last, &oldest, <))
1497         peers->npeers--;
1498     if (peers->npeers != previous_peers)
1499         transport_peers_debug(st,peers,"expire", 0,0,0);
1500 }
1501
1502 static void transport_record_peer(struct site *st, transport_peers *peers,
1503                                   const struct comm_addr *addr, const char *m) {
1504     int slot, changed=0;
1505
1506     for (slot=0; slot<peers->npeers; slot++)
1507         if (!memcmp(&peers->peers[slot].addr, addr, sizeof(*addr)))
1508             goto found;
1509
1510     changed=1;
1511     if (peers->npeers==st->transport_peers_max)
1512         slot=st->transport_peers_max;
1513     else
1514         slot=peers->npeers++;
1515
1516  found:
1517     peers->peers[slot].addr=*addr;
1518     peers->peers[slot].last=*tv_now;
1519
1520     if (peers->npeers>1)
1521         qsort(peers->peers, peers->npeers,
1522               sizeof(*peers->peers), transport_peer_compar);
1523
1524     if (changed || peers->npeers!=1)
1525         transport_peers_debug(st,peers,m, 1,addr,0);
1526     transport_peers_expire(st, peers);
1527 }
1528
1529 static bool_t transport_compute_setupinit_peers(struct site *st,
1530         const struct comm_addr *configured_addr /* 0 if none or not found */) {
1531
1532     if (!configured_addr && !transport_peers_valid(&st->peers))
1533         return False;
1534
1535     slog(st,LOG_SETUP_INIT,
1536          (!configured_addr ? "using only %d old peer address(es)"
1537           : "using configured address, and/or perhaps %d old peer address(es)"),
1538          st->peers);
1539
1540     /* Non-mobile peers havve st->peers.npeers==0 or ==1, since they
1541      * have transport_peers_max==1.  The effect is that this code
1542      * always uses the configured address if supplied, or otherwise
1543      * the existing data peer if one exists; this is as desired. */
1544
1545     transport_peers_copy(st,&st->setup_peers,&st->peers);
1546
1547     if (configured_addr)
1548         transport_record_peer(st,&st->setup_peers,configured_addr,"setupinit");
1549
1550     assert(transport_peers_valid(&st->setup_peers));
1551     return True;
1552 }
1553
1554 static void transport_setup_msgok(struct site *st, const struct comm_addr *a) {
1555     if (st->peer_mobile)
1556         transport_record_peer(st,&st->setup_peers,a,"setupmsg");
1557 }
1558 static void transport_data_msgok(struct site *st, const struct comm_addr *a) {
1559     if (st->peer_mobile)
1560         transport_record_peer(st,&st->peers,a,"datamsg");
1561 }
1562
1563 static int transport_peers_valid(transport_peers *peers) {
1564     return peers->npeers;
1565 }
1566 static void transport_peers_clear(struct site *st, transport_peers *peers) {
1567     peers->npeers= 0;
1568     transport_peers_debug(st,peers,"clear",0,0,0);
1569 }
1570 static void transport_peers_copy(struct site *st, transport_peers *dst,
1571                                  const transport_peers *src) {
1572     dst->npeers=src->npeers;
1573     memcpy(dst->peers, src->peers, sizeof(*dst->peers) * dst->npeers);
1574     transport_peers_debug(st,dst,"copy",
1575                           src->npeers, &src->peers->addr, sizeof(src->peers));
1576 }
1577
1578 void transport_xmit(struct site *st, transport_peers *peers,
1579                     struct buffer_if *buf, bool_t candebug) {
1580     int slot;
1581     transport_peers_expire(st, peers);
1582     for (slot=0; slot<peers->npeers; slot++) {
1583         transport_peer *peer=&peers->peers[slot];
1584         if (candebug)
1585             dump_packet(st, buf, &peer->addr, False);
1586         peer->addr.comm->sendmsg(peer->addr.comm->st, buf, &peer->addr);
1587     }
1588 }
1589
1590 /***** END of transport peers declarations *****/