server/tripe.c: Formalize the main loop machinery.

The new `lp_init' function has taken on a number of miscellaneous
initialization tasks.  But nothing has really changed much.

server/tripe.c: Formalize the interval-timer arrangements.

The hard stuff is now (mostly) detached from the main initialization
code.  There's also some machinery, currently unused, for disabling the
interval timer while it's not doing any good, which might be useful in
energy-constrained devices.

server/keymgmt.c: Replace ad-hoc `die' with an `ABORT'-level warning.

It's either this or an `assert', and for some reason I didn't do that
the first time.

server/peer.c (p_bind): Add the selector after fetching the port number.

This will make more sense later.

server/: Issue `WARN' messages for (most) initialization errors.

Now, most initialization problems which aren't to do with duff arguments
are diagnosed as `WARN' messages rather than human-readable messages on
stderr.

Document the new warnings.

server/tripe.c: Establish the stdio admin client early.

This way, warnings from peer initialization, for example, are reported
to the stdio admin client rather than stderr.

server/admin.c (a_format): Introduce `?ERR' for explicitly named errors.

Judging by the documentation, `?ERRNO' is supposed to take an `int'
argument and format the error it specifies; but it actually works by
examining `errno', and all the callers know this.  Changing it now seems
pointless, but I do want to be able to report errors in cases where
`errno' is or might be stale, and stuffing an error code back into
`errno' just so that it can be reported seems rather ugly.

Instead, add `?ERR' which /does/ accept an `int' argument, and fix the
documentation so that it describes reality.

server/admin.c (a_listen): If stat(2) says the socket has gone, then retry.

This saves us from making an embarrassing `stat failed because ENOENT'
report.

server/keymgmt.c: Remove redundant error reports.

Any I/O errors encountered while reading the key file will have been
reported already.  In the same terms.

Previously, the final `die' message wasn't actually redundant, because
the earlier warnings got swallowed if we were going to run as a daemon.
It's obviously wrong that this happened, and the underlying cause has
been fixed properly now, so this isn't a concern any more.

server/tripe.c: Be more clever about when to switch error output.

If we're going to detach and be a daemon, then we don't adopt
stdin/stdout as an initial administration client -- because we're going
to close these streams and disassociate from the surrounding
environment.  On the other hand, if we /are/ going to adopt
stdin/stdout, it makes sense to report errors to the client listening
there as soon as we can, so that they can keep informed of our
progress.  So take advantage of the new flexibility afforded by the
`a_switcherr' function, and switch the error output early or late
depending on whether we're going to daemonize.

server/keymgmt.c (kh_reopen): Promote the happy path.

server/: Split peer and admin initialization into smaller pieces.

Split admin initialization into:

  * setting up internal data structures, which is `a_init' as before;

  * establishing the daemonic signal handlers, which is now `a_signals';

  * creating the admin socket and listening for incoming connections,
    which is now `a_listen'; and

  * switching alert reporting over to admin clients rather than stderr,
    which is now `a_switcherr'.

Given that `a_listen' now need not actually be called, only unlink the
socket object if we actually created it.

Split peer initialization into:

  * setting up the data structures, which is `p_init' as before; and

  * creating the UDP sockets for communicating with other peers, which
    is now `p_bind'.

This will make sense in context.

squash! server/: Split peer and admin initialization into smaller pieces.

server/admin.c: Split out signal-handler establishment.

server/admin.c: Note that it's safe to call `a_create' before `a_init'.

A good thing too, because we do exactly this.

server/tripe.c: Don't start privsep helper unless some tunnel needs it.

It just saves having a useless process hanging off the side.

server/: Record port number with UDP socket, rather than querying.

The old `p_port' function queried getsockname(2) at runtime, and bailed
in the (very unlikely) event that it failed.  Avoid this situation by
recording the port number when the socket is set up and just using the
recorded value when it's needed.

This was the only remaining abnormal exit after the server has started.

server/: Wrap `udpsock' selectors up in a custom structure.

Now we can easily add more per-socket information.  No functional change
at this stage.

Rename `common/libtripe.a' to `.../libcommon.a'.

The main server will be a library soon, and it deserves that name more.

common/Makefile.am: Zap spurious trailing blank line.

server/: Post-merge fixup.

There's a slightly nasty semantic conflict between the two branches:
mdw/knock introduces a new function which sends a packet to an address
which might not belong to a registered peer, and mdw/ipv6 means that
this now has to cope with multiple address families.  The mess is
surprisingly limited, all things considered.

Merge branches 'mdw/knock' and 'mdw/ipv6' into bleeding

* mdw/knock:
  Add notion of `ephemeral' associations and a goodbye protocol.
  Add new `knock' protocol.
  server/{keyexch,peer}.c: Maybe key-exchange messages come out of the blue.
  server/keyexch.c (kx_message): Squish vertically.
  server/keyexch.c: Abstract out the common message-handling behaviour.
  server/keymgmt.c: Track and find keys by their 32-bit IDs.
  server/test.c: Add a program to assist unit tests.
  server/servutil.c: Add utilities for plain asymmetric encryption.
  server/servutil.c: Add utilities for simple leaky-bucket rate limiting.
  server/keyexch.c: Rename kx_init => kx_setup.
  server/: Augment challenges to allow a payload.
  server/chal.c: Capture `master->algs.bulk' in a variable.
  server/chal.c: Rename bulk => bchal.
  server/: Expose and enhance the bulk-key-derivation protocol.

* mdw/ipv6: (64 commits)
  contrib/greet.in: Accept IPv6 addresses.
  contrib/tripe-ipif.in: Fixing for IPv6.
  svc/conntrack.in: Add IPv6 support.
  svc/conntrack.in: Split out a base class from `InetAddress'.
  svc/conntrack.in: Contemplate multiple address families.
  svc/conntrack.in: Allow multiple networks in a peer pattern.
  svc/conntrack.in (kickpeers): Refactor and reformat the search loop.
  svc/conntrack.in (kickpeers): Rename `map' variable.
  svc/conntrack.in: Process peer patterns in order.
  svc/conntrack.in: Maintain config groups in a dictionary.
  svc/conntrack.in: Make an `InetAddress' class to do address wrangling.
  svc/conntrack.in: Factor out network parsing.
  svc/conntrack.in: Gather address hacking functions into a new section.
  svc/conntrack.in: Introduce a function for parsing address strings.
  svc/conntrack.in (strmask): Consistently return a string object.
  svc/conntrack.in: Fix netmask parsing.
  svc/conntrack.in: Leave time for network configuration to settle.
  svc/conntrack.in: Hoist `netupdown' above `kickpeers'.
  server/, mon/: Introduce transport of TrIPE over IPv6.
  server/addrmap.c (hash): Visually tighten the arithmetic.
  ...

Add notion of `ephemeral' associations and a goodbye protocol.

When TrIPE kills an ephemeral peer, it sends a `bye' message to the
peer.  When TrIPE receives `bye' from an ephemeral peer, it kills the
peer (without sending `bye' back).

Augment the `connect' service to set appropriate flags when adding
peers, and the Wireshark dissector to understand the new message.

contrib/greet.in: Accept IPv6 addresses.

contrib/tripe-ipif.in: Fixing for IPv6.

Accept `INET6' addresses from the server; detect IPv6 literals from the
configuration file; and adjust the MTU accordingly to compensate for the
different IP header lengths.

svc/conntrack.in: Add IPv6 support.

This is now a simple matter of implementing an `Inet6Address' class and
tweaking the `parse_address' function.

svc/conntrack.in: Split out a base class from `InetAddress'.

Now adding more families should be pretty easy.

svc/conntrack.in: Contemplate multiple address families.

A number of relatively simple changes, with no overall functional change
except for a few diagnostic messages.

  * Attach the address-family code and a name string to the
    `InetAddress' class.  This will mean that we can add new address
    families without breaking things.

  * Make `testaddrs' (and related variables) be a dictionary, mapping
    address families to addresses, rather than just a lone address.

  * Ensure that the networks in a peer assignment belong to the same
    family.  They will do for now, because there's only one.

  * Have `kickpeers' maintain a local IP address for each family, rather
    than just a single one.

svc/conntrack.in: Allow multiple networks in a peer pattern.

This is sensible now that we're not trying to compare them for
specificness.

svc/conntrack.in (kickpeers): Refactor and reformat the search loop.

The `ip' variable wasn't doing anything except remembering whether we'd
found a match, so replace it with a flag.  This frees up the `ip' name,
so give that to the bizarrely named `ipq' variable which holds the
discovered local address.

svc/conntrack.in (kickpeers): Rename `map' variable.

We shall want to call the `map' function.

svc/conntrack.in: Process peer patterns in order.

Rewrite the configuration file parser entirely so as to process the
patterns in order, rather than messing about with topological sorting.
This will let us introduce various improvements to patterns which don't
have a clear specificness ordering.

svc/conntrack.in: Maintain config groups in a dictionary.

Nothing cares about the relative order of the groups, and the
`showgroup' command wants to be able to look one up by name.  Really,
the question is why I didn't do it like this the first time.

svc/conntrack.in: Make an `InetAddress' class to do address wrangling.

The name is a little misleading: it can also represent a network, but
separating the two turns out to be a little tedious, so I don't bother.

This means that the configuration now actually contains (PEER,
TEST-ADDRESS, LOCAL-NET) triples, rather than keeping the address and
mask portions of the LOCAL-NET separate.

This is rather an invasive change.  Sorry.

svc/conntrack.in: Factor out network parsing.

The new function is a little stricter than the old one.  The address
given must actually be the base address of the network, rather than any
old address within it.

svc/conntrack.in: Gather address hacking functions into a new section.

svc/conntrack.in: Introduce a function for parsing address strings.

It still returns a raw integer -- for now.  But it's a start.

svc/conntrack.in (strmask): Consistently return a string object.

Inexplicably, this used to return an integer if the mask covered a
prefix.  Fortunately, it was always invoked in order to produce a thing
which is printed via `%s', which stringifies anyway.

svc/conntrack.in: Fix netmask parsing.

  * Improve the checking for a prefix length: see if the thing is
    entirely made of digits, rather than searching for a `.'.

  * More importantly, if we have a general netmask, then parse the
    correct part of the network spec as the mask.

svc/conntrack.in: Leave time for network configuration to settle.

Introduce new machinery to delay `kicking' the peer configuration.

  * Changes as a result of reports from NetworkManager and similar are
    now delayed, currently by 2s.  Further reports restart the delay, so
    we update 2s after the last report in a sequence.  This long delay
    is unfortunate, but necessary according to my experiments.

  * The 30s interval timer no longer does anything if a kick is
    scheduled but delayed.

  * Kicks resulting from initial state inspections aren't delayed;
    neither are direct user requests via the `up' and `down' commands.

svc/conntrack.in: Hoist `netupdown' above `kickpeers'.

This will be part of a collection of little functions, and some will
definitely want to be above `kickpeers'.  It seems silly to separate
them with this monster function.

server/, mon/: Introduce transport of TrIPE over IPv6.

This depends on ADNS for IPv6 name resolution.

server/addrmap.c (hash): Visually tighten the arithmetic.

server/: Eliminate the remaining address-family-specific knowledge.

Outside of a few functions in `addrmap.c' and `servutil.c'.  Name
resolution now fails softly if it encounters an unexpected address
family (which can happen because of numeric conversion through
`getaddrinfo'), and the ADNS query flags are now set via the `aftab'.

server/: Maybe use GNU ADNS rather than mLib's `bres' for name resolution.

This will let us do IPv6 resolution later.  For now, very little looks
like it's changed.

server/: Use modern functions for address/text conversions.

The tricky part is the change to the `p_init' function, which now takes
a list of `addrinfo' structures and goes through the motions of matching
the addresses up to `udpsock' slots, but actually everything is rigged
so that there's only the IPv4 entry.

server/admin.c (a_resolve): Parse using the `aftab' table.

Also, introduce a new `ANY' pseudo-family which does the right thing
using the resolver.

server/: Introduce accessor functions for reading and writing port numbers.

There are still some raw accesses to port numbers outside of address-
family switches, but these are all concerned with conversions between
address structures and strings, and this will be fixed in a later
change.

server/admin.h: Consolidate address construction during resolution.

Previously, setting up the socket address was kind of scattered
throughout the resolver code: the address family was set up front; the
port number stashed a bit later; and then the address plugged in once
the resolution job finished.

Instead, keep the port number separate once we've worked out what it is,
and build the entire socket address in one go at each site (once in the
background-resolver callback, and once for parsing a numerical address).

server/admin.c (acmd_addr): Don't assert about the address family.

The `?ADDR' formatting directive can look after itself.

server/admin.c: Tweak tracing of background resolver jobs.

This will make more sense later.

server/: Institute `address family table'; contemplate multiple sockets.

This is a slightly oddly-shaped change which lays important groundwork
for the future.

  * Firstly, it creates a table of address families, currently not very
    interestingly since there's only one, but this will be an essential
    tool for adding IPv6 support later.

  * Secondly, it turns the peer module's `sock' into a global vector
    `udpsock' of UDP sockets, possibly one for each of the supported
    address families.  There's no real change here, because there's only
    one address family known, but the `port' command has grown an
    address-family argument in case they have different ports.  To make
    this work, each peer now keeps track of the index of the socket it
    should use for transmitting messages.

pathmtu/pathmtu.c: Support IPv6 in the `raw' probing strategy.

Add code for constructing and parsing IPv6 packets.  This is rather
annoying and fiddly, in ways which are excitingly different from the
ways in which raw sockets are exciting and fiddly with IPv4.

pathmtu/pathmtu.c (raw): Switchify the code.

This is mostly an exercise in re-indenting things.  There's no
functional change; here, we just ease the transition to the next commit.

pathmtu/pathmtu.c (raw): Maintain the port numbers separately.

The Linux raw-IPv6-sockets machinery doesn't like port numbers in socket
addresses, so keep track of the ports separately and clear out the port
numbers in the address structures.

pathmtu/pathmtu.c: Check against UDP header length, not pointer size.

pathmtu/pathmtu.c: Use newer-style type names in pseudoheader struct.

pathmtu/pathmtu.c: Support IPv6 in Linux probing method.

pathmtu/pathmtu.c: Support IPv6 addresses in the generic code.

They don't work in any of the low-level methods yet.  That's going to
come later.

pathmtu/pathmtu.c: Replace explicit `sockaddr_in' structures with union.

First steps towards IPv6 support.  There's no functional change, just a
bunch of refactoring and some extra checking which isn't currently
exercised.

pathmtu/pathmtu.c (raw): Check the UDP packet signature.

pathmtu/pathmtu.c: Document the `--verbose' option.

It wasn't supposed to be a secret.

pathmtu/pathmtu.c: Document the correct short option for `--version'.

proxy/tripe-mitm.c: Support for IPv6.

Now we're using getaddrinfo(3), we can also allow service names for
ports, but this is rather incidental.

proxy/tripe-mitm.c: Allow user control over the delimiter.

It turns out that `:' was a terrible choice given the syntax of IPv6
addresses.  I probably knew this at the time, even.

proxy/tripe-mitm.c: Abolish use of RC4.

proxy/tripe-mitm.c: Reformat.

pkstream/pkstream.c: Enable IPv6 address support.

Implement the address-helper branches for IPv6, and set the default
address family to `AF_UNSPEC'.  Also, introduce command-line switches
for limiting address resolution.

pkstream/pkstream.c (parseaddr): Allow address literals in brackets.

Actually, they don't have to be literals.  Don't tell anyone.

pkstream/pkstream.c: Be more careful about handling address families.

  * Introduce a concept of `known' address families.  Currently, only
    `AF_INET' is known.

  * Filter `struct addrinfo' chains for known address families.  If we
    come up short, complain.

  * Tweak `aihints' to arrange that addresses which are supposed to
    match up actually will do: so server peer and bind addresses should
    match; client bind and connect addresses should match; and UDP local
    and remote addresses should match.

  * Initialize address structures using the `ai_family' slot from the
    appropriate `struct addrinfo' structure.

pkstream/pkstream.c: Introduce an `initsock' function which does nothing.

Only it checks the address family first.  This will be important because
IPv6 sockets /do/ need a little special initialization.

pkstream/pkstream.c: Use `getaddrinfo' to resolve addresses and services.

This will give us multiple addresses for simple queries, which we must
do something sensible with:

  * for server bind and peer addresses, we accumulate them in our
    address vectors as before;

  * for client bind addresses, and local UDP addresses, we just take
    the first match, and hope that's good enough; and

  * for client connect addresses, and remote UDP addresses, we try to
    connect to each address in turn and take the first one that works.

Some utility functions have been added or enhanced:

  * `pushaddr' has become `pushaddrs', and its job is now to push the
    addresses from a `struct addrinfo' chain onto an address vector; and

  * `copyaddr' has been introduced to do possible partial copies of
    addresses.

Note that everything is still strictly IPv4 throughout.  But almost all
of the pieces are now in place...

pkstream/pkstream.c: Allow multiple listening and peer addresses.

When being a TCP server.

  * Accept multiple `-b' and `-p' options, and accumulate their values
    into string vectors;

  * expand the `connwait' addresses into vectors;

  * when resolving addresses, accumulate the addresses into the
    appropriate result vectors;

  * maintain multiple `sel_file' objects waiting for their respective
    listening sockets;

  * and search the vector of peers when accepting incoming
    connections (an empty vector means that all remote addresses are
    permitted, so we no longer need to dig into the address structure
    here).

pkstream/pkstream.c: Fetch protocol family codes from addresses.

Now the only mentions of `AF_INET' are in the address-handling
functions.

pkstream/pkstream.c: Introduce helper functions to fiddle with addresses.

The remaining places where pieces of addresses are fiddled with
directly, outside of these new functions, are:

  * in `doaccept', where we continue inspect the peer address to see if
    it's a wildcard, because we'll handle this in a very different way
    later; and

  * in `parseaddr', which needs to fill in addresses and port numbers.

pkstream/pkstream.c: Wrap addresses up in a union.

This makes casting to `struct sockaddr' pointers more pleasant, but
doesn't do anything else of use yet.  No functional change.

pkstream/pkstream.c: Set a flag if we're listening.

Rather than having to check the address.  This means that we don't need
to initialize `cw.me' if we /aren't/ listening, so don't.

pkstream/pkstream.c: Rearrange socket setup, particularly `parseaddr'.

  * Have `parseaddr' fill in a socket address structure directly.

  * Change the interface to pass in either separate host and
    service (does this remind you of anything?) names, or a single
    combined string to be parsed apart, as indicated by a new flag
    `paf_parse'.

  * Have `main' keep track of the various host and service name strings
    and then sort everything out at the end, rather than exercising the
    resolver during option parsing.  Take advantage of this by
    diagnosing incompatible option combinations.

  * To make this work, upgrade `cw.peer' to be full socket address.

  * Factor out socket-address initialization, and initialize the
    structures on demand rather than in advance.

pkstream/pkstream.c: Reformat to my current conventions.

Squash tightly related instructions onto single lines where they fit.
Hoist variable declarations from inner scopes up to the function scope.

peerdb/tripe-newpeers.in: Add a new resolver based on adnshost(1).

This can resolve names to IPv6 addresses, so use it if it's available.

peerdb/tripe-newpeers.in: Split out a resolver base class.

Now we can add different kinds of resolvers a bit more easily, and
choose which one we want to use.

peerdb/tripe-newpeers.in: Add support for v4 and v6 address literals.

At least they get canonified now.  I think v4 literals should have
worked before, but it seems that they didn't.  This adds a `6' flag to
request only the v6 addresses for a name, but currently you can predict
which addresses you get pretty well.

peerdb/tripe-newpeers.in: Split `prepare' in twain.

There's now a front-end, still called `prepare', which establishes the
`ResolvingHost' if necessary, and a back-end, `_prepare' which actually
does the work.

You might well think that this is preparatory work for splitting out a
superclass.  I couldn't possibly comment.

peerdb/tripe-newpeers.in: Introduce the idea of multiple address families.

Have `ResolvingHost' track a list per address family.  Add a `4' flag
requesting just the IPv4 address(es), as if we had any other kind to
return.

peerdb/tripe-newpeers.in: Keep track of the canonical hostname too.

Not that I plan to do anything useful with that.

peerdb/tripe-newpeers.in: Enhance addr-lookup syntax; return multiple addrs.

Keep track of multiple addresses for each host.  Extend the $[...]
syntax to allow substitution of all of the addresses, rather than just
the first.

peerdb/tripe-newpeers.in: Split out a class for a host's resolved names.

This becomes the primary kind of object maintained in the resolver's
dictionary.

Also formalize the arrangements for reporting whether name resolution
failed.

This is an initial step towards introducing IPv6 support, initially in
this program, and later across the entire project.

Add new `knock' protocol.

  * Add a new option to the `ADD' command giving the knock string to
    send.

  * Add new protocol messages `token-rq', `token', and `knock', which
    together allow a possibly unknown peer to collect a single-use
    token (`token-rq' and `token') which it can use to identify itself,
    and use this to introduce itself to its (presumably) static
    peer (`knock').  This last message can either provoke a `KNOCK'
    notification to a service, or initiate key-exchange using a
    piggybacked `pre-challenge', possibly after having updated the
    peer's address.

  * Update the `connect' service to collect the necessary knock strings
    from the peer database, and to respond to `KNOCK' notifications.

  * Update the Wireshark dissector to recognize and dissect the new
    messages.  (The `cap.knock' file sneakily includes a message from
    the future, to be dissected in a later modification.)

server/{keyexch,peer}.c: Maybe key-exchange messages come out of the blue.

Don't insist in `p_read' that key-exchange messages always come from a
known address.  Instead, leave this to `kx_message' to sort out.

This involves a change of interface to `kx_message', passing in the
sender address, and passing out an indication as to whether the address
was recognized.  It also means that there's a little extra fancy
footwork involved because `kx_message' might not have a key-exchange
control block conveniently to hand.

server/keyexch.c (kx_message): Squish vertically.

This will make it look more like the new code I'm going to add.

server/keyexch.c: Abstract out the common message-handling behaviour.

Add new functions for resetting the key-exchange state on reception, and
updating the statistics on send and receive.

server/keymgmt.c: Track and find keys by their 32-bit IDs.

server/test.c: Add a program to assist unit tests.

server/servutil.c: Add utilities for plain asymmetric encryption.

The encryption is standard KEM/DEM fare, using a Diffie--Hellman KEM and
a TrIPE bulk-crypto transform as a (very heavyweight) DEM.

server/servutil.c: Add utilities for simple leaky-bucket rate limiting.

server/keyexch.c: Rename kx_init => kx_setup.

I need the name for startup-time initialization of the key-exchange
code.

server/: Augment challenges to allow a payload.

  * Augment the external interface to take a pointer/length pair
    designating the payload.

  * Change the bulk-crypto interface to pass the sequence number in
    separately from the (repurposed) payload buffer.

  * Modify the `naclbox' challenge handling to hash the payload using
    Poly1305, rather than just producing some Salsa20 output.

server/chal.c: Capture `master->algs.bulk' in a variable.

Makes the code a bit less noisy.

server/chal.c: Rename bulk => bchal.

This makes space for other bulk-crypto objects in this file.  Also,
sneakily, rename the code section with the idea that there might be
another one later.

server/: Expose and enhance the bulk-key-derivation protocol.

  * Rename `struct rawkey' to `deriveargs', and document it;

  * make `ks_derivekey' private in `bulkcrypto.c', and rename it
    `derivekey';

  * make the various contributions to the derived keys be optional and
    handle them not existing sensibly; and

  * cope with the idea that a caller might only want incoming or
    outgoing keys, but not both.

This lays the groundwork for a separately usable public-key encryption
scheme based on the existing machinery, but this will come a bit later.

server/tripe-admin.5.in: Add missing docs about `PRIVSEP' warnings.

I don't know where these went.

keys/tripe-keys.conf.5.in: Fix typoed signature scheme name.