server/admin.h: Consolidate address construction during resolution.

Previously, setting up the socket address was kind of scattered
throughout the resolver code: the address family was set up front; the
port number stashed a bit later; and then the address plugged in once
the resolution job finished.

Instead, keep the port number separate once we've worked out what it is,
and build the entire socket address in one go at each site (once in the
background-resolver callback, and once for parsing a numerical address).

server/admin.c (acmd_addr): Don't assert about the address family.

The `?ADDR' formatting directive can look after itself.

server/admin.c: Tweak tracing of background resolver jobs.

This will make more sense later.

server/: Institute `address family table'; contemplate multiple sockets.

This is a slightly oddly-shaped change which lays important groundwork
for the future.

  * Firstly, it creates a table of address families, currently not very
    interestingly since there's only one, but this will be an essential
    tool for adding IPv6 support later.

  * Secondly, it turns the peer module's `sock' into a global vector
    `udpsock' of UDP sockets, possibly one for each of the supported
    address families.  There's no real change here, because there's only
    one address family known, but the `port' command has grown an
    address-family argument in case they have different ports.  To make
    this work, each peer now keeps track of the index of the socket it
    should use for transmitting messages.

pathmtu/pathmtu.c: Support IPv6 in the `raw' probing strategy.

Add code for constructing and parsing IPv6 packets.  This is rather
annoying and fiddly, in ways which are excitingly different from the
ways in which raw sockets are exciting and fiddly with IPv4.

pathmtu/pathmtu.c (raw): Switchify the code.

This is mostly an exercise in re-indenting things.  There's no
functional change; here, we just ease the transition to the next commit.

pathmtu/pathmtu.c (raw): Maintain the port numbers separately.

The Linux raw-IPv6-sockets machinery doesn't like port numbers in socket
addresses, so keep track of the ports separately and clear out the port
numbers in the address structures.

pathmtu/pathmtu.c: Check against UDP header length, not pointer size.

pathmtu/pathmtu.c: Use newer-style type names in pseudoheader struct.

pathmtu/pathmtu.c: Support IPv6 in Linux probing method.

pathmtu/pathmtu.c: Support IPv6 addresses in the generic code.

They don't work in any of the low-level methods yet.  That's going to
come later.

pathmtu/pathmtu.c: Replace explicit `sockaddr_in' structures with union.

First steps towards IPv6 support.  There's no functional change, just a
bunch of refactoring and some extra checking which isn't currently
exercised.

pathmtu/pathmtu.c (raw): Check the UDP packet signature.

pathmtu/pathmtu.c: Document the `--verbose' option.

It wasn't supposed to be a secret.

pathmtu/pathmtu.c: Document the correct short option for `--version'.

proxy/tripe-mitm.c: Support for IPv6.

Now we're using getaddrinfo(3), we can also allow service names for
ports, but this is rather incidental.

proxy/tripe-mitm.c: Allow user control over the delimiter.

It turns out that `:' was a terrible choice given the syntax of IPv6
addresses.  I probably knew this at the time, even.

proxy/tripe-mitm.c: Abolish use of RC4.

proxy/tripe-mitm.c: Reformat.

pkstream/pkstream.c: Enable IPv6 address support.

Implement the address-helper branches for IPv6, and set the default
address family to `AF_UNSPEC'.  Also, introduce command-line switches
for limiting address resolution.

pkstream/pkstream.c (parseaddr): Allow address literals in brackets.

Actually, they don't have to be literals.  Don't tell anyone.

pkstream/pkstream.c: Be more careful about handling address families.

  * Introduce a concept of `known' address families.  Currently, only
    `AF_INET' is known.

  * Filter `struct addrinfo' chains for known address families.  If we
    come up short, complain.

  * Tweak `aihints' to arrange that addresses which are supposed to
    match up actually will do: so server peer and bind addresses should
    match; client bind and connect addresses should match; and UDP local
    and remote addresses should match.

  * Initialize address structures using the `ai_family' slot from the
    appropriate `struct addrinfo' structure.

pkstream/pkstream.c: Introduce an `initsock' function which does nothing.

Only it checks the address family first.  This will be important because
IPv6 sockets /do/ need a little special initialization.

pkstream/pkstream.c: Use `getaddrinfo' to resolve addresses and services.

This will give us multiple addresses for simple queries, which we must
do something sensible with:

  * for server bind and peer addresses, we accumulate them in our
    address vectors as before;

  * for client bind addresses, and local UDP addresses, we just take
    the first match, and hope that's good enough; and

  * for client connect addresses, and remote UDP addresses, we try to
    connect to each address in turn and take the first one that works.

Some utility functions have been added or enhanced:

  * `pushaddr' has become `pushaddrs', and its job is now to push the
    addresses from a `struct addrinfo' chain onto an address vector; and

  * `copyaddr' has been introduced to do possible partial copies of
    addresses.

Note that everything is still strictly IPv4 throughout.  But almost all
of the pieces are now in place...

pkstream/pkstream.c: Allow multiple listening and peer addresses.

When being a TCP server.

  * Accept multiple `-b' and `-p' options, and accumulate their values
    into string vectors;

  * expand the `connwait' addresses into vectors;

  * when resolving addresses, accumulate the addresses into the
    appropriate result vectors;

  * maintain multiple `sel_file' objects waiting for their respective
    listening sockets;

  * and search the vector of peers when accepting incoming
    connections (an empty vector means that all remote addresses are
    permitted, so we no longer need to dig into the address structure
    here).

pkstream/pkstream.c: Fetch protocol family codes from addresses.

Now the only mentions of `AF_INET' are in the address-handling
functions.

pkstream/pkstream.c: Introduce helper functions to fiddle with addresses.

The remaining places where pieces of addresses are fiddled with
directly, outside of these new functions, are:

  * in `doaccept', where we continue inspect the peer address to see if
    it's a wildcard, because we'll handle this in a very different way
    later; and

  * in `parseaddr', which needs to fill in addresses and port numbers.

pkstream/pkstream.c: Wrap addresses up in a union.

This makes casting to `struct sockaddr' pointers more pleasant, but
doesn't do anything else of use yet.  No functional change.

pkstream/pkstream.c: Set a flag if we're listening.

Rather than having to check the address.  This means that we don't need
to initialize `cw.me' if we /aren't/ listening, so don't.

pkstream/pkstream.c: Rearrange socket setup, particularly `parseaddr'.

  * Have `parseaddr' fill in a socket address structure directly.

  * Change the interface to pass in either separate host and
    service (does this remind you of anything?) names, or a single
    combined string to be parsed apart, as indicated by a new flag
    `paf_parse'.

  * Have `main' keep track of the various host and service name strings
    and then sort everything out at the end, rather than exercising the
    resolver during option parsing.  Take advantage of this by
    diagnosing incompatible option combinations.

  * To make this work, upgrade `cw.peer' to be full socket address.

  * Factor out socket-address initialization, and initialize the
    structures on demand rather than in advance.

pkstream/pkstream.c: Reformat to my current conventions.

Squash tightly related instructions onto single lines where they fit.
Hoist variable declarations from inner scopes up to the function scope.

peerdb/tripe-newpeers.in: Add a new resolver based on adnshost(1).

This can resolve names to IPv6 addresses, so use it if it's available.

peerdb/tripe-newpeers.in: Split out a resolver base class.

Now we can add different kinds of resolvers a bit more easily, and
choose which one we want to use.

peerdb/tripe-newpeers.in: Add support for v4 and v6 address literals.

At least they get canonified now.  I think v4 literals should have
worked before, but it seems that they didn't.  This adds a `6' flag to
request only the v6 addresses for a name, but currently you can predict
which addresses you get pretty well.

peerdb/tripe-newpeers.in: Split `prepare' in twain.

There's now a front-end, still called `prepare', which establishes the
`ResolvingHost' if necessary, and a back-end, `_prepare' which actually
does the work.

You might well think that this is preparatory work for splitting out a
superclass.  I couldn't possibly comment.

peerdb/tripe-newpeers.in: Introduce the idea of multiple address families.

Have `ResolvingHost' track a list per address family.  Add a `4' flag
requesting just the IPv4 address(es), as if we had any other kind to
return.

peerdb/tripe-newpeers.in: Keep track of the canonical hostname too.

Not that I plan to do anything useful with that.

peerdb/tripe-newpeers.in: Enhance addr-lookup syntax; return multiple addrs.

Keep track of multiple addresses for each host.  Extend the $[...]
syntax to allow substitution of all of the addresses, rather than just
the first.

peerdb/tripe-newpeers.in: Split out a class for a host's resolved names.

This becomes the primary kind of object maintained in the resolver's
dictionary.

Also formalize the arrangements for reporting whether name resolution
failed.

This is an initial step towards introducing IPv6 support, initially in
this program, and later across the entire project.

server/tripe-admin.5.in: Add missing docs about `PRIVSEP' warnings.

I don't know where these went.

keys/tripe-keys.conf.5.in: Fix typoed signature scheme name.

server/admin.c: Delete a redundant ignoring of `SIGPIPE'.

The real one is in `main' in `tripe.c'.

server/tripe.h: Fix indentation of a preprocessor directive.

This appears to have been broken since 2005.

peerdb/tripe-newpeers.in (MissingSectionException): Fix constructor.

svc/connect.in (addpeer): Use `boolean' filter rather than a local hack.

Now that `Peer.get' actually works properly, this is safe.

svc/connect.in (Peer.get): Don't apply filter to default value.

Callers don't expect this, and there will be unfortunate behaviour.  For
example, `T.timespec' explodes if handed a literal integer rather than a
string.

server/tripe-admin.5.in: Add missing documentation for error messages.

server/tripe-admin.5.in: Fix markup for error messages.

peerdb/tripe-newpeers.in: Mark expected errors and report appropriately.

Introduce an `ExpectedError' class and catch it at top level, reporting
the error message in the traditional Unix style.

peerdb/tripe-newpeers.in (BulkResolver): Add exception for resolution failure.

There's a space for describing the error properly, but we can't do that
at the moment because mLib's background resolver isn't loved.

peerdb/tripe-newpeers.in (ConfigSection.items): Report `name'.

It's always there, even if it's synthetic.  This changes the output,
including a `name' item in each host, but this is harmless (or possibly
even useful).

Maybe this should have been `@name', but it's too late for that now.

peerdb/tripe-newpeers.in (ConfigSection): Fix handling of `@inherits'.

  * Make `get' return it properly -- unexpanded (because that wouldn't
    make sense).

  * Make `items' mention it if applicable.

This doesn't affect the final output, since the CDB writing stage omits
keys whose name begins with `@'.

peerdb/tripe-newpeers.in (ConfigSection.items): Push more cautiously.

Instead of recording which sections have been visited, record all
sections which have been pushed and avoid pushing them again.  This
reduces pointless stack activity.

peerdb/tripe-newpeers.in (ConfigSection.items): Rename `d' to `seen'.

We haven't tried to store useful values in this dictionary for a long
time.  Give it a more useful name.

See?  I do think about this.

peerdb/tripe-newpeers.in: Fix memoization while resolving inheritance.

The memoization never worked properly.  It's clear, because the code
tries to store old values in the `map' dictionary, that it /wants/ to
optimize repeated visits to the same parent section, but unfortunately
nothing actually picks these saved values up again.  I can't tell any
more, but I think this is because the memoization map never stored the
path, so a second visit would return an unhelpful truncated path.

Also, the per-lookup memoization isn't really very effective: we
pointlessly walk the inheritance graph afresh for each `get' call.

Replace this with a per-section cache of inheritance-resolved lookups,
complete with path information.

peerdb/tripe-newpeers.in: Factor out calculating the parent-section list.

peerdb/tripe-newpeers.in: Remove (undocumented) whitespace fixing.

I don't think we ever needed this, except that there's a longstanding
mLib bug which means that newlines (and other whitespace other than
actual space characters) aren't escaped in `lax' mode, which would have
caused the `cdb-map' output to be broken.

Easy fix: turn off lax mode.

peerdb/tripe-newpeers.in (ConfigSection.items): Just return names.

It has to do a full `get' for each one anyway, which the caller can do
just as well if they actually want to.  Sometimes they don't, which
saves some effort.

peerdb/tripe-newpeers.in: Abolish `ConfigSection.has_option'.

Instead, the caller just catches `MissingKeyException'.

peerdb/tripe-newpeers.in: Split out a class for config sections.

This looks like a mess, but it mostly involves moving a bunch of methods
from `MyConfigParser' into the new `ConfigSection' class and fiddling
with callers.

peerdb/tripe-newpeers.in (MyConfigParser): Abandon Python `ConfigParser'.

Instead, just parse the input by hand.  This makes the behaviour easier
to specify properly.  The language accepted is now actually as described
in the manpage, rather than also, say, stripping `;' comments (but not
`#' comments) from assignment and continuation lines, or interpreting a
`""' as an empty value.

Fortunately, the rest of the program doesn't make much use of the
`ConfigParser' protocol, so this isn't missed.

peerdb/tripe-newpeers.in: Upper-case the compiled regexp names.

Just a cosmetic change.

peerdb/tripe-newpeers.in (MyConfigParser._get): Compress vertically.

Just a cosmetic change.

peerdb/tripe-newpeers.in (MyConfigParser._get): Automate path maintenance.

Rather than having lots of `path.pop()' calls, and hoping that
everything balances, wrap `try ... finally ...' around the method body.
Remove the explicit poppings, and simplify.

We still need to copy the path if we find a local result or raise an
exception.

peerdb/tripe-newpeers.in: Count enhancements correctly.

I'll come in again.

(Python): Use more modern `raise' syntax.

peerdb/peers.in.5.in: It's not just `@inherits' which is excluded.

It has always been thus: keys which start with `@' are omitted.  Fix the
manual so that it tells the truth.

peerdb/peers.in (@PASSIVE): Remove redundant `@GLOBAL' parent.

It's not as if the order of direct parents makes any difference to the
resolution algorithm.

(manpages): Fix inclusion of `defs.man'.

When the manpage machinery was last turned upside-down, way back in
2008 (commit e99aedcf9373b3305c32e510c086bf3357b4736a), all of the
manpages were fixed to say `.so ../common/defs.man' instead of `.so
../defs.man.in'.  Inexplicably, all but one of the manpages added since
then have had the wrong include request.  Fix this silliness.

Note that this only affects formatting the manpages directly from the
source tree: there's build machinery which embeds the common definitions
in the built manpages which are installed or packaged, and that works
just fine.  But it's still good to get this stuff right.

Just maybe I can avoid introducing more broken manpages in the future.

svc/connect.in: Compress the code a bit.

Only whitespace changes.

svc/connect.in: Add a backstop exception handler to the pinger loop.

It'll moan, but it won't actually kill the loop any more.

svc/connect.in: Cope if a peer vanishes when we're trying to reconnect.

svc/connect.in: Export the admin-socket name to inferior processes.

This way, if `connect' is run with a nonstandard `-a' option, it will
pass that along to `tripe-ifup' or whatever, so that, when it in turn
runs `tripectl', it'll be able to talk to the correct server.

server/keyset.c: Present message types in hex.

server/peer.c: Abstract out updating a peer's address.

server/: Calculate address size on demand, rather than tracking it.

It's fine when the address is just in the peer spec, but this isn't
going to be the case forever.

server/servutil.c: Reorder and categorize the functions.

Might be more coming.  Not saying yet. :-)

server/tripe.h: Fix commentary markup.

server/tripe.8.in: The default port is the IANA-assigned one.

To get a kernel-assigned port, pass `-p0' explicitly.  Fix the manpage
so that it doesn't tell lies any more.

server/keyset.c, server/tripe.h: Fix commentary for `ks_gen'.

Part of the point of this interface is that we no longer assume that
there are distinct secrecy and integrity keys.  And, indeed, the `iiv'
transform also has the IV-derivation blockcipher to deal with.

server/keyset.c: Print correct key directions when tracing.

server/keymgmt.c: Check algorithms on public keys too.

As well as checking stuff, this also calculates some important stuff,
such as preferred key lengths.  Also, it's quite quick, so this isn't
going to cause any performance trouble.

server/bulkcrypto.c: Fix printf argument-type bug (64-bit specific).

server/bulkcrypto.c (gencomp_chal): Remove pointless extra `tagsz' member.

It's not like anybody ever did anything with it.

server/bulkcrypto.c (naclbox_decrypt): Trace calculated MAC tag.

server/admin.c: Fix ordering of commands in the help list.

And the manual.  Oops.

server/admin.c: Publish `corked' and `mobile' flags in `peerinfo'.

server/admin.c: Some light reformatting.

server/admin.c: Don't leak `privtag' from `ADD' command.

server/admin.c: Use the more modern mLib `codec' classes for Base64.

The main effect, other than making the code slightly briefer, is that
decoding is now significantly stricter.

server/addrmap.c: Mark internal functions as actually `static'.

Must have been like this forever, since this is the first change this
file has seen since it was created.

server/tests.at: Use `tripe-mitm' instead of `pkstream'.

Only one process for the two directions, and it hacks UDP directly.

server/tests.at: Eliminate redundant `-talice' option.

This makes searching for the correct `tripe' process easier at runtime.
But it means that we have to associate explicit `kx-group' attributes
with the keys rather than attaching the group to the key type.

wireshark/tripe.lua (dissect_ciphertext): Return correct final position.

uslip/uslip.c: Be more reliable about tidying up.

Trap `SIGHUP' because shells sometimes send it to us during testing; and
don't give up on select(2) because of `EINTR'.

svc/conntrack.in: Iterate over the output of `svcsubmit'.

This forces out exceptions caused by command failures which were
otherwise being dropped.

svc/conntrack.in: Use correct interface to fetch NetworkManager state.

svc/conntrack.in: Write debug trace if we fail to attach to DBus services.

svc/conntrack.8.in: Document the ConnMan support.

svc/conntrack.8.in: Sort the notification strings.