svc/conntrack.8.in: Insert missing dedent in notification list.

Release 1.0.0pre11.1.

server/admin.c, server/tripe-admin.5.in: Fix PEERINFO segfault.

It's allowed for p_privtag to return null, so just trying to print it is
a bad idea.  This introduces a protocol change, since there is no single
tag chosen in the absence of `-priv' or `-t' options -- instead, there's
a search list; this is represented with the special tag `(default)'.

server/keymgmt.c: Fix warning message to match documentation.

server/tripe-admin.5.in: Document `-priv' option to ADD command.

This should have been added as part of fe2a5dcf...

vars.am: Fix include path tweaking.

For some reason, the include directories were set in CPPFLAGS rather
than AM_CPPFLAGS, which is just a mistake.

Also, astonishingly, the makefile botched adding $(top_builddir)/config
to the include path.  This obviously never worked.  Fortunately,
Automake magically included the correct path by itself, so just remove
the embarrassing mistake and pretend it never happened.

Makefile.am, configure.ac: Build pathmtu unconditionally.

It's notionally portable nowadays, so shouldn't be restricted to Linux
only.

debian/changelog: Prepare for release.

Merge branch 'mdw/multi-priv'

* mdw/multi-priv:
  server/tests.at, t/keyring-*: New tests for key management.
  Allow different peer associations to use different private keys.
  server: Use the new kdata system.
  server/{keymgmt.c,tripe.h}: Unify public and private key handling.
  server/keyexch.c: Prefix crypto-details trace messages correctly.
  server/{keymgmt.c,tripe-admin.5.in}: Improve key-management errors.
  admin.c (a_format): New function formats token sequences to strings.

Conflicts:
server/tests.at
server/tripe.h

Merge branch 'mdw/backoff'

* mdw/backoff:
  server/tests.at: Test key exchange and retransmit with a flaky network.
  server/tests.at: Add a retry loop in `COMMS_EPING'.
  proxy: Add a `drop' filter to randomly discard packets.
  server/keyexch.c: Randomized exponential retransmit backoff.
  server/keyexch.c: Use high-resolution `struct timeval' timers.
  server/{keyexch.c,keyset.c}: Eliminate `ks_tregen'.
  server/{keyexch.c,keyset.c}: Move timing parameters to tripe.h.

Conflicts:
server/tests.at

pathmtu/pathmtu.c: Fix search algorithm.

Turns out I can't write a binary search algorithm.  Fiddle with it so
that it doesn't get stuck sometimes.  Some of the bounds management is a
little tricky, so add some documentation and assertions to make sure
that everything is as expected.

server/tests.at, t/keyring-*: New tests for key management.

Ensure that everything works when different peer associations use
different private keys, and when the keys, algorithms and groups change
under our feet.

This involves adding a new peer to the keyrings, and inventing a new
keyring.  More interestingly, it also involves plumbing together a
network of three peers, which is where the earlier refactoring of the
test communications machinery pays off.

Allow different peer associations to use different private keys.

Add a `peertag' slot to the `peerspec' structure stating which private
key to use; a null pointer means to use the default `tag_priv'.  Add a
`p_privtag' function to retrieve the private key tag to use.

The ADD command now has a `-priv' option which sets this slot
appropriately.  The `connect' service fetches a `priv' key. from the
database to set this option.

server: Use the new kdata system.

Challenges use the algorithms associated with the master key.  This will
continue to be the case, since there isn't a specific private or public
key to associate with the challenge.

It looks like the keyexch subsystem has been turned upside-down, but
apart from the initialization and key refresh it's all just a matter of
adding the necessary indirections into group and algorithm lookups.

Since algorithms are now (logically, at least) distinct for different
peer associations, allow a `peer' argument to the ALGS command, and pass
the correct information to the ifup script so that it can calculate the
MTU properly.

At this point, we no longer need the compatibility interface in keymgmt,
so remove it, and the molly-guard preventing updates to the master key.

server/{keymgmt.c,tripe.h}: Unify public and private key handling.

We introduce a new `kdata' object which represents a particular instance
of a key and remembers all sorts of useful things about it including its
name, associated algorithms, and so on.  It can represent either a
public or private key, since the only difference is whether it has a
private scalar.  These kdata objects are reference counted and exposed
to callers, though the old interface is, for now, retained for
compatibility.

Internally, the private/public split is pushed quite far down using a
`keyhalf' structure to keep track of the differences between the two
kinds.

There's a layer of caching and continuity management.  Each key tag maps
to a `knode' object which represents all the versions (i.e., different
kdata representations) of that key, and allows you to find the current
version.  A kdata object has a reference back to its home knode.

Since private keys are handled (mostly) in the same way as public keys,
there can also be multiple versions of private keys, and multiple
different private keys.  The code maintains a `preferred' private key,
and exports a pointer to its kdata as `master'.

As mentioned, there are some compatibility interfaces in place at the
moment, which maintain the old global key information and prevent
inconsistencies.  For example, currently the `master' kdata is only
allowed to advance if its group matches the previous one.  The plan is
to remove this global information, and allow peers to use different
versions of different private keys; peers will be responsible for
ensuring the consistency of the keys they use, and will be able to do
this without interfering with each other.

server/keyexch.c: Prefix crypto-details trace messages correctly.

server/{keymgmt.c,tripe-admin.5.in}: Improve key-management errors.

Many of the errors are rather vague and not well documented.  Overhaul
the way that errors are reported and propagated in the keymgmt subsystem
and document all of the various error conditions in detail.

admin.c (a_format): New function formats token sequences to strings.

This will be useful for building fragments of messages to be assembled
by higher-level functions.

server/peer.c, server/tests.at: Handle NAT swapping over peer addresses.

Previously, we'd notice when a mobile peer switched address (e.g., due
to NAT) to one that wasn't currently known; but it seems that some
particularly awful NAT boxes will actually swap over the addresses
assigned to two peers on the wrong side of it.  The static hub peer will
see this as a bunch of decryption failures but not do anything about
it.  Eventually the mobile peers will notice a ping timeout and
reconnect, but this can take a while.

So, when we get a decryption failure from a mobile peer, see whether any
other mobile peers are interested in it.

pkstream/pkstream.c: Have `-b' affect the listening mode too.

server/tests.at, t/keyring-*: Handle three-party tests.

This involves a new Autotest macro WITH_3TRIPES and a new party in each
of the keyrings.

server/tests.at, t/keyring-*: Rename test keyrings.

We're going to be playing games with these which will change which
groups they use, so naming them after the groups is silly.

Also switch the prime group to use a smaller field (catacomb-ll-160-1024
specifically) because the primality checking takes ages and we don't
actually need any security.

server/peer.c: Handle mobile peers switching addresses.

Previously, we would track a mobile peer if it changed its address to
one that wasn't currently in use by any peer; but it seems that some
benighted NAT boxes will actually mix up the addresses assigned to
active peers, so we must spot the decryption errors and try to match
them up again.

server/peer.c: Delay updating peer stats.

Previously we'd update as soon as we'd found a peer, but that's not
quite right.  We're going to have p_decrypt change our mind about which
peer this if we get a decryption error, so it'd be bad if we'd
prematurely updated the wrong peer.

server/peer.c: Only scan mobile peers when source address is unknown.

contrib/knock.in: Login script for establishing dynamic associations.

contrib/README: Fix missing description of the `greet' tool.

init/tripe-init.in: Look for the socket in the correct place.

If TRIPESOCK is a relative name then the script would look for it
relative to the current directory rather than the correct TRIPEDIR
directory.

contrib/greet.in: Grotty script to send a TrIPE greeting packet.

Useful for testing.

init/Makefile.am: Install `tripe.conf' as data, not executable.

server/peer.c: Fix `unknown-category' message.

A missing comma caused adjacent-string-literal pasting.

svc/watch.in: Fix startup scan to initialize unwatched connections.

There's no point defining connection parameters for a peer unless
something's going to act on them, and that something is watch(8).  On
startup (the `--startup' switch), we're meant to notice existing peers
(probably established by connect(8)) and ensure that they're set up
properly.  This initial pass over the peer list is done by
Pinger.rescan, which /usually/ is interested only in watched peers that
need pinging.  It therefore ignores unwatched peers, with the result
that pre-existing unwatched peers are left unconfigured.  Subsequent
peers are detected through the notification mechanism and processed by
the addpeers function which works correctly.

Now, if startup is set, Pinger.rescan tracks all peers and invokes
addpeer on them.

The code relies on the fact that a startup scan is done only once, when
the peer list is empty.  Otherwise it'll reconfigure existing peers,
which is probably a mistake.

svc/watch.in: Add some debugging output to the `rescan' function.

Slightly easier to keep track of what's going on.

debian/rules: Throw the contrib scripts into `examples'.

svc/tripe-ifup.in: Explicitly tag routes as `static'.

Otherwise BIRD, in particular, ignores the routes, which is a shame
because we'd ideally like it to propagate them.

peerdb/peers.in: Set passive peers as mobile by default.

svc/tripe-ifup.in: Bring up the interface before adding routes.

It doesn't work the other way around.  Except when I was testing it, for
some reason.

server/tests.at: Test key exchange and retransmit with a flaky network.

Aha!  A use for `tripe-mitm'!

server/tests.at: Add a retry loop in `COMMS_EPING'.

We will want to test this in the context of an unreliable network later.

proxy: Add a `drop' filter to randomly discard packets.

I'm surprised there wasn't one of these already.

server/keyexch.c: Randomized exponential retransmit backoff.

Rather than retrying after a constant delay, increase the delay by a
constant factor.  We now start with a smaller retransmit interval, and
cap at a fairly long wait.  Also introduce a random `wobble'
proportional to the delay in order to prevent a server being hammered by
a swarm of clients acting in unison if it comes back after an outage.

server/keyexch.c: Use high-resolution `struct timeval' timers.

server/{keyexch.c,keyset.c}: Eliminate `ks_tregen'.

Instead, compute the regeneration time directly.

server/{keyexch.c,keyset.c}: Move timing parameters to tripe.h.

Now everyone can use them.

pathmtu/pathmtu.{c,1.in}: New algorithms for path-MTU discovery.

Implement path-MTU discovery using raw sockets rather than Linux's fancy
socket options.  This should improve portability to other systems.

This involves splitting the logic which chooses probe sizes and
determines the resulting MTU from the underlying machinery which
manufactures packets and collects results.

svc/conntrack.in: Don't track the local IP address any more.

If we need to change the peer name, we still need a full renegotiation;
otherwise we can let the mobile-peer machinery deal with us.  This will,
with a little luck, result in a smoother handover when a mobile peer
roams between networks (or gets screwed by NAT).

New peer option `-mobile': follow rapid IP address and port changes.

Mobile devices on 3G networks can change apparent IP address and port
numbers rapidly.  If any peer has the `-mobile' flag (PSF_MOBILE) set,
and a MSG_PACKET message arrives from an unexpected source, see if any
of the `-mobile' peers can decrypt it: if so, update the peer's address
rather than rejecting the packet.

This is inefficient because it involves a linear search of the peer
list.  If this turns out to be a problem, we can make some protocol
changes (e.g., inserting a peer hint into the packet) later.

Note that an adversary can deny service by capturing legitimate packets
from a mobile source and sending them on with a different address.  The
peer will assume that the target's address has changed.  But to make
this work effectively, the adversary's packet has to reach the target
before (or instead of) the legitimate one, or else the bogus packet will
be rejected for having a duplicate sequence number.  The next packet
received unmodified from the source will switch the target's idea of the
source's address back again anyway.  An adversary who can consistently
prevent packets from being delivered can trivially deny service anyway,
so this isn't actually much of a concern.

server: Repurpose the flags in `peerspec'.

They're now general flags, though they share the bottom bits of the
space with key-exchange flags.  This is just a preliminary refactoring:
we'll be adding some peer-specific flags later.

server/tripe.h: Allow `break' from FOREACH_PEER.

The body was wrapped in do ... while (0); so we have to remove this.

server/keyset.c: Return more informative error codes from ks_decrypt.

Also, do what the commentary says and return zero and break the output
buffer if it's not big enough, rather than returning KSERR_DECRYPT.

The new error codes allow callers to make more sensible decisions about
whether to continue to search for other keys which might work better.

svc/tripe-ifup.in: Support IPv6 address configuration.

This switches the script to use the ip(8) utility for all of its
configuration.

init/tripe-init.in: Pass the `-m' option through to the server.

Unfortunately, tripectl(1) doesn't understand it.

Don't try to change gid unless we're privileged.

This affects both tripe(8) and tripectl(1).  The options are still
useful, since they determine the ownership of the administration socket.

This is a result of a long-standing error by the author, who assumed
that it was possible to setgid(2) to any existing supplementary group.

contrib: Add the Maemo init config for upstart.

contrib: Do proper substitutions on contrib files.

contrib/: New directory for random occasionally-useful stuff.

Allow the caller to configure the administration socket permissions.

Now we can have a group of server administrators.

As part of this, move the change of permissions after the change of
ownership to avoid a brief window where the wrong group might have
access to the socket.

server/admin.c (a_init): Abort if we can't set socket permissions.

I don't think sending a message to trace really captures the severity
of the situation adequately.

server/admin.c (a_init): Restore the old umask after creating the socket.

Makefile.am: Only check SLIP on distcheck.

The other drivers aren't even slightly portable.

Ignore boring return codes properly.

The warning about variables assigned values and then ignored is useful,
as are warnings about ignored return codes sometimes.  But sometimes
ignoring things really is the right answer.

server/privsep.c: Bring SIGCHLD handler in-line.

client/tripectl.c: Unblock SIGCHLD in child.

Otherwise it accumulates zombies like they're going out of fashion.

server/tests.at: Refactor communications test stuff.

More exciting testing will want many of the same hacks.

Also improve the handling of race conditions which may issue warnings:
annotate the server log with custom warnings which instruct a filter to
strip out expected warning messages.

server/tests.at: Work around strace's attempt to overwrite core files.

When strace sees its child process die from a signal, it sends itself
the same signal in order to propagate the exit status accurately.
Unfortunately, if the child process left a core dump, it gets
overwritten by a useless core dump showing how strace committed suicide.

Work around this by running strace in a subdirectory and getting the
child process to run back in the parent.

Also see Debian bug #656389.

server/tests.at: Whitespace fixing.

Didn't have whitespace-mode turned on by default for this stuff.

configure.ac, wireshark/Makefile.am: Leave CFLAGS and CPPFLAGS to user.

Only fiddle with AM_CFLAGS, so that users can use CFLAGS to do stuff
like set debugging and fiddle with optimization settings.  This turns
out to be a bit fiddly because Autoconf doesn't really understand this
stuff.

priv/Makefile.am: Hack `libpriv' so that parallel builds work.

The library `libpriv.a' is built here, but the `libpriv' variable is set
to `$(top_builddir)/priv/libpriv.a' instead, which doesn't match.  The
result is that a parallel build might try to link the helper before
building the library, find that the library (found via the variable)
doesn't exist, and fail.

Fix this by hardwiring the library name locally, since we know where
it's meant to be.  I'd override the variable value but Automake is
petty and prints warnings if I do that.

server/tun-slip.c: Treat ESC END as an error, and junk the packet.

The code already treats ESC ESC as an error, so this is for consistency.

server/admin.c: Use p_tag to fetch the key tag.

It might be null: p_tag knows what to do.

server/tests.at: Various minor cleanups.

  * Remove stray `Keep' from comment.

  * Remove redundant `/' separator from a filename.

  * Fix `3<&1' to `3>&1', because it reflects the data flow better.

server/tests.at: Fix TRIPECTL_INTERACT argument order.

For some reason, the TRIPECTL_INTERACT macro reverses its arguments,
making the first be an argument to `tripectl' and the second be the
script to connect to it.  Only neither call site actually passes the
second argument; instead, both of them pass the script in the first.
Since actually the script begins with a newline, it gets run after
`tripectl' finishes in the same side of the coprocess lash-up.

I have no idea how this has ever worked in the past.  I certainly know
that it doesn't work any more.  So fix it.

init/tripe-init.in: Whitespace fixups.

client/tripectl.c, debian: Fix logging privileges disaster.

Previous behaviour: tripectl starts as root, opens logfile, starts tripe
server, drops privileges, logs happily to file, receives signal,
attempts to open new logfile, and fails miserably.  It therefore
continues logging to the old logfile, which may well have been deleted
by this point.

New behaviour: fix Debianization to put logs in a /var/log/tripe
directory, and arrange for this to be writable by the tripe user; create
the log file after dropping privileges.  If tripectl can't open the log,
it fails, and the tripe server quits due to EOF on stdin.

Version 1.0.0pre10.

svc/conntrack: Add magic `down' peer tags.

The tags `down' and `down/ANYTHING' mean that no peer from the group
should be selected.

server/keymgmt.c: Trivial whitespace fix.

Build system: Use Automake 1.11 `silent-rules'.

This makes warnings much easier to spot in the build transcript.

Various C files: Ignore write errors of UDP and IP datagrams.

These packets are expected to go missing periodically and everyone will
cope.  Unfortunately, GCC wants us to do something with the return code
from write(2), so we explicitly assign it to a write-only variable and
hope that its data-flow analysis is done after it checks for return-code
ignoring.

server/tun-slip.c, server/tripe-admin.5.in: Handle write errors.

The error handling here is a little delicate.  SLIP pipes are marked
nonblocking, so that a slow driver won't hold up the server.  We ignore
EWOULDBLOCK/EAGAIN on the grounds that a dropped packet isn't particularly
disastrous and SLIP is pretty good at resynchronizing.  Other errors
break the tunnel; we issue a warning and stop bothering to write
packets at all until the interface is released and reassigned.  Obviously
dynamic interfaces will be discarded completely; static ones might be
left broken, but at least we'll retry.

Also, add the new warning to the documentation, since write errors weren't
previously something we worried about.

server/tun-slip: Refactor state handling somewhat.

Introduce a new ST_MASK which masks off the state-machine bits.  Use this
when reading SL_END or when setting ST_EOF, so as to preserve any other
state bits which might happen to have been set.  Not that I'm promising
anything...

server/tun-*.c: Include tunnel name in read-error warnings.

For some reason, all of these messages omit the tunnel name, which is
contrary to the documentation (and unlike all of the other tunnel
warning messages).

More minor cleanups.

  * priv/helper.c: Fix `itrace' comment header.

  * server/tripe.h: Remove unused type `admin_greetop'.

priv: Remove references to transferring `tunnel_ops *' pointers.

None of that happens since the helper became a separate executable;
instead, tunnel driver names are passed.  I've taken the opportunity to
fix other fossils in the privilege-separation commentary.

No substantive changes.

debian/changelog: Another version.

Disassociate public key tags from peer names.

Peer names are being used for too much now.  Originally, they /only/
identified the public key.  The peer management services muddy the issue
greatly by mapping peer names to database records.

I propose to resolve this mess in favour of the peer management
services.  The ADD command now takes an optional argument naming the
public key to use to authenticate the peer (defaulting to the peer name,
as before).  The `connect' service consults the peer database to find
which key to pass to the server.

This change modifies the server to support a new `-key' option to ADD,
and use the value of this option in preference to the peer name if it's
supplied.  It also updates the `connect' service to use this option if
necessary.  Finally, there's documentation of the various protocol and
database structure changes, and a small tweak to the test suite to make
sure the whole thing stands a chance of working.

svc/conntrack: Make the kickpeers coroutine more robust.

There are inevitable races between where conntrack enumerates the peers
and when it submits the commands to modify the list.  Also, there's no
guarantee that `connect' -- which we use for initiating peer connections
-- is running at all.  So trap exceptions from the relevant commands and
issue warnings as appropriate.

svc/conntrack.8.in: Document the D-Bus connection state notifications.

These probably aren't very useful for other services, but they're useful
for diagnostics.

peerdb/peers.in.5.in: Fix formatting.

It seems that there's some missing text around here.  This probably
wants filling in before we commit this.

Tag version 1.0.0pre8.1.

py/rmcr.py: Handle stray exceptions from coroutines more sensibly.

With a little luck this means that they won't just vanish silently.

svc/conntrack.in: Force reconnection on local IP address changes.

ICd or NetworkManager might roam to a new network, and tell us about it;
but if we decided that we wanted to stick with the same peer
specification then our peer will continue with the wrong IP address until
watch gets a ping timeout.

Of course, this doesn't trap other reasons we might change IP addresses
without anyone noticing, such as roaming to a different 3G NAT thingummy.

svc/conntrack.in: Fix DBusManager._reconnect to accept bus argument.

The disconnection upcall gets given an argument, whether it wants one
or not.  Accept and ignore it.

svc/conntrack.in: Better diagnostic equipment for D-Bus reconnection.

Send out notifications about the D-Bus connection status.  Also, inspect
some environment variables and decide which bus to connect to, so that
I can have it connect to a special test bus which I can bounce up and
down without destroying the world.

svc/conntrack.in: Keep the D-Bus monitor alive.

Turns out nothing actually tried to keep the monitor alive.  After a
(rather random) interval, the bus just got dropped and we didn't get
any more notifications from anyone.

Stash it in a global variable.

debian/changelog: Long overdue for a new version.

python: Better diagnostics for coroutines.

Provide meaningful names for coroutines, and report switches in the
debug output.

svc/conntrack.in: New service to track connection status.

Works through D-Bus and suchlike overly modern things.

svc/watch.in: Bug fix: addpeer on correct coroutine.

svc/watch.in: Check that the crypto is working in adopted peers.

Previously we only checked for transport.  This can leave a duff peer
running without being fixed.  The downside is that this may end up
repeatedly kicking a no-hoper connection.  Treat crypto setup failure as
grounds for reconnection.