server/peer.c, etc.: Introduce who-goes-there protocol.

If a laptop (say) has been asleep for a short while, then its peer has
likely forgotten about it, but it will wait for a ping-timeout cycle
before attempting to reconnect.

Introduce a new protocol to speed this up.

  * When a packet which contains a ciphertext (e.g., `MSG_PACKET',
    `MISC_EPING') is received from an unknown sender, then send back a
    `MISC_WGT' (`who-goes-there') message quoting a prefix of the
    offending packet.  These are rate-limited so that TrIPE can't be
    used as an amplifier.  (Under adverse circumstances, we fall back to
    the old timeout mechanisms.)

  * When a `MISC_WGT' packet is received, we check to see whether the
    peer is configured with a `knock' string, and the quoted prefix
    matches a message we sent to that peer recently.  If so, we try to
    restart the key-exchange protocol.  Hence, an adversary who can't
    read the wire has very little chance of proviking a pointless
    key-exchange.  The 20 s cooling-off period still applies, so even an
    adversary who /can/ read the wire can't do too much harm.

server/tests.at: Abstract out the wait-for-knock machinery.

We'll want it again soon.

server/peer.c (p_txend): Rework the success path.

Now it's less confusing to add other kinds of success actions here.  Not
that I wiol on-haven try to do this in an alternate future or anything.

server/peer.c: Add a flags argument to `p_txend'.

svc/connect.in: Maintain time of last reconnect attempt and add rate limit.

This isn't used yet, but it's there as a general mechanism.

Don't rate-limit reconnections provoked by the pinger internally because
(a) these are relatively infrequent anyway by the nature of the pinger
mechanism, and (b) the current rate-limiting strategy is simply to
ignore a reconnection request if we've already made an attempt fairly
recently, so there isn't (and it's not worth building) the necessary
machinery to defer reconnection, and determine whether a deferred
reconnection is still needed.

svc/connect.in: Pass time into `Pinger._reconnect'.

The callers already know.

svc/connect.in: Stash the time in a variable rather than fetching inline.

svc/connect.in: Change the idiom for handling peer nonexistence.

Use `try/except/else' rather than `try/except return'.  It's hardly more
writing for a better code structure.

svc/connect.in: Use new `FORCEKX -quiet' when attempting reconnect.

If the remote peer has forgotten us, and we must run a command to
reinform it of our existence, then we shouldn't immediately send key-
exchange messages because they'll probably be rejected.  Instead, use
the new `-quiet' option to cancel the cooling-off timer and wait for it
to contact us -- similarly to how we used `-cork' when adding the peer
in the first place.

server/admin.c: Add `-quiet' options to `forcekx' and `kill'.

These will be useful in testing.  Document them anyway, even though
they're probably useless for any other purpose.

Merge remote-tracking branch 'origin/mdw/found-crybaby'

* origin/mdw/master.found-crybaby:
  server/bulkcrypto.c: Document the procedures for producing challenges.
  server/chal.c: Add a missing blank line.
  server/tripe-admin.5.in: Place the blame correctly for a couple of errors.
  svc/connect.8.in: Fix message formatting.
  server/tripe-admin.5.in: Remove incorrect blame on Catacomb.
  server/tripe-admin.5.in: Improve some clumsy wording.
  server/tripe-admin.5.in: Add cross-reference for ECODE and MESSAGE.
  server/tripe-admin.5.in: Add missing origin-command notes to errors.
  server/tripe-admin.5.in: Use gender-neutral pronouns.
  server/bulkcrypto.c: Fix description comment for AEAD schemes.
  py/tripe.py.in: Raise an error if a command token contains a newline.

svc/connect.in: Use the service's version, not the TrIPE library version.

svc/connect.in: Fix latent type errors in info output.

Before we've had an answer to the first `ping', the mean and standard
deviation aren't properly defined.  We attempt to avoid this by setting
them to `-', but then try to format them using `%f', which isn't going
to work well.  Fix this and some related problems with the minimum and
maximum times.

server/bulkcrypto.c: Document the procedures for producing challenges.

server/chal.c: Add a missing blank line.

server/tripe-admin.5.in: Place the blame correctly for a couple of errors.

svc/connect.8.in: Fix message formatting.

svc/connect.in: Qualify reference to symbol in `tripe' module.

Oops.

server/admin.c: Remove spurious `ping' in usage message.

Oops.

server/tests.at: Quote messages being echoed.

For consistency, and to make the literals stand out in my editor.

server/tripe.8.in: Fix the reference for trace options.

server/tripe-admin.5.in: Fix out-of-date information about `kill'.

It does sometimes send a `bye' message now.

svc/connect.in: Make `failures' info value be a string.

Otherwise we choke when presenting it for the `info' command.

peerdb/tripe-newpeers.in: Reflow an overlong comment.

common/defs.man: Set the font for the running headers as well as the body.

This involves switching environments.

peerdb/peers.in.5.in: Fix `.' which should have been `,' between list items.

keys/tripe-keys.conf.5.in: Delete entirely spurious `rijndael-cbc'.

No idea where that came from.  Looks like copy-and-paste debris from
when that table was originally added.

keys/tripe-keys.conf.5.in: Use `\-' (minus) for options, not `-' (hyphen).

keys/tripe-keys.conf.5.in: Generally enclose literal strings in quotes.

keys/tripe-keys.conf.5.in: Typeset parameter names in bold.

Not sure why I decided to set these in italics when I started.  It
doesn't make a great deal of sense.

server/tripe-admin.5.in: Remove incorrect blame on Catacomb.

The serialization formats are handled entirely within `tripe'.

server/tripe-admin.5.in: Improve some clumsy wording.

server/tripe-admin.5.in: Add cross-reference for ECODE and MESSAGE.

server/tripe-admin.5.in: Add missing origin-command notes to errors.

server/tripe-admin.5.in: Use gender-neutral pronouns.

server/bulkcrypto.c: Fix description comment for AEAD schemes.

While it's true that actual encryption doesn't require AAD processing,
the challenge handling /does/.

py/tripe.py.in: Raise an error if a command token contains a newline.

This should never happen, and it confuses the client quite badly if it
does.

Merge branch '1.0.0pre19.x'

* 1.0.0pre19.x:
  svc/connect.in: Squash newlines to spaces in `info' output.
  server/admin.c: Fix `=' vs `==' error in assertion.
  svc/tripe-ifup.in: Don't set remote IPv6 address until interface is up.

svc/connect.in: Squash newlines to spaces in `info' output.

Otherwise all sorts of things go horribly wrong.

server/admin.c: Fix `=' vs `==' error in assertion.

Oops.  Well, at least this /shouldn't/ have done anything bad...  I
guess GCC has only just started warning about this because older
versions of <assert.h> provide the necessary parentheses already.

server/peer.c: Always send `BYE' packets on peer death.

The peer can ignore them if it likes.  The point really is that
different ends of a connection can have different ideas about its
ephemeral-ness without any logical problems.

server/admin.c: Don't automatically mark `knock' peers as ephemeral.

This was a bad idea on my part.

Consider a server which lives behind NAT, and therefore needs to use
`knock' or some similar dynamic arrangement so as to inform its peers of
its current public address.  This shouldn't be considered ephemeral.  In
particular, if its peer decides, because of flaky networking, say, that
it's no longer available, and sends a `BYE' packet, our server shouldn't
actually stop trying to re-establish the connection.

server/tests.at (knock): Tell `bob' explicitly that `alice' is `ephemeral'.

This is currently redundant, but I'm planning to modify the way
ephemeral peers work.

t/Makefile.am: Run the tests in parallel.

Now that the ephemeral ports stuff works, this seems like a good plan.

svc/tripe-ifup.in: Don't set remote IPv6 address until interface is up.

This is annoying.  Later Linux kernels complain about adding routes to
an interface which is still down.

debian/: Bump to Debhelper 10.

server/bulkcrypto.c: Replace dynamic assertions with static ones.

This adds a dependency on mLib 2.4.1.

proxy/tripe-mitm.c, server/tests.at: Optionally use kernel-assigned ports.

Add an option for the `peer' ports in `tripe-mitm' to be allocated by
the kernel, and for the port numbers to be written to named files.  Use
this in the tests so as to avoid conflicts between concurrent instances
of the tests.  It's not perfect: some of the tests require that a new
`tripe-mitm' take over a port from an old one, and there's a chance that
some other process might have grabbed it in between -- but it's much
better than it was before.

I should also consider using `noip' for this testing.

Release 1.5.3.

peerdb/tripe-newpeers.in: Fix output crash when there are `user' records.

Oh, dear.  This really hasn't been a good release.

Release 1.5.2.

Fix bungled `tripe-wireshark' package.

Release 1.5.1.

server/tests.at: Add roundtrip test for the crypto transforms.

This should avoid future débâcles like the one we had this time.

server/test.c: Trace the key-exchange and bulk crypto details.

server/test.c: Don't try to trace if it's turned off.

server/test.c: Don't segfault if the keyring is bogus.

server/tripe-admin.5.in: Document the `unsuitable-aead-cipher' warnings.

This was missed out of the earlier AEAD work.

server/tripe-admin.5.in: Reorder the `KEYMGMT' warnings.

Now they're alphabetical by complaint.

server/bulkcrypto.c: Support smaller nonce spaces, down to 40 bits.

Pack the type into the available space, however small it is.

server/bulkcrypto.c: Abstract out the AEAD nonce formatting.

No functional change at this time.

server/bulkcrypto.c: Adjust the scale in the data-format diagrams.

Two spaces per byte seems to work well.

server/bulkcrypto.c: Fix segfault in `aead' algorithm setup.

I think I must have completely failed to test this prior to release.
Brown paper bag time.  Add a new keyring to test this sort-of properly.

Release 1.5.0.

configure.ac, debian/control: Set Catacomb version now that it's released.

Merge remote-tracking branch 'origin/1.0.0pre19.x'

* origin/1.0.0pre19.x:
  Release 1.0.0pre19.1.
  debian/: Use `dh_python2' for packaging.

debian/control: Move the Wireshark gubbins back to general `Build-Depends'.

The Wireshark plugin directory is architecture-specific, so, while the
Lua dissector is architecture-neutral, the install directory isn't and
we have to build a separate package for each architecture.

This is rather vexing.

server/bulkcrypto.c: Implement a bulk transform based on AEAD schemes.

Reimplement `naclbox' mostly in terms of this.  It doesn't quite fit,
because `naclbox' can't be used directly for challenges.

server/tripe.8.in: Use Rogaway's spelling `blockcipher' consistently.

server/keymgmt.c: Trace the bulk-transform name.

Most of the bulk-crypto trace is pretty good, but somehow I failed to do
this before.

pathmtu/pathmtu.c: Disable `raw' strategy if we don't have getifaddrs(3).

This isn't available on Android earlier than N.

pathmtu/pathmtu.c: Place `addreq' with the rest of the `raw' strategy.

It's not needed for the `linux' strategy.

pathmtu/pathmtu.c: Indent conditional `#define' properly.

server/Makefile.am: Build most of the server into a library.

As a bonus, we get to avoid having to mention most of the files twice to
build both the server proper and the test program.

server/: Make initialization errors be non-fatal and restartable.

It should now be possible to trap any error during startup, change any
part of the configuration, shut down the affected components, and
restart everything again, without taking down the whole process.

Mostly, this involves replacing the existing calls to `exit' with
goto-cleanup and return codes.  In some cases, the existing
functionality has been reordered to make cleanup easier.  I didn't leave
this for a separate commit, because including those changes here makes
it clearer what they're for and should make it easier to check that
they're the right fixes.

The details are:

  * admin.c (a_listen): Move resetting the `umask' to the end.

    Specifically, after the last part of the function that can fail.
    This avoids a double reset if the final part, the call to listen(2),
    fails.

  * admin.c (a_init): Move creation of the service table to the end.

    This isn't (currently) a thing that can be cleaned up, so do it only
    after the parts that can fail -- specifically, initializing ADNS.

  * keymgmt.c (kh_init): Use `kh->kf' as a flag to prevent double init.

    As mentioned earlier, this is cleared by the static initializer, so
    we can safely assume that `kh->kf' is null if and only if the
    keyhalf requires initialization.

    Also, reorder slightly, to establish the cache hashtable only after
    the keyring file has been read.

  * keymgmt.c (km_init): Refresh before fetching the master key.

    Suppose we fail to initialize because the master key is missing.
    The right fix is to update the keyring file with the proper key, and
    then retry.  But at this point the private keyhalf has been
    initialized; so we must force a refresh of the keyring data.

  * keymgmt.c (km_init): Be idempotent regarding the master key.

    If there's a master key cached, then don't clobber it if we can't
    find it again.  On the other hand, if we find a different one this
    time then switch.

server/tripe.c, server/standalone.c: Split `main' out into a seprate file.

We can also remove the temporary hacks from `test.c'.

server/: Build a proper interface for handling tunnel classes.

  * Introduce functions for enumerating the available tunnel types,
    looking one up by name, and returning a default tunnel.  This
    eliminates the direct access previously used by the admin code.

  * Introduce a registration interface.  This isn't necessary for our
    purposes, but, in case it's not been obvious enough, the recent
    changes have been directed towards making the server code suitable
    as a library, and a user of this library might well need a custom
    tunnel class.

server/keymgmt.c: Capture copies of the keyring and tag strings.

Slightly complicated because the private-key tag can legitimately be
null to indicate that the old-fashioned search by key-exchange group
thing should be done.

server/keymgmt.c, server/tripe.c: Add `km_clear' to shut down keyrings.

A bit more fiddly than our previous efforts, but this completes the job
of unwinding all of the configurable components of the server.  The main
thing that doesn't get reset is the set of extant admin connections, and
I intend to leave those running until we have no choice.

server/peer.c, server/tripe.c: Add `p_unbind' to tear down the UDP sockets.

server/keymgmt.c (kh_init): Remove pointless setting of `kh->kf'.

It's statically initialized to be null.  The only reason it might not be
is because we already changed it.  Hmm... that gives me an idea.

server/tripe.c, server/admin.c: Add a way to end the main loop.

This replaces the rather abrupt `a_quit' function.  Cleanup is handled
in `main', using the facilities added recently.

For now, there's a stub version of `lp_end' in `test.c', joining
`iv_...' from earlier.

server/peer.c, server/admin.c: Introduce `p_destroyall'.

Rather than having the loop in `a_quit' directly.

server/admin.c: Introduce `a_unlisten' to shut down the admin socket.

server/peer.c: Engage the interval timer only while there are peers.

The reason we need the interval timer is (a) to top up the entropy pool,
and (b) to clean up old keysets.  If there are no peers, we do no key
exchange, so we don't need any random bits, and there are no keysets to
clear away.  So we can save wakeups in this case.

For now, there are stub versions of `iv_(add|rm)reason' in `test.c', but
these will vanish once we split `main' out into its own file.  (Spoiler
alert!)

server/tripe.c: Formalize the main loop machinery.

The new `lp_init' function has taken on a number of miscellaneous
initialization tasks.  But nothing has really changed much.

server/tripe.c: Formalize the interval-timer arrangements.

The hard stuff is now (mostly) detached from the main initialization
code.  There's also some machinery, currently unused, for disabling the
interval timer while it's not doing any good, which might be useful in
energy-constrained devices.

server/keymgmt.c: Replace ad-hoc `die' with an `ABORT'-level warning.

It's either this or an `assert', and for some reason I didn't do that
the first time.

server/peer.c (p_bind): Add the selector after fetching the port number.

This will make more sense later.

server/: Issue `WARN' messages for (most) initialization errors.

Now, most initialization problems which aren't to do with duff arguments
are diagnosed as `WARN' messages rather than human-readable messages on
stderr.

Document the new warnings.

server/tripe.c: Establish the stdio admin client early.

This way, warnings from peer initialization, for example, are reported
to the stdio admin client rather than stderr.

server/admin.c (a_format): Introduce `?ERR' for explicitly named errors.

Judging by the documentation, `?ERRNO' is supposed to take an `int'
argument and format the error it specifies; but it actually works by
examining `errno', and all the callers know this.  Changing it now seems
pointless, but I do want to be able to report errors in cases where
`errno' is or might be stale, and stuffing an error code back into
`errno' just so that it can be reported seems rather ugly.

Instead, add `?ERR' which /does/ accept an `int' argument, and fix the
documentation so that it describes reality.

server/admin.c (a_listen): If stat(2) says the socket has gone, then retry.

This saves us from making an embarrassing `stat failed because ENOENT'
report.

server/keymgmt.c: Remove redundant error reports.

Any I/O errors encountered while reading the key file will have been
reported already.  In the same terms.

Previously, the final `die' message wasn't actually redundant, because
the earlier warnings got swallowed if we were going to run as a daemon.
It's obviously wrong that this happened, and the underlying cause has
been fixed properly now, so this isn't a concern any more.

server/tripe.c: Be more clever about when to switch error output.

If we're going to detach and be a daemon, then we don't adopt
stdin/stdout as an initial administration client -- because we're going
to close these streams and disassociate from the surrounding
environment.  On the other hand, if we /are/ going to adopt
stdin/stdout, it makes sense to report errors to the client listening
there as soon as we can, so that they can keep informed of our
progress.  So take advantage of the new flexibility afforded by the
`a_switcherr' function, and switch the error output early or late
depending on whether we're going to daemonize.

server/keymgmt.c (kh_reopen): Promote the happy path.

server/: Split peer and admin initialization into smaller pieces.

Split admin initialization into:

  * setting up internal data structures, which is `a_init' as before;

  * establishing the daemonic signal handlers, which is now `a_signals';

  * creating the admin socket and listening for incoming connections,
    which is now `a_listen'; and

  * switching alert reporting over to admin clients rather than stderr,
    which is now `a_switcherr'.

Given that `a_listen' now need not actually be called, only unlink the
socket object if we actually created it.

Split peer initialization into:

  * setting up the data structures, which is `p_init' as before; and

  * creating the UDP sockets for communicating with other peers, which
    is now `p_bind'.

This will make sense in context.

squash! server/: Split peer and admin initialization into smaller pieces.

server/admin.c: Split out signal-handler establishment.

server/admin.c: Note that it's safe to call `a_create' before `a_init'.

A good thing too, because we do exactly this.

server/tripe.c: Don't start privsep helper unless some tunnel needs it.

It just saves having a useless process hanging off the side.

server/: Record port number with UDP socket, rather than querying.

The old `p_port' function queried getsockname(2) at runtime, and bailed
in the (very unlikely) event that it failed.  Avoid this situation by
recording the port number when the socket is set up and just using the
recorded value when it's needed.

This was the only remaining abnormal exit after the server has started.

server/: Wrap `udpsock' selectors up in a custom structure.

Now we can easily add more per-socket information.  No functional change
at this stage.