contrib/greet.in: Grotty script to send a TrIPE greeting packet.

Useful for testing.

init/Makefile.am: Install `tripe.conf' as data, not executable.

server/peer.c: Fix `unknown-category' message.

A missing comma caused adjacent-string-literal pasting.

svc/watch.in: Fix startup scan to initialize unwatched connections.

There's no point defining connection parameters for a peer unless
something's going to act on them, and that something is watch(8).  On
startup (the `--startup' switch), we're meant to notice existing peers
(probably established by connect(8)) and ensure that they're set up
properly.  This initial pass over the peer list is done by
Pinger.rescan, which /usually/ is interested only in watched peers that
need pinging.  It therefore ignores unwatched peers, with the result
that pre-existing unwatched peers are left unconfigured.  Subsequent
peers are detected through the notification mechanism and processed by
the addpeers function which works correctly.

Now, if startup is set, Pinger.rescan tracks all peers and invokes
addpeer on them.

The code relies on the fact that a startup scan is done only once, when
the peer list is empty.  Otherwise it'll reconfigure existing peers,
which is probably a mistake.

svc/watch.in: Add some debugging output to the `rescan' function.

Slightly easier to keep track of what's going on.

debian/rules: Throw the contrib scripts into `examples'.

svc/tripe-ifup.in: Explicitly tag routes as `static'.

Otherwise BIRD, in particular, ignores the routes, which is a shame
because we'd ideally like it to propagate them.

peerdb/peers.in: Set passive peers as mobile by default.

svc/tripe-ifup.in: Bring up the interface before adding routes.

It doesn't work the other way around.  Except when I was testing it, for
some reason.

pathmtu/pathmtu.{c,1.in}: New algorithms for path-MTU discovery.

Implement path-MTU discovery using raw sockets rather than Linux's fancy
socket options.  This should improve portability to other systems.

This involves splitting the logic which chooses probe sizes and
determines the resulting MTU from the underlying machinery which
manufactures packets and collects results.

svc/conntrack.in: Don't track the local IP address any more.

If we need to change the peer name, we still need a full renegotiation;
otherwise we can let the mobile-peer machinery deal with us.  This will,
with a little luck, result in a smoother handover when a mobile peer
roams between networks (or gets screwed by NAT).

New peer option `-mobile': follow rapid IP address and port changes.

Mobile devices on 3G networks can change apparent IP address and port
numbers rapidly.  If any peer has the `-mobile' flag (PSF_MOBILE) set,
and a MSG_PACKET message arrives from an unexpected source, see if any
of the `-mobile' peers can decrypt it: if so, update the peer's address
rather than rejecting the packet.

This is inefficient because it involves a linear search of the peer
list.  If this turns out to be a problem, we can make some protocol
changes (e.g., inserting a peer hint into the packet) later.

Note that an adversary can deny service by capturing legitimate packets
from a mobile source and sending them on with a different address.  The
peer will assume that the target's address has changed.  But to make
this work effectively, the adversary's packet has to reach the target
before (or instead of) the legitimate one, or else the bogus packet will
be rejected for having a duplicate sequence number.  The next packet
received unmodified from the source will switch the target's idea of the
source's address back again anyway.  An adversary who can consistently
prevent packets from being delivered can trivially deny service anyway,
so this isn't actually much of a concern.

server: Repurpose the flags in `peerspec'.

They're now general flags, though they share the bottom bits of the
space with key-exchange flags.  This is just a preliminary refactoring:
we'll be adding some peer-specific flags later.

server/tripe.h: Allow `break' from FOREACH_PEER.

The body was wrapped in do ... while (0); so we have to remove this.

server/keyset.c: Return more informative error codes from ks_decrypt.

Also, do what the commentary says and return zero and break the output
buffer if it's not big enough, rather than returning KSERR_DECRYPT.

The new error codes allow callers to make more sensible decisions about
whether to continue to search for other keys which might work better.

svc/tripe-ifup.in: Support IPv6 address configuration.

This switches the script to use the ip(8) utility for all of its
configuration.

init/tripe-init.in: Pass the `-m' option through to the server.

Unfortunately, tripectl(1) doesn't understand it.

Don't try to change gid unless we're privileged.

This affects both tripe(8) and tripectl(1).  The options are still
useful, since they determine the ownership of the administration socket.

This is a result of a long-standing error by the author, who assumed
that it was possible to setgid(2) to any existing supplementary group.

contrib: Add the Maemo init config for upstart.

contrib: Do proper substitutions on contrib files.

contrib/: New directory for random occasionally-useful stuff.

Allow the caller to configure the administration socket permissions.

Now we can have a group of server administrators.

As part of this, move the change of permissions after the change of
ownership to avoid a brief window where the wrong group might have
access to the socket.

server/admin.c (a_init): Abort if we can't set socket permissions.

I don't think sending a message to trace really captures the severity
of the situation adequately.

server/admin.c (a_init): Restore the old umask after creating the socket.

Makefile.am: Only check SLIP on distcheck.

The other drivers aren't even slightly portable.

Ignore boring return codes properly.

The warning about variables assigned values and then ignored is useful,
as are warnings about ignored return codes sometimes.  But sometimes
ignoring things really is the right answer.

server/privsep.c: Bring SIGCHLD handler in-line.

client/tripectl.c: Unblock SIGCHLD in child.

Otherwise it accumulates zombies like they're going out of fashion.

server/tests.at: Refactor communications test stuff.

More exciting testing will want many of the same hacks.

Also improve the handling of race conditions which may issue warnings:
annotate the server log with custom warnings which instruct a filter to
strip out expected warning messages.

server/tests.at: Work around strace's attempt to overwrite core files.

When strace sees its child process die from a signal, it sends itself
the same signal in order to propagate the exit status accurately.
Unfortunately, if the child process left a core dump, it gets
overwritten by a useless core dump showing how strace committed suicide.

Work around this by running strace in a subdirectory and getting the
child process to run back in the parent.

Also see Debian bug #656389.

server/tests.at: Whitespace fixing.

Didn't have whitespace-mode turned on by default for this stuff.

configure.ac, wireshark/Makefile.am: Leave CFLAGS and CPPFLAGS to user.

Only fiddle with AM_CFLAGS, so that users can use CFLAGS to do stuff
like set debugging and fiddle with optimization settings.  This turns
out to be a bit fiddly because Autoconf doesn't really understand this
stuff.

priv/Makefile.am: Hack `libpriv' so that parallel builds work.

The library `libpriv.a' is built here, but the `libpriv' variable is set
to `$(top_builddir)/priv/libpriv.a' instead, which doesn't match.  The
result is that a parallel build might try to link the helper before
building the library, find that the library (found via the variable)
doesn't exist, and fail.

Fix this by hardwiring the library name locally, since we know where
it's meant to be.  I'd override the variable value but Automake is
petty and prints warnings if I do that.

server/tun-slip.c: Treat ESC END as an error, and junk the packet.

The code already treats ESC ESC as an error, so this is for consistency.

server/admin.c: Use p_tag to fetch the key tag.

It might be null: p_tag knows what to do.

server/tests.at: Various minor cleanups.

  * Remove stray `Keep' from comment.

  * Remove redundant `/' separator from a filename.

  * Fix `3<&1' to `3>&1', because it reflects the data flow better.

server/tests.at: Fix TRIPECTL_INTERACT argument order.

For some reason, the TRIPECTL_INTERACT macro reverses its arguments,
making the first be an argument to `tripectl' and the second be the
script to connect to it.  Only neither call site actually passes the
second argument; instead, both of them pass the script in the first.
Since actually the script begins with a newline, it gets run after
`tripectl' finishes in the same side of the coprocess lash-up.

I have no idea how this has ever worked in the past.  I certainly know
that it doesn't work any more.  So fix it.

init/tripe-init.in: Whitespace fixups.

client/tripectl.c, debian: Fix logging privileges disaster.

Previous behaviour: tripectl starts as root, opens logfile, starts tripe
server, drops privileges, logs happily to file, receives signal,
attempts to open new logfile, and fails miserably.  It therefore
continues logging to the old logfile, which may well have been deleted
by this point.

New behaviour: fix Debianization to put logs in a /var/log/tripe
directory, and arrange for this to be writable by the tripe user; create
the log file after dropping privileges.  If tripectl can't open the log,
it fails, and the tripe server quits due to EOF on stdin.

Version 1.0.0pre10.

svc/conntrack: Add magic `down' peer tags.

The tags `down' and `down/ANYTHING' mean that no peer from the group
should be selected.

server/keymgmt.c: Trivial whitespace fix.

Build system: Use Automake 1.11 `silent-rules'.

This makes warnings much easier to spot in the build transcript.

Various C files: Ignore write errors of UDP and IP datagrams.

These packets are expected to go missing periodically and everyone will
cope.  Unfortunately, GCC wants us to do something with the return code
from write(2), so we explicitly assign it to a write-only variable and
hope that its data-flow analysis is done after it checks for return-code
ignoring.

server/tun-slip.c, server/tripe-admin.5.in: Handle write errors.

The error handling here is a little delicate.  SLIP pipes are marked
nonblocking, so that a slow driver won't hold up the server.  We ignore
EWOULDBLOCK/EAGAIN on the grounds that a dropped packet isn't particularly
disastrous and SLIP is pretty good at resynchronizing.  Other errors
break the tunnel; we issue a warning and stop bothering to write
packets at all until the interface is released and reassigned.  Obviously
dynamic interfaces will be discarded completely; static ones might be
left broken, but at least we'll retry.

Also, add the new warning to the documentation, since write errors weren't
previously something we worried about.

server/tun-slip: Refactor state handling somewhat.

Introduce a new ST_MASK which masks off the state-machine bits.  Use this
when reading SL_END or when setting ST_EOF, so as to preserve any other
state bits which might happen to have been set.  Not that I'm promising
anything...

server/tun-*.c: Include tunnel name in read-error warnings.

For some reason, all of these messages omit the tunnel name, which is
contrary to the documentation (and unlike all of the other tunnel
warning messages).

More minor cleanups.

  * priv/helper.c: Fix `itrace' comment header.

  * server/tripe.h: Remove unused type `admin_greetop'.

priv: Remove references to transferring `tunnel_ops *' pointers.

None of that happens since the helper became a separate executable;
instead, tunnel driver names are passed.  I've taken the opportunity to
fix other fossils in the privilege-separation commentary.

No substantive changes.

debian/changelog: Another version.

Disassociate public key tags from peer names.

Peer names are being used for too much now.  Originally, they /only/
identified the public key.  The peer management services muddy the issue
greatly by mapping peer names to database records.

I propose to resolve this mess in favour of the peer management
services.  The ADD command now takes an optional argument naming the
public key to use to authenticate the peer (defaulting to the peer name,
as before).  The `connect' service consults the peer database to find
which key to pass to the server.

This change modifies the server to support a new `-key' option to ADD,
and use the value of this option in preference to the peer name if it's
supplied.  It also updates the `connect' service to use this option if
necessary.  Finally, there's documentation of the various protocol and
database structure changes, and a small tweak to the test suite to make
sure the whole thing stands a chance of working.

svc/conntrack: Make the kickpeers coroutine more robust.

There are inevitable races between where conntrack enumerates the peers
and when it submits the commands to modify the list.  Also, there's no
guarantee that `connect' -- which we use for initiating peer connections
-- is running at all.  So trap exceptions from the relevant commands and
issue warnings as appropriate.

svc/conntrack.8.in: Document the D-Bus connection state notifications.

These probably aren't very useful for other services, but they're useful
for diagnostics.

peerdb/peers.in.5.in: Fix formatting.

It seems that there's some missing text around here.  This probably
wants filling in before we commit this.

Tag version 1.0.0pre8.1.

py/rmcr.py: Handle stray exceptions from coroutines more sensibly.

With a little luck this means that they won't just vanish silently.

svc/conntrack.in: Force reconnection on local IP address changes.

ICd or NetworkManager might roam to a new network, and tell us about it;
but if we decided that we wanted to stick with the same peer
specification then our peer will continue with the wrong IP address until
watch gets a ping timeout.

Of course, this doesn't trap other reasons we might change IP addresses
without anyone noticing, such as roaming to a different 3G NAT thingummy.

svc/conntrack.in: Fix DBusManager._reconnect to accept bus argument.

The disconnection upcall gets given an argument, whether it wants one
or not.  Accept and ignore it.

svc/conntrack.in: Better diagnostic equipment for D-Bus reconnection.

Send out notifications about the D-Bus connection status.  Also, inspect
some environment variables and decide which bus to connect to, so that
I can have it connect to a special test bus which I can bounce up and
down without destroying the world.

svc/conntrack.in: Keep the D-Bus monitor alive.

Turns out nothing actually tried to keep the monitor alive.  After a
(rather random) interval, the bus just got dropped and we didn't get
any more notifications from anyone.

Stash it in a global variable.

debian/changelog: Long overdue for a new version.

python: Better diagnostics for coroutines.

Provide meaningful names for coroutines, and report switches in the
debug output.

svc/conntrack.in: New service to track connection status.

Works through D-Bus and suchlike overly modern things.

svc/watch.in: Bug fix: addpeer on correct coroutine.

svc/watch.in: Check that the crypto is working in adopted peers.

Previously we only checked for transport.  This can leave a duff peer
running without being fixed.  The downside is that this may end up
repeatedly kicking a no-hoper connection.  Treat crypto setup failure as
grounds for reconnection.

python: Refactoring of I/O events and suchlike.

There are a number of problems with the current arrangement.

  * The service manager main loop is tied to getting I/O events through
    mLib.  There's a new service coming up which wants to collect D-Bus
    signals, and that involves using the glib event loop instead.

  * Some services seem to (still) have coroutine scheduling bugs:
    they're calling functions from the wrong coroutine.  The utilities
    in tripemon would be useful, but they're tied to the glib event
    loop.

So here's the proposed fix.

  * SelCommandDispatcher is a mistake.  Split its functionality out into
    a separate class which can be plugged into TripeConnection or one of
    its descendants, so that clients which want a glib-based dispatcher
    can replace it without having to overturn the class hierarchy.

  * Move the scheduling utilities (`idly', `aside') from tripemon into
    tripe.py.  Make them available from services by providing a main
    loop in TripeConnection.

A few more wrinkles.

  * `idly' is renamed `defer' because that's what it does now: rather
    than waiting until there are no events incoming, it clears the decks
    of all deferred operations before looking for more events.

  * The interface of `spawn' has changed.  You provide a function to
    call in a new coroutine rather than a freshly minted coroutine that
    needs hacking.  All uses of `spawn' fit this pattern, so it's not a
    big deal, but it's worth mentioning.

py/rmcr.py: More useful diagnostics for uncaught exceptions.

Well, at least if you turn debugging on.

debian: Lintian fixes.

  * Build-Depends on python-central.

  * tripe Depends on udev.

  * tripe-wireshark needs shlibs:Depends.  (This doesn't seem to work,
    though.)

Lots more work to go on this, though.

pkstream/pkstream.1.in: Fix synopsis misformatting.

A trailing tab got clobbered in e04c2d50fd96f3f31bc96851c55c6efecc10469c
and this messed up the formatting.  Restore the tab and put `\c' after
it to make this not go wrong again.

build: Install some more files to their eventual locations.

Install the base peers.in file as ${configdir}/peers.d/10base as a
convenience to users.  It's correct to clobber the user's old file,
since there's a fierce warning at the top of the file.  (Make the
warning more fierce.)

Install the startup script configuration file (but not the script
itself), only if there isn't one already.  This prevents us from
overwriting a user's customized configuration.

To prevent distcheck from failing, change the default of `initconfig' to
be ${sysconfdir}/tripe.conf; this is probably the right thing anyway.

init: Add some rudimentary support for SLIP interfaces.

This isn't strictly necessary, but it's probaby good form for those
systems which aren't as fortunate.

init/tripe-init.in: Make init script more readable.

Restyle to follow newer commenting conventions.  Reorganize the
pre-flight check into a single `case' rather than nested ones.  Also add
an LSB header to shut up annoying warnings.

debian: Run the server as `tripe' rather than `root'.

We have the fancy privilege separation machinery now, so we might as
well actually use it.  This involves (a) slightly hacking the
/etc/default/tripe file to set the user and group, and (b) actually
creating the necessary user and group accounts in the postinst script.

README: Rewrite.

The old version was almost completely useless.  The new one is much more
informative, though maybe a little on the chatty side.

init/tripe.conf: Reformat, and make comments more useful (and truthful).

Make `tripe' be the default key type.

Rather than using the key type to tell us which key-exchange group type
to use, read it out of an attribute on the key.  This makes the whole
finding keys thing much simpler to explain (although the code becomes
slightly more complicated).  Fall back to the old behaviour of parsing
the group type out of the key type if there's no attribute.

Reorganize the tripe(8) manual page somewhat.  Remove the tutorial-ish
part, which is now out of place and not very useful; there's a proper
Texinfo manual coming soon.

Build: Kill $(mkdir_p); use $(MKDIR_P).

Remove definition from vars.am; use MKDIR_P in Makefiles.

server/tun-slip.c: Pass correct stdout to child process.

Botched when introducing mdup in b9537f3be...

tripemon: Major reworking to use new module and coroutines.

The old version was a bit of a crock, really.  This one's slightly
shorter, as well as probably being easier to maintain (which is
surprising, given the brain-wrenching nature of the flow control).

svc: Peer management services.

  * connect arranges to connect to named peers, and respond to incoming
    connections.

  * watch detects newly added peers, and configures interfaces and makes
    outgoing connections accordingly.

Also update the init script so as to start services found in
/etc/tripe/services.

init: Introduce the peer database.

Our services will require information about the various possible peers.
This is held in a CDB file with an open-ended format, and constructed
from a text database by a Python utility tripe-newpeers.

This stuff doesn't yet have a Debian package to live in.  That will
appear in a few patches' time.

py: New Python module for writing services and suchlike

Also rmcr: coroutines in terms of threads.

Other changes:

  * The new module uses Python 2.4 features, so make sure we have that
    version.

doc/tripe-service.5: New manpage describing service providers.

General command-line and documentation conventions, that sort of thing.

server/tripe-admin.5.in: Change `recognise' to `recognize' etc.

Oxford spellings, you know.

server/tripe-admin.5.in: Document `unknown-jobid' error code.

Not quite sure how come this was omitted in the first place.

server/tripe-admin.5.in: Some typo fixes.

Use new mdup(3mLib) function.

It makes descriptor juggling much more reliable.  Increase version
requirement on mLib to 2.1.0.

pathmtu: Reset the timeout on each packet.

Linux actually has the correct behaviour and updates the timeout
argument to reflect the time remaining.  Unfortunately we don't actually
want to do that.  So reset it each time.

Build: Fix construction of manual pages.

Firstly, there was a bug in vars.am: the suffix rule used to construct
manpages was broken because suffix rules aren't allowed to have
dependencies of their own.  So purge defs.man.in (we now just have
defs.man) and confsubst the entire manpage each time.

Secondly, in preparation for new manpages for services, consolidate the
summary-building machinery into vars.am.  The server makefile no longer
needs a special case for tripe-admin.8.

To keep things tidy, defs.man and make-summary have been stashed in
common.  This seems as good a place as any.

keys: Fix defaults and documentation.

A small number of related changes.

  * Make the default encryption algorithm be Rijndael (AES) rather than
    Blowfish.  I think this is now the right recommendation to make,
    even if it's not my personal taste.  (I'm actually using Twofish
    nowadays anyway.)

  * Make the default field size for Schnorr groups be 3072 bits rather
    than 2048, which reflects the advice given by NIST and IEEE 1363.

  * Reformat the tripe-keys.master file in line with current thinking.

  * Fix a minor typo in tripe-keys.conf.5.in.

maint-utils/keysubst: A monstrously unpleasant sed hack.

This parses tripe-admin(5)-format key/value pairs and converts them into
sh(1)-style variable assignments, which can be interpreted using the
eval builtin.

server/tripe-admin.5: Describe the quoting convention.

Even though the admin interface has handled quoted arguments on input,
and became careful about quoting results in f43df81, the convention
has never been documented.  Fix this appalling lapse!

Manpages: Fix substitutions.

The manfix utility in fc916a0942e6ef8f63aefb96119d0e4fd7c7efbb botched
all the \*(/x splats, with the result that they were left them in the
final output.

priv: Fix build.

This fixes a logical conflict between the privilege separation branch
and commit 7bd7331ea55fc27573035d343fe949cc15fa9047.

Merge branch 'privsep'

* privsep:
  server: Introduce privilege separation.
  server: Zap spurious space output by a_vformat.
  server: Make a_vformat public.
  server: Set admin socket permissions to match user.
  client: Capture server stderr and send it to the logfile.
  client: Better logging infrastructure.
  client: Clean up variable declarations.
  client: New options for setting user and group identities.
  client: Function for inserting arguments.
  peer, tunnels: New file-descriptor opening interface.

Conflicts:

server/Makefile.am

Merge branch 'public'

* public:
  pathmtu: New program for determining the MTU to a host.
  server/admin: New ALGS command.
  Build: Explicitly link against mLib or catacomb.
  tripe-keys: Add a subcommand to print the correct tunnel MTU.
  client/tripectl.c: Fix format string bug in tripectl.
  init/Makefile.am: Switch install-hook to install-data-hook.
  configure.ac: Use AM_PATH_GLIB_2_0.

pathmtu: New program for determining the MTU to a host.

Eventually, this will be used automatically when configuring network
interfaces.

server: Introduce privilege separation.

During initialization, we fork off a child which retains its root
privileges, and maintain communication with it via a Unix-domain socket
pair.  To open a new tunnel, we send it a request and it responds by
passing back the appropriate file descriptor.

The helper process running as root is implemented in a separate program,
tripe-privhelper.  This is done (a) to reduce memory use, (b) to trigger
close-on-exec behaviour and (c) to provide a clear boundary in the
source code for the parts which still run with superuser privileges.

This entails moving our tunnel-open functions into a separate program,
and doing the necessary build-system hacking.  The changes to existing
code aren't as invasive as they at first appear.

server: Zap spurious space output by a_vformat.

server: Make a_vformat public.

We'll need it soon enough.