pubkeys: Improve debug message for expected ENOENT

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Pass a cloc to loadpub

This will be used for error reporting.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Move path and lno into a struct cloc

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Print file path in some log messages

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Introduce `pkgf' fallback groups

This involves a new directive alias facility.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Provide `fallback_skip' variable

Currently nothing sets this nonzero.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Provide ability to add extra action to KEYWORD

Nothing uses this yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkeys: Provide parser (and spec) for peer pubkeys files

Nothing uses this yet; also, we don't have code in make-secnet-sites
to generate these either.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

portability: Provide implementation of fmemopen

We are going to want one of these.  I have tested it as follows:

1. In configure.ac just before AC_CHECK_FUNCS, add:  LIBS+=-lbsd
2. In osdep.c, add:  #include <bsd/stdio.h>
3. Change all fmemopen to Yfmemopen, with
     git-ls-files | perl -lne 'print if lstat and -f _' | xargs perl -i~ -pe 's/fmemopen/Y$&/gi'

The result is that we do not find Yfmemopen.  The tests still pass and
I have verified that my stunt implementation is called.

FTR, this rune undoes the Y:
     git-ls-files | perl -lne 'print if lstat and -f _' | xargs perl -i~ -pe 's/Y(fmemopen)/$1/gi'

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Provide osdep.[ch], currently empty

These will be used for compatibility implementations.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

base91: Python: make `import' work

We have subtree merged the base91 python module as base91-python.

We will want to be able to `import base91'.  So make a symlink
`base91.py', and arrange to install it.  ($(INSTALL) installs a copy
of the file, not the link, as we need it to.)

This is getting rather intimate with the file structure of the
upstream base91-python.  If base91-python ever becomes more
complicated, and this breaks, it would surely be best to make it into
its own package.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

base91: CREDITS: Add information about Python library

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Add 'base91-python/' from commit '749aa78cf12496cca4b9bf3eafe045809fc0da10'

Upstream is
    https://github.com/Fuyukai/base91-python

git-subtree-dir: base91-python
git-subtree-mainline: 7fcfcb3210f7bdaddc5a1fc68586846b31adab63
git-subtree-split: 749aa78cf12496cca4b9bf3eafe045809fc0da10

base91: Link it into secnet

This means that code in secnet can #include it and then call it.
Nothing does yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

base91: Patch the C version for our charset change

The base91.c.patch file was made by editing base91.c by hand and
running git diff.  The change to enctab is the obvious one.
The change to dectab was simply done by hand based on inspection.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

base91: Build the C basE91 code with our own renaming

We want to use a variant character set.  This will mean patching the
library.  (That will happen in a moment.)  It seems unwise, and
perhaps rude, to make a thing that has the same name as the official
basE91 but has a different and incompatible encoding.

So we change all the names: `basE91' and `base91' become base91s.

We don't change the leaf filenames because that's rather
inconvenient.  We do put it all in a base91s subdirectory.

Rather than running the basE91 upstream makefile, or trying to sed it,
or something, we simply make our own makefile.  It is simple enough.
The only complication is that the "source" files are all actually made
by this name substitution perl rune.

Overall, the chief result is that we build a base91s/base91s utility,
by default.

Right now it does not have our charset change, so it is not ready for
use yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

base91: CREDITS: Add information about C library

We introduced this in the previous commit, but it is a bit awkward to
combine this change with a subtree merge.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Add 'base91-c/' from commit '664054e8f603f09badb98ef09ee1bd1e58d93659'

I imported a tarball download from
    http://downloads.sourceforge.net/base91/base91-0.6.0.tar.gz
and then made few commits of my own; you can find my base91-c at
    https://www.chiark.greenend.org.uk/ucgi/~ianmdlvl/githttp/base91.git

git-subtree-dir: base91-c
git-subtree-mainline: ed50eaeb8f01deade6e230811de72ba19da7e32f
git-subtree-split: 664054e8f603f09badb98ef09ee1bd1e58d93659

syntax: Support &: literal (for make `grouped' multiple targets)

Very recent versions of GNU make support this syntax:

  foo bar biz &: baz boz
        echo $^ > foo
        echo $^ > bar
        echo $^ > biz

(See (make)Multiple Targets, subheading `Rules with Grouped Targets')

This use of & is nonoverlapping with everything we care about, so we
can just pass it straight through.  Passing through &: means we pass
through &:: too.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Add subheading `Directives'

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Incompatible change: &$( does not do daft { thing

It is silly for &$( to expand to ${.  That requires the input to
contain non-matched kinds of brackets.

The shell compatibility is not needed.  In a shell rune, you can write
&\$thing since the { } are not normally needed there at all.  If they
are then now &\${thing} is necessary.  It would be possible to steal
"&${" (or allow only "&$(") but that seems less good.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Provide convenience syntax &( for $(eval

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests/filter/extract-doctests: Use $withspcs more

This does away with a special case and will allow general use of
spaces in before and after expansions.

No change with current input.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests/filter/extract-doctests: Improve an error message

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests/filter/extract-doctests: Recognise directives first

We are going to expand the rules for => expansions and they would
match directives too, but we don't want them to.

No functional change with existing input.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Incompatible change: Use &{ not &${ for macros

This will be more orthogonal with $( which will come in a moment.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Adjust indent of &${..$..} expansion

No change to the meaning.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Introduce spec for "base91s" encoding

We have no implementations of this yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

privcache: Remove some spurious \n in messages

I really oughtn't to have done this, but there is much code in secnet
which sets a bad example.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

privcache: Better debug

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

privcache: Use new pathprefix_template facility

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

privcache: New closure for signature key handling

This will be used by site.c, when it needs to load a key to make a
signature as demanded by the peer.

This commit introduces 5 spurious \n's in messages.
It also introduces a few ` = ' style errors.
These will be removed later.

No callers yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

util: pathprefix_template: New facility

We will use this for constructing public and private key filenames to
load.

No callers yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigscheme: Interface for signature schemes

There are no implementations yet.  This is split out like this for
review of the api.

We use struct buffer_if to feed key data into the scheme, in both
cases.  This will be convenient for implementations, The loadpub
caller will have the data from base91s, probably.  The loadpriv caller
will have it from a file, but we read the file in the common code.

The API we are introducing now expects each private key buffer to be
fed to the sig schemes one by one until they it finds one that likes
it.  This is in fact not necessary; it was needed in an earlier design
which does not otherwise survive in the published git history.  This
rather suboptimal API will be changed later.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigpubkey/sigprivkey: Provide a dispose() method

This is needed allow the site code to load and unload keys
dynamically.

This is just the interface, with no implemntation and no callers,
split out like this for early review.

The two xxx's will be fixed rather later in
  "rsa1: Provide dispose functions"
(but, obviously, before we add any callers).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigpubkey/sigprivkey: Provide a hash_if

Sometimes, the caller is going to want to hash things for themselves.
(Notably, site.c will want to hash the advertisements of public key
set updates.)

The hash to be used should be the one used by the signature scheme, as
that has the same security properties.

In rsa.c this moves the hash_if from common to ops, and it is now
convenient to abolish rsa_hash which is a pointless veneer over
hash_hash.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigkey handling: Introduce serialt type

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigkey handling: define MAX_SIG_KEYS

This is going to control the number of different public keys we will
use from a keyset, and also the number we will look at when listed as
acceptable by a relying peer.

No users yet in this commit, though.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

sigkey handling: Introduce sigkeyid type

We provide helper macros for use with printf.

The reference to pubkeys.fl.pl comment is to code which doesn't exist
yet but comes later.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

pubkey handling: Document key sets, id, etc. plan

None of this is implemented yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

mtest/t-prefix: Drop redundant setting of seddery

This is in mtest/common.tcl already.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

rsa: emsa_pkcs1: Fix a message

This function is called during verification too, so the message
shouldn't talk about signing.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

conffile: find_cl_if: fix fail_if_invalid==False

If the key was not found, this would segfault, so passing False didn't
work properly.  Currently nothing does, so this bug is latent.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

make-secnet-sites: Tainted: Fix a lot of bad return values

This code had remnants of a previously intended calling convention,
where object return chaining would be used.

Unfortunately in the currently used calling style, we expect to get a
boolean back everywhere, where true meas `ok'.  Returning `self' is
always treated as `ok' because it's trueish.

Luckily this doesn't cause actual security bugs because we always
return from all of the top-level entrypoints via ._rtn[val] which
checks the ._ok setting, which does properly track problems.  So we
fail an assertion rather than printing a nice message.  This is not
pretty but it is not a vulnerability.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Drop a redundant test

We were going to use this for key rollover tests etc.  But in fact
we (much later in this series) will introduce new tests for the new
key loading arrangements.  Actual key rollover will come *much* later
and there is little point having this placeholder in the meantime.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

autogen.sh: Write a comment about need for autoheader

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

configure.ac: Do not check for lack of standard headers

This makes configure rather faster.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

configure.ac: Drop AC_STDC_HEADERS

This is obsolete, as the docs say:

 AC_STDC_HEADERS
     Replaced by 'AC_HEADER_STDC'

 AC_HEADER_STDC
     This macro is obsolescent, as current systems have conforming
     header files.  New programs need not use this macro.

Unfortunately dropping it is not properly effective because it's
implied by some other stuff.  We are going to deal with that in a
moment.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

configure.ac: Drop checks for systems lacking stdint.h

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Check that received packet is as expected

It turns out that if secnet decides the link to the peer is too
broken, it loops outbound packets back to its host.  Normally this is
not obvious, because the host naturally drops such packets.

But in stest we weren't actually looking at the incoming packets at
all, so we would treat this as success!

So, instead, match the start of the packet, including the source and
destination addresses and the icmp type.  (This crude match will fail
if the reply contains any IP options, but the ping comes from the peer
secnet so it won't have.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Decode the slip packets that come via fake netlink

This will allow us to do something more sophisticated with the packet
contents.

The only functional change right now is to ignore empty `packets'.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: If one of our secnets dies, call the test a failure

This involves use of TclX's `signal' facility.  In my tests it was
easy to make Tcl deadlock by doing too much work in the signal
handler.  In particular reaping children is a bad idea.  Also signals
are not blocked during the signal handler so it would have to be
reentrant.

Instead, use `after idle'.  That is quite soon enough for the reap to
run, and in my tests with TclX 8.4 it all works properly.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Use `finish' for success exits

vwait is a bit funny.  This is better, and it also kills our child
secnets.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Kill our child secnets when we call finish

This stops them hanging around and, often, printing more stuff after
the test has actually failed.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Record the pids of of the secnets we spawn

Nothing uses this yet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Replace the call to `exit 1' with a new proc `finish'

This is going to be used for success exits too, in a moment.
This will let us do more work when we are exiting.

The only change for now is some extra stderr output.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Support not running secnet ourselves

Now the user can set SECNET_STEST_DIVERT_inside=1 (say) and instead of
actually running secnet, we print the rune we would run and ask the
user when they have started it.

A freshly started secnet (with this config, at least) just sits there
waiting for its first packet to deal with.  So if the user does this
for the 2nd secnet, that's fine - the first one will happily wait
until the test actually gets going.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Don't prefix ./ with another ./, in socktmp

Makes things slightly prettier.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Print the special env vars we pass to secnet

We don't dump the whole environment, just selected bits.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Print the secnet runes we run

We can't use prexec here because we aren't using exec at all.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests, mtest: Provide and use `prexec' for helping with debugging

This prints the make-secnet-sites runes we are about to run.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

dir-locals: Provide python-indent-offset too

python-indent is obsolete since Emacs 24.3.  It has been made into an
alias for python-indent-offset, but the alias is not marked safe as a
file variable.  Specifying python-indent-offset should make this work
on all relevant versions of Emacs (at least in the default
configuration).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Add debug logs

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Use new `prefix' option.

This lets us distinguish output from our two secnets.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

stest: Use stderr, not tty, for logging

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

logfile: New `prefix' option.

This allows the config file to add a fixed string to log messages.
This will be useful in our test suite, which mixes up output from
two instances of secnet.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

logfile: Do not log differently with --nodetach

This is actually quite anoying.  There is no good reason for leaving
off the timestamps in tests, or manual debugging, etc.

If at some point we want to support running under some kind of
log-capturing daemon supervisor which timestamps everything, we can
easily make this conditional again.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

logfile: Remove redundant check for st->f

st->f is now always non-null.  If no filename is specified, it is
stderr.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

logfile: Log to stderr by default (`filename' key now optional)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

secnet: Make stderr line buffered

This helps not interleave output in tests.  We write output in lines,
so this is fine.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Merge subdirmk 0.3

tests: Provide make-release script

Not really `tests' but I don't want to add a whole new directory just
for this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests: Provide advance-tested script

Useful for our own testing.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

subdirmk: Merge new version and fix everything

git subtree pull, but many incompatible changes - so also fixed up the
secnet code to match.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Merge subdirmk

Merge subdirmk

Legal: Update tests/filter/ inputs and outputs

We judiciously use # vs. &# for the legal comment so that each
expected output file contains one notice.

The following files, which are wholly constructed by running
generate and reviewing the diffs, do not have a legal notice:
  tests/filter/main.mk.expected
  tests/filter/stderr.expected
  tests/filter/sub/Dir.mk.expected
This is OK I think.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Legal: Add copyright, licence and warranty notice to many files

The .sd.mk and .expected files in tests/filter/ are more complicated.
We'll do those in a moment.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Legal: Add NO WARRANTY everywhere

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

generate: Avoid $err_file undefined warning during startup

If, for example, one of the input files implied by the command line
arguments is missing, err is called with $err_file not yet set.

Handle this case.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

generate: Mention suppressions when warning re VAR vs &VAR

When we are actually printing the warning, report all the locations,
including the suppressed ones.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Support &:local+global !...

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests/filter: Test &:local+global & vs non-&

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Rescope effect of &:local+global

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

subdirmk: Fix a Subdir left over in README

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Expand &$( and &$NN to use ${ } rather than $( )

And now document the use of $&+ for recipes.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

doctests: Allow parenthetical comments as an expansion RHS

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Swap order of &$( and &$NN

We are going to add a note to &$( which applies to &$NN too, and this
makes it nicer.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: Use ${top_srcdir} rather than $(top_srcdir)

Again, this makes it possible to use in $-doubled shell runes as well
as in make syntax.  (Assuming you have made top_srcdir be a shell
variable as well as a make variable.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Syntax: expand &$... to ${....} rather than $(....)

This makes it possible to use in $-doubled shell runes as well as in
make syntax.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Warnings: Introduce new `broken-var-ref' warning

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

tests/filter: Print all the diffs, not just the first

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Refer to example/

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Move the "how to use" up

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Add another layer of structure

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Move the Warnings section up into what is going to be spec

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: deinent the macro explaation

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Further miscellaneous fixes and clarifications

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: Document that local+global is not 100% accurate

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README: More syntax further up

This is primary.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>