regress: Add some tests with ~adns_if_noautosys

The test harness provides adns_if_noautosys by default (to make the
test .sys files more readable and less noisy, mostly).

But adns behaves rather differently with noautosys.  We should have
some more tests without it.  (The invocations of adnstest implied by
these new test cases produce obviously-wrong behaviour with an adns
which is lacking the TCP async connect API fix.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Remove update-extra-select conversion script

This script was a one-off.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Portability: Fix assumption about read() and write() on connecting sockets

Without adns_if_noautosys, adns would attempt read() on its TCP client
socket immediately after getting EINPROGRESS from connect(), and
assume that EAGAIN/EWOULDBLOCK means the socket is connected.

This is actually not correct on any platform that I'm aware of.
However, on Linux, write() on a socket which is being connected
returns EAGAIN, so everything seemed to work - adns would think that
the socket's window was full and wait for it to become writeable.  On
many other platforms, write() on such a socket returns ENOTCONN.

The result is that adns's TCP support may fail to work properly on
such platforms, especially if the nameserver is not localhost.  (A
connect to a suitable server on localhost often completes immediately,
which avoids exposing the bug.)  adns might fail to be able to do TCP
at all.

We detect the completion (successful or otherwise) of connect() by
selecting the fd (as contemplated by SuS).  This might expose us to
spurious fd writeability indications, if such things exist, but the
nonblocking connect API demands that they don't at least in this case.

We always do this select check, in adns_processwriteable.  In theory
this is sometimes unnecessary, because adns_processwriteable's caller
has probably just got a writeability indication from poll or select.
But adns should not assume that its caller will never feed it spurious
events, and there seems little point optimising away one syscall per
tcp connection (given that adns reuses the connection where possible.)

This behaviour naturally causes a lot of the regression tests to fail.
So in this commit we also update all the regression tests.  This has
been done in a programmatic way, by running
   perl -i ./update-extra-select case-*.sys

update-extra-select is supplied in this commit.  It is a (hopefully
easy to understand) script which adds a select just before every
applicable read.  The pretended select always reports that the fd is
useable, which is what would justify adns's subsequent behaviour.

(Most of the tests run with adns_if_noautosys - since that's the
default and has to be toggled off - and in those cases the socket has
in any case just been reported as writeable.)

Note that regress/update-extra-select is not idempotent.  Here, it has
been used exactly once.  (It is going to be deleted again in the next
commit.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Support NULL fdset arguments to select

We are going to want to pass these, and currently the test harness
will dereference the NULL.  So fix this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Fix for malicious optimisation of memcpy in test suite, which causes failure with gcc-4.1.9 -O3.  See Debian bug #772718.

Portability fix for systems where socklen_t is bigger than int.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Clarify licence in NEWS

Start 1.5.1~~

Release 1.5.0.  No changes since 1.5.0~rc1.

Merge branch 'master' of chiark:public-git/adns

RELEASE-CHECKLIST: Updates used during release of 1.5.0~rc1

Update versions for ongoing development

Finalise 1.5.0~rc1

NEWS, changelog: Documentation for 1.5.0~rc1

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/Makefile.in: Parallelise `make check'

Use an individual target for each test.  This allows parallel make to
get its teeth into the problem.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Test adns_af:dampstring

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Treat unknown adns_af: values correctly

These shouldn't be fatal, and they should be affected by
ads->config_report_unknown.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf option parsing: Test adns_checkc

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Rename OPTION_IS etc. to WORD_IS

This now handles whatever is in `word', not necessarily the whole
option.  (We do this rename in a separate patch as it makes the
previous patch easier to review.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf option parsing: Fix word separation

`nextword' does not nul-terminate the words it returns.  So the
strcmps in ccf_options are wrong.  Fix this as follows:

 * Abolish most uses of l in favour of a pointer variable endword.
 * Have OPTION_IS and OPTION_STARTS update word, and endword, so
   that it is convenient to use them for option values, etc.
 * Save the whole option in new variables opt and optend for
   reporting and to assist the `adns_af:' loop.
 * Use OPTION_IS, OPTION_STARTS and memchr, rather than strcmp,
   ad-hoc memcmp, and strcspn.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Check that tarball is equal to git tree

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Non-real mode (the default, now)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Require version argument

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Config parsing: Provide a way to ignore unknown resolv.conf contents

You can now set the option `adns_ignoreunkcfg'.  This is relevant to
Debian #411263.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Config parsing: Ignore some BIND9-specific resolv.conf options

Debian #411263.  I also read wheezy's resolv.conf(5).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parser: Avoid duplicating lengths in option parser

Replace a lot of things like `l>=5 && memcmp(word,"debug",5)'
with use of some new macros.

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

API: Reject unknown flags

Check for unknown flags in adns_initflags, adns_queryflags, and
adns_rrtype.

This will allow us to extend the API in the future but still retain
backward-ABI-safety: new applications which pass a new flag but are
run against old adns will get an error (typically, ENOSYS).

In each case we reserve a few of the spare bits for `harmless'
extensions: flags which we decide, at the time of introduction, that
it is harmless for old implementations to ignore.

We simply provide explicit hex values for the flags.  This is easier
than listing all of the actually-defined flags, and probably no less
reliable.  Failing to add a new flag to the check as well as to the
enum will produce an obvious error (unless the `harmless' flag is used
- and those are at the top of the space to reduce that probability).

In the case of adns_rrtype, all of the external functions quickly pass
the type to adns__findtype, so we can do the check there.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Make internal function vbuf__append_quoted1035 static

This does not change the library ABI - the only callers are internal.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Remove RCSids.

We are using git now and it doesn't do this kind of thing.  They are a
pain, anyway.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Add test case output and common.make to `make [dist]clean'.

(Cherry-picked from Debian's adns dgit/experimental branch.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Bodge regress/Makefile.in's .SECONDARY some more

The declaration mentioning CLIENTS has an unfortunate side-effect: it
`mentions' the file adnshost_c.o, which is not part of the build and
is not buildable.

According to the rules in `(make)Implicit Rule Search' this causes
make to try to build adnshost_playback from adnshost_c.o (rule 5).
This is because files whose names are `mentioned' are taken to `ought
to exist'.

This causes adns to be unbuildable on the make from Debian sid
(4.0-8); it is not visible on earlier makes (eg 3.81-8.2) because they
don't appear to actually follow the documented algorithm.

Bodge this (further) by filtering adnshost out of the client list.  It
is currently the only client made out of multiple object files.

(Cherry-picked from Debian's adns dgit/experimental branch.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Use new combined hex syntax for adnstest types

This makes the tests clearer to read.  No functional change.

Change was made with

  for f in regress/*.sys; do perl -i~ -p ../t.pl $f; done

where t.pl is this script

  if ($.==1) { $at=m{^(?:\./)?adnstest\b}; }
  if ($at && $.==2 && m/^:/) {
      m/^:(\S+)/ or die;
      $r=$'; #';
      $_=$1;
      s{\b(\d+)\b}{
  sprintf "0x%x|%d", ($1 & ~0xffff), ($1 & 0xffff)
      }ge;
      $_=":$_$r";
  }

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

adnstest: Support typenum being 0xXX|DDD

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

API: Provide adns_qf_cname_strict

In the medium term we want to make adns tolerate cname chains better.
One thing we want to do is to change the default to be
adns_qf_cname_loose.

So introduce a flag now that allows applications to explicitly request
strict.  For now this new flag has no effect.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

enums: Add `sizeforce' member value

The C standard helpfully permits enums with a small range of values to
be short.  This effect is not desirable in an API because it means that
adding new values (new flags, say) may cause ABI incompatibility.

Add some `sizeforce' members to relevant enums in the API.  In none of
the three cases do we expect this to actually cause an ABI break on
actual practical platforms, because the values we choose are within
the same power-of-two bitwidth.

Specifically:

                    max value in adns 1.4       new max value
  adns_initflags            0x0300                    0x7fff
  adns_queryflags       0x0ff00000                0x7fffffff
  adns_rrtype              0x20000                0x7fffffff
  adns_status                  499                 unchanged

The small max value of adns_initflags is unfortunate.  But we can't
change it without actually breaking the ABI on actual existing
platforms.  We can put off biting that bullet until we run out of
initflags - there are still three flags remaining.

This patch is not expected to have any practical effect with existing
platforms and compilers but it makes the code more correct and less
likely to be misoptimised by a future aggressive compiler.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

.gitignore: Ignore GPG signature

Update version numbers to be between releases

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Say to update versions after doing release

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: wip, as used for 1.5.0~rc0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README.html: Web page management changes

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Versions: update to 1.5.0 RC0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: More updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: Remove "pleased to announce" - should be in mail

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README.html: Abolish dead link to BIND

README.html: mention signatures as possibly being on the web page

Build system: Provide `web-install' target

This copies the various website files to WEBDIR.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

adns.h: Generalise some mentions of A RRs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Break out common.make[.in]

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Know how to build adnshost.txt

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: Reorder slightly

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Do not include Makefile and src/config.h in distribution tarball

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: More updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: Draft release notes for 1.5.0~rc0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

.gitignore: Add autom4te.cache

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: update configure to autoconf 2.69

Ran `configure' on Debian wheezy i386.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Abolish `proprietary' part in GPL-vs-LGPL

Having accepted substantial contributions I am no longer in a position
to offer this.  And anyway the offer was mostly there to put people
off asking for something for nothing - no-one actually ever offered me
money.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Abolish LICENCE.WAIVERS

The only existing waiver was for the AGPL, and the GPLv3 which we are
now using has an AGPL-compatibility clause already in it.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Add copyright for Mark Wooding

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Update copyright dates for Ian Jackson

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Delete FSF address from INSTALL

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Copy GPL-3 into COPYING

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Delete FSF street address

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Update version in file header comments

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: Update with changes so far

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Remove cvs-to-git conversion script

This has now done its work and is no longer needed.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefile.in: Fix "make dist" for git

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Documentation and webpage updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefile.in: update DISTVERSION

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify comment for addr_submit (style)

We don't just fiddle with tinfo; this function actually sets it.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Rewrite pap_addr (style)

Completely rework this function to make it much clearer.  Also rename
many of the surviving variables.

No functional change.

The following rune was helpful to me when preparing this patch:

  diff -bu <(git-show HEAD:src/types.c | perl -pe 's/\bstoreto\b/out/g; s/\bmax\b/cbyte_max/g; s/\boaddr\b/use_addr/; s/\bsalen\b/out_salen/g; s/\bstep\b/in_addrlen/g; s/\baf\b/out_af/g; s/\brrsz\b/out_rrsz/g; s/\brrty\b/in_rrty/g') src/types.c |less +/pap_addr

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify gettimeofday error handling (style)

Use `r=...; if (r)...' rather than `if (syscall) ...'.  And add a
comment explaining why we're not using adns__must_gettimeofday.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify addr_rrtypeflag loop (style)

This structure avoids repeating the loop termination condition.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Rename `hunoz' (style)

Call this `addr__rrty_eat_final_comma', not `addr_rrty_hunoz' (which
AFAICT from web searches is meaningful to Lisp programmers).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/query.c: adns__free_interim: Add assertion

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/query.c: Rename alloc_info (style)

Rename it to alloc__info to emphasize its privateness.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/event.c: Use `continue' in adns_processreadable (style)

This is IMO clearer than another nested indent of the bulk of the loop
body.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/setup.c: Reuse variable i (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename `udpsocket' and `nudp' (style)

I prefer plurals for arrays and the count should have a near-identical
name.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefiles: Remove pipes on clean

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/: Replace PF_ with AF_

I don't much like PF_.  None of the modern specs or docs talk about PF
any more.

Entirely formulaic patch:
  perl -i~ -pe 's/\bPF_INET\b/AF_INET/g' regress/*
  perl -i~ -pe 's/\bPF_INET6\b/AF_INET6/g' regress/*

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Fix commentary mood (style)

I prefer `/* does X */', to `/* do X */', for the comment next to a
function which does X.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename a variable `n' to `salen' (style)

I don't think a length can be called `n'.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Add a missing space (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Clarify logic in clk_srv (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename some variables `stat' to `st' (style)

These inconsistencies have been there since the dawn of time.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename a variable `err' to `st' (style)

(This was introduced in `src/: Change how query domain names are
checked.' and I prefer this name.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/Makefile.in: Declare <client>_c.o as .SECONDARY

Otherwise you can get this:

 regress$ make adnstest_record -j2
 gcc -g -O2 -Wall -Wmissing-prototypes -Wwrite-strings -Wstrict-prototypes -Wcast-qual -Wpointer-arith -Wno-pointer-sign  -I../src -I. -I./../src  -DADNS_REGRESS_TEST -I. -c -g -o addrfam_d.o ../src/addrfam.c
 gcc    adnstest_c.o hrecord.o hcommon.o types_d.o event_d.o query_d.o reply_d.o general_d.o setup_d.o transmit_d.o parse_d.o poll_d.o check_d.o addrfam_d.o  -o adnstest_record
 gcc: error: adnstest_c.o: No such file or directory
 make: *** [adnstest_record] Error 1
 regress$

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: New test cases

Check that the reverse parser rejects labels with leading zeroes, with
digits out of range, or with out-of-range label values.  And check
uppercase IPv6 PTRs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: Clearer algorithm

We used to have a kind of open-coded coroutine arrangement for parsing
reverse domains.  This is complicated and confusing.

Instead, when "parsing" the labels, simply stash their locations and
lengths.  Then, at the end, we have all of the information needed to
check, parse and process the whole domain.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: Make adns__revparse_* return bool

This seems nicer and is going to be more convenient.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: Pass dgram and labstart instead of label

We are going to want to deal with labstart and dgram separately.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Introduce adns__labels_equal and ctype_toupper

This not only makes adns__findrr_anychk less confusing, but it also
makes it possible to reuse this functionality.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/gdbwrap: Provide a convenience script

This lets you run gdb from within r1test with appropriate fd plumbing.
(It's a shame gdb doesn't have a way to simply tell it to take its
commands from /dev/tty.)

Add the suggested example gdb script file, x.gdb, to .gitignore.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: New test bogus-sortlist

Exercise the code which checks the sortlist for invalid address/mask
pairs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

addrfam: Make SIN, SIN6 more regular

Abolish CSIN and CSIN6.  Instead, provide a first argument which may
be `const' or empty.  (Empty macro arguments are permitted since C99.)

This makes them useable in SOCKADDR_IN_IN6*, so use them there.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

addrfam: Introduce SOCKADDR_IN_IN6, etc.

These macros make writing IPv4/IPv6 handling functions convenient.
Use them everywhere applicable.

This replaces AF_CASES, which was longwinded (and also error-prone,
since it is possible to pass a different af to switch() and
unknown_af()).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

addrfam: New arrangements for protocol address types

Abolish union gen_addr and struct af_addr.  It is not legitimate to
up-cast to a union (since the alignment might be wrong), and the
profusion of additonal address types is confusing.

The new arrangements are:

* Use adns_sockaddr wherever we can.  That includes situations
  where the port (or v6 scope, etc.) is not relevant.

* Where that's not possible, use a struct sockaddr if we can.

* Where we need to deal with an IP address of unspecified family (we
  use the phrase `protocol address') we must use a void*.

Other changes we make here:

* Reorganise the set of functions provided by addrfam.c.  Previously
  there was a comprehensive set of manipulators.  Now, we have
  precisely the set of functions we need.

  The new functions are called adns__addr_* when they deal with
  adns_sockaddrs, and adns_sockaddr_* when dealing with struct
  sockaddrs.

  The new functions normally no longer need to take an explicit af
  parameter, since they can use the af field in the sockaddr.

* adns__sockaddrs_equal (previously, adns__sockaddr_equal_p) now uses
  the generic protocol address comparison function; consequently
  remove the IN6_ADDR_EQUALP macro since it now has only one use site.

* Remove the Lispy "-p" suffix from predicate function names.

And of course the very formulaic changes to code which accesses
addresses of various kinds.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

addrfam: mark unknown_af as not returning

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

.gitignore: add addrtext_s, remove non-built dynamic local tests

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Support IPv6 in addr queries.

This is the end-game.  Add flags and options to allow clients and
administrators to choose which address families they want returned.  For
logical compatibility with old clients, don't return foreign address
families unless explicitly requested.

Lots of tests are modified to select only IPv4 addresses.  There's
nothing else up my sleeve.  A new test is added for the additional
functionality; more are expected later.

Signed-off-by: Mark Wooding <mdw@distorted.org.uk>
Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>