doc/sod.tex: Describe the data structures after the runtime library.

This goes against my usual grain, but in this case I don't think it
works the other way round because the types are so complicated.

doc/sod.sty: Make `@->' typeset a dereferencing arrow.

doc/sod.sty: Hack underscores in the labels generated by `describe'.

Turn them into `-' because otherwise everything goes wrong.

Kill uninteresting TeX debris.

doc/: Sort out the manual structure.  Write stuff.

Don't expect great commit messages for a while.

Merge branch 'master' into doc

* master: (93 commits)
  Eliminate the separately maintained Lisp system version number.
  src/{builtin,final,frontent}.lisp: `clear-the-decks' makes builtin module.
  src/class-{finalize,layout}-impl.lisp: Error checking on layout slots.
  src/class-finalize-impl.lisp: Remove FIXME which was fixed ages ago.
  src/: Introduce a macro for defining on-demand slots.
  Major effort to plug slot-name leaks.
  doc/list-exports.lisp: Report on generic function methods.
  doc/list-exports.lisp: Strip duplicate exports.
  doc/list-exports.lisp: Better pretty formatting for keywords.
  doc/list-exports.lisp: Mark the start of the class tree dump.
  src/codegen-proto.lisp, doc/list-exports.lisp: Export `inst' readers.
  src/: More missing exports.
  doc/list-exports.lisp: Sort sibling classes by name in the tree.
  doc/list-exports.lisp: Search for exports inside `eval-when' blocks.
  doc/list-exports.lisp: Don't get confused and thing `nil' isn't interned.
  doc/list-exports.lisp: Check for anomalies when preparing reports.
  doc/list-exports.lisp: Some sketchy code to report on exported symbols.
  src/: Fix up some wrong exports.
  src/final.lisp, src/frontend.lisp: Compile methods before dumping.
  src/frontend.lisp: Prepare the builtin module at load time.
  ...

Eliminate the separately maintained Lisp system version number.

  * Have `configure.ac' derive a version string which ASDF won't choke
    on and make that available as an output variable.

  * Move the ASD files to `.in' files, and substitute the source path
    into them at build time, so that they actually still work.

  * At build time, construct an `auto.lisp' file with the relevant version
    information; modify the ASD `.in' files to load this.

  * At install time, construct the ASD files differently, by stripping
    out the source path and substituting the version information bodily
    into the files.

  * Actually install the `sod-frontend' system definition, just in case
    it's useful to someone.

  * Actually remove the ASDF symlinks when we're finished.

src/{builtin,final,frontent}.lisp: `clear-the-decks' makes builtin module.

Add a `clear-the-decks' function which will make the builtin module if
it's not been set up yet.  Now we don't need to do this explicitly and
everything is better.

src/class-{finalize,layout}-impl.lisp: Error checking on layout slots.

The layout slots which are autovivifying (`effective-methods',
`%ilayout', and `vtables') shouldn't be accessed prior to class
finalization, so gather their definitions together and check that this
is done properly.

src/class-finalize-impl.lisp: Remove FIXME which was fixed ages ago.

The slots which were marked for autovivifying in fact have been for five
years.  We can delete setting them explicitly without great loss.

src/: Introduce a macro for defining on-demand slots.

This is a surprisingly major win.

Major effort to plug slot-name leaks.

Arrange that all slot names, for structures and CLOS objects, are
internal symbols of the relevant package.

There used to be a number of bad words in slot names, including `class',
`method', `expr', `type', and `condition'.  All of these have gone.

I've used two main approaches.

  * Renaming the slots with a leading `%'.  For structures, this
    involves hacking the constructor function to initialize the slot
    from a dummy argument with a less unpleasant name, and setting up
    trivial reader and writer function wrappers, so there's a new macro
    `define-access-wrapper' in utilities.lisp to do this.  For CLOS
    objects,  the accessor functions are named explicitly so that's not
    a problem, but there's a lot of work needed to track down direct
    slot accesses through `slot-value' and `with-slots'.

  * For classes defined through `definst', I've instead named the slots
    with gensyms (at read time), because their names are used as part of
    automagically defined methods.

I may not have fixed everything: this is a rather invasive change.

doc/list-exports.lisp: Report on generic function methods.

Show all methods on newly defined generic functions, and all methods
specialized on our own classes.

doc/list-exports.lisp: Strip duplicate exports.

They can happen legitimately because of automatic exporting.

doc/list-exports.lisp: Better pretty formatting for keywords.

doc/list-exports.lisp: Mark the start of the class tree dump.

src/codegen-proto.lisp, doc/list-exports.lisp: Export `inst' readers.

src/: More missing exports.

doc/list-exports.lisp: Sort sibling classes by name in the tree.

doc/list-exports.lisp: Search for exports inside `eval-when' blocks.

doc/list-exports.lisp: Don't get confused and thing `nil' isn't interned.

Check the correct value of `find-symbol', because `nil' is false.

doc/list-exports.lisp: Check for anomalies when preparing reports.

doc/list-exports.lisp: Some sketchy code to report on exported symbols.

Currently produces a list with category indications, and a class
hierarchy.  Useful for preparing documentation.

src/: Fix up some wrong exports.

Various small bugs:

  * Some symbols which should have been exported weren't.

  * One export was mispslet.

  * One export was duplicated.

  * One was a failed attempt to export an instruction, but `definst' can
    do that properly now.

src/final.lisp, src/frontend.lisp: Compile methods before dumping.

Exercise the method machinery so we don't have to run the compiler as
much after dumping.

src/frontend.lisp: Prepare the builtin module at load time.

This is better because load time happens before the image is dumped.

Also, remove some pointless `clear-the-decks' calls.

src/final.lisp: Rename from `debug.lisp'.

It's going to get more stuff.

vars.am, lib/: Add some manual pages for the library.

lib/sod.h: Arrange that `SOD_XCHAIN' returns `void *'.

lib/sod.h, src/class-output.lisp: Rename `SOD__CAR' to `SOD_CAR'.

src/class-output.lisp: Make `__CONV_' macros more robust.

If the formal argument name is a simple identifier, then things come
unstuck when there's a chain head with that same nickname.  So make the
argument name be something which isn't allowed as a class nickname.

src/: Stuff vtable structures into a union.

For the same reason that ichains are collected into a union: to force
the compiler's hand into getting the various members to overlap in the
common prefixes.

This doesn't affect day-to-day use, but it does change the types of the
things which are actually exported.

lib/sod.h: Make the `_vt' member of `sod_instance' be pointer-to-const.

src/frontend.lisp: The command-line options aren't crazy any more.

test/chimaera.sod: Reorder Serpent tickling decision.

It makes more sense to me to have the actions in the order they'll be
experienced.

test/chimaera.sod: Use the macros for sending messages.

Rather than digging about in `_vt' directly.

Makefile.am, debian/: Initial packaging; release 0.2.0.

Makefile.am: Include a pkgconfig file.

Include `confsubst' machinery.

Makefile.am: Write release number into distribution packages.

Makefile.am: Actually distribute the `auto-version' script.

src/Makefile.am: Install `parser' files in the correct place.

We have to use the `nobase_...' variable, which is waaay too long.  So
invent our own variable `LISP_SOURCES' and use that instead.

src/Makefile.am: Distribute `src/parser/package.lisp'.

src/Makefile.am, src/test-base.lisp: Check version numbers match.

We have version numbers in two places, and that's no good, but I can't
see a good way of generating the Lisp package version from the Git
version, so I'm just going to add a test that they match.

It's not a perfect test, but it ought to do.

src/Makefile.am: Improve test running rule.

Catch errors and print them briefly rather than having a full stack
backtrace.

src/test-base.lisp: Actually signal an error if the tests fail.

src/parser/parser-test.lisp: Suppress maybe-unused variable warning.

src/c-types-parse.lisp: Some better comment formatting.

src/c-types-parse.lisp: Handle `...' in prefix-`(' disambiguation.

Now that we've actually got the machinery to parse ellipses in function
argument lists, it'd be nice to do it properly.

(I think -- but I might be wrong -- that the reason this wasn't done
before is that C doesn't let you put `...' as the only thing in an
argument list, because you need to have a named argument to initialize
the `va_list'.  But Sod can, and does, because there's always at least a
receiver argument.)

src/module-parse.lisp: Reinstate `peek' around the main item parser.

This was removed for debugging.  Now we can parse slot initializers
again.

The error handling for class items is still pretty awful and needs
fixing.

src/module-parse.lisp: Don't allow a method body on a varargs message def.

It doesn't work because the method will have the wrong type.

src/class-make-impl.lisp: Make `make-sod-MUMBLE' actually return a MUMBLE.

src/method-{proto,impl}.lisp: Add `:valist' method-entry role.

For each varargs message, add a new entry whose name has a `__v' suffix,
and which takes a `va_list' argument in place of the variable-length
argument list of the `nil' entry.  The `nil' entry now just sets up the
`va_list' pointer and invokes the corresponding `:valist' entry function.

This actually makes constructing the method-entry functions somewhat
cleaner, since the handling of variable argument lists is now
concentrated in the construction of a separate entry function.

src/: Allow methods to have more than one entry each in a vtable.

The entries are assigned distinct `roles' to distinguish them.  Each
role can have a different type.  To accommodate this a number of changes
are made to the API.  Note that no roles other than the standard `nil'
role are currently defined, so none of this change should have any
externally observable effect.

  * The `make-method-entry' method is replaced by `make-method-entries',
    which returns a list of entry objects.  The standard method on
    `compute-vtmsgs' collects these together into a big list.

  * Slots in the `vtmsgs' structure are now given names by the method
    entries directly, rather than being named after their messages.
    There is a new generic function `method-entry-slot-name' to make
    this work, and a little protocol `method-entry-slot-name-by-role' to
    make extending this machinery easy.

  * The `message-macro-name' function now takes a method-entry rather
    than a message, because each entry needs its own macro.

  * The `method-entry-function-name' function has grown an additional
    `role' argument.  The standard method inserts a non-nil role name in
    an unimaginative manner.

  * The standard method on `method-entry-function-type' now inspects the
    entry role, but its behaviour is unchanged except to check that the
    role is nil.

src/method-impl.lisp (compute-method-entry-functions): Simplify `parm-n'.

src/method-impl.lisp (compute-method-entry-functions): Reorder `let*'.

Currently the `method entry details' and `effective method function
details' blocks are independent, but they won't be soon.

src/: Tweak handling of `va_list' pointers in generated functions.

In method entries, effective method bodies, and delegation trampolines,
the `va_list' argument is named `sod__ap', and a copy is made for
invoking direct methods into a temporary called `sod__tmp_ap'.  The name
`sod__master_ap' is now only used in direct method argument lists and
the `CALL_NEXT_METHOD' machinery.

This reduces the amount of mangling of argument lists which needs to be
done.  It will also make some future changes a little easier.

src/method-proto.lisp: Fix varargs trampoline method construction.

The extra `ap' argument comes at the front, not the end.  Trim the final
ellipsis instead of (wrongly) trying to convert it.

src/method-impl.lisp: Don't mangle `ap' name in `basic-argument-names'.

It's already correct.  If we change it then there'll be two `master_ap'
arguments when we invoke the method.

src/method-impl.lisp: Argument name list should only contain names.

The whole argument object prints wrongly and makes a mess in the output.

src/method-impl.lisp: Handle varargs methods in `next-method-type'.

src/debug.lisp: Write output to a well-known file.

This way, Emacs can display it properly fontified in a buffer, and
refresh when it gets changed, rather than having an enormous dump of
text in the middle of a REPL session.

src/c-types-parse.lisp: Plain types don't have `declspec' slots.

Type names count as declaration specifiers, so `scan-declspec' has to
cope with them.  Fortunately, bare types don't come with tags, so this
is easy to work around.

src/class-utilities.lisp: Compare C types with the right function.

There's something weird with the caching, I think.  But this way leaves
a better taste anyway.

src/class-output.lisp: Remove debugging hack.

src/: Argument lists don't only contain `argument' objects.

They can also contain `:ellipsis' markers.

src/c-types-parse.lisp: Parse `...' in argument lists.

Somehow this got missed out.  There are a number of bugs elsewhere,
where things can't cope with the `:ellipsis' marker, to be fixed in
subsequent commits.

src/method-aggregate.lisp: Expose number of methods to custom combination.

This permits pre-allocating an array for collecting results, for
example.  Suggested by Tony Finch.

lib/sod.h, src/class-{output,utilities}.lisp: Macros for messages.

Emit a C macro for each message defined, which just saves the ugly
messing duplication of the receiver and the messing about with vtables.

This feature isn't stable yet, so don't rely on it not changing.  For
example, I've not yet decided on whether or not to uppercase the message
name.

src/method-aggregate.lisp: Move return-type check into `define-' macro.

It seems a better fit this way.

src/method-aggregate.lisp: Fix export for `aggregating-effective-method'.

src/method-aggregate.lisp: Give aggregating combinations their own file.

The code has been reordered a little too, but there are no substantive
changes.

src/classes.lisp, src/class-layout-proto.lisp: Docstring fixes.

Specifically, name literal symbols in lowercase, with quotes, to
distinguish from metasyntactic variables.

lib/sod.h, test/chimaera.sod: Promote `SOD_DECL' to the library header.

It seems generally useful.

test/: Make `nml.tickle' be a `progn' method.

I think this was always intended, but I didn't have the method
combination until now.

test/chimaera.sod: Don't use `(void)' for message argument lists.

It's inaccurate because more arguments are added later.

src/class-make-{proto,impl}.lisp: Better choice of default message class.

If a combination is specified, use the new `aggregating-message' by
default.

src/method-impl.lisp: New protocol for aggregating method combinations.

src/method-impl.lisp: Invoke `after' methods, even in `void' messages.

Previously, the code would have suppressed them for some bizarre
reason.

The `voidp' variable is no longer needed, so remove it.

src/method-impl.lisp: Fix incorrect argument order.

src/method-impl.lisp: There's a handy definition `c-type-void', so use it.

src/method-impl.lisp: Remove unnecessary `with-slots' form.

src/method-impl.lisp: Typo in docstring.

src/method-impl.lisp: Default method for `primary-method-class'.

The `basic-direct-method' class seems like an appropriate choice.

src/module-impl.lisp: Don't emit `#line' to non-position-aware streams.

Because we can't switch back afterwards, the compiler will blame the
wrong thing.  Also, if the output stream isn't position-aware, it's
probably because we're in the midst of pretty-printing something, and
forcing `#line' directives will produce hideous results.

This is all rather unfortunate.  It's clearly a bug that we can't
produce pretty output and have useful error location information, but I
think this is the best I can manage right now.

src/classes.lisp: Add comment explaining why psets aren't captured.

This one had me wondering for a while, but it turns out there's a good
reason.

src/: Rename the various `:lisp-class' properties.

Instead, there's now a separate property for each kind of metaobject.
The reason is that some declarations can produce two metaobjects, e.g.,
a message declaration might also include a direct method, and we can't
possibly use the same metaobject class for both.  To resolve this, we
use different properties to name the different metaobject classes.

  * For classes, we use `:lisp-metaclass' (to distinguish from a runtime
    metaclass).

  * For messages, `:message-class'.

  * For methods, `:method-class'.

  * For slots, `:slot-class'.

  * For slot initializers, `:initializer-class'.

  * For modules, `:module-class'.

src/pset-parse.lisp: Allow brace-enclosed fragments as property values.

src/codegen-{proto,impl}.lisp: Protocol for emitting custom declarations.

src/codegen-proto.lisp: Include `;' in `var-inst' output.

Because other kinds of decls will have their own semicolons.  Previously
the semicolons were added as part of the block output machinery.

src/{codegen,method}-impl.lisp: Allow non-variables in `vars' lists.

It used to be assumed that everything in the `vars' list was a
`var-inst' object, but that's not going to be true any more.

src/codegen-proto.lisp: A small number of new instructions.

src/codegen-{proto,impl}.lisp: Have `definst' optionally export symbols.

The enormous export lists are annoying to maintain.

src/sod.asd: Elide a transitively implied dependency.

src/sod.asd: Fix another missing dependency.

src/debug.lisp: New small utility function for interactive testing.

Testing at the command line is OK when things can be expected to work,
but it's annoying when they're likely to break.  This simple function
makes things pleasant to debug from inside SLIME.

pre-reorg/: Delete this old cruft.

lib/sod.[ch]: The runtime library is LGPL.

vars.am, */Makefile.am: Improve silent-rules building.

New silent-rules handling for Lisp dumping, testing, and for generating
Sod outputs.

doc/: Work in progress.