doc/sod.tex: Spruce up the index handling.

  * Use `idxlayout' to format the index entries better.

  * Use the `makeidx' package's `\printindex' to read the index file.

STYLE: Zap trailing whitespace.

src/module-output.lisp, test/chimaera.sod: Add output items for user code.

It seems likely that many modules will want to add plain C code to the
implementation output, and declarations to the header, so provide
standard output items `early_user' and `user' for this purpose.

src/sod-{frontend,test}.asd.in: Define systems in separate packages.

Now that the system-definition packages have started exporting
variables, we'll get annoying warnings if the different `defpackage'
forms have inconsistent exports.

src/output-{proto,impl}.lisp: `sequencer''s :constraints initarg takes names.

The `constraints' slot of a `sequencer' object maintains a list of
constraints, each of which is a list of `sequencer-item' objects, and
this list is ordered with the most-recently added constraint first.

Previously the :constraints initarg just set this list directly, which
isn't really very satisfactory.  Instead, handle the initarg specially,
reversing it, and converting item names into the actual items, interning
them properly.

This isn't completely right, because there's no way at this time to
attach handler functions to the implicitly created items, but it's way
better than nothing.

src/class-output.lisp: Reformat and reorder.

The major improvement is to gather together the methods which walk the
layout hierarchy, independently of the output reason.

src/utilities.lisp (merge-lists): Make default tie-break sane, and document.

  * Make sure the candidate list given to the tie-breaking `pick'
    function is sorted according to the /first/ list each candidate
    appears in, rather than the last one, because `remove-duplicates' by
    default keeps the last-appearing element of each equivalence class,
    unless I give `:from-end t'.  So do that.

  * Describe the tie-breaking behaviour now that it's sane.  This is
    sort of important because it's used by the output machinery.

src/utilities.lisp: Use `do' in place of unnecessary `do*'.

The other loop variables seem to have gotten lost somewhere along the
way.

src/utilities.lisp: Fix another docstring's formatting.

doc/: Initial work on an index.

STYLE: Document Lisp programming style.

src/Makefile.am: Reinstate ASDF output translations.

These were mistakenly removed during the version number
hacking (58a9509...).  It's important to separate the good command-line
build from builds done inside a resident Lisp for hacking, because the
latter might be full of debug pessimizations.

doc/SYMBOLS, doc/list-exports.lisp: Nail down output order properly.

doc/: More Lisp synopses.

These might be done now, in fact.

doc/sod.sty: More describe categories.

src/class-output.lisp: Use `vtable-name' rather than doing it by hand.

src/sod-{frontend,test}.asd.in: Export `*version*'.

Have the other sysdef files also export this symbol because otherwise
SBCL emits annoying warnings.

src/module-impl.lisp: Don't require `finalize-module' to return the module.

Returning the correct module object is now the responsibility of
`build-module'.

src/module-impl.lisp: Eliminate `define-fragment'.

It had a severely deficient interface: it could only define fragments
with constant contents.  Moreover, although it made an effort to accept
a string-literal as its text, it ended up in a tangle because
`code-fragment-item' insists on its `fragment' slot actually containing
a code fragment, and nothing does the conversion.

Rather than fix these bugs, I noticed that nothing actually used it at
all, so removing it completely seemed like a better option.

src/: Yet more naming and export twiddles.

  * Export `class-item', which names a pluggable parser invoked in
    parsing class definitions.

  * Export the accessors for `code-fragment-item' objects.

  * Rename the `message-*' generic methods to be `sod-message-*', for
    consistency with the existing accessors.  Specific targets are
    `message-combination', on aggregating messages, and
    `message-effective-method-class', part of the layout protocol, which
    is just inconsistent with `sod-message-method-class' in the
    metaobject construction protocol.

  * Also export `sod-message-kernel-function', which is used in
    aggregating messages.

  * Astonishingly, I'd not exported any of the `vtmsgs' symbols.

doc/Makefile.am: `output.tex' exists, so depend on it.

Also spell its name properly, which explains why it didn't work before
and was mistakenly commented out.

doc/SYMBOLS: More changes.

doc/: More synopses.

doc/misc.tex: Kill stray \relax.

doc/parsing.tex: Document `parsing' macro.

doc/: Document where declarations are permitted in macros.

doc/sod.sty: Fix describe category position when indented.

src/classes.lisp, src/class-finalize-impl.lisp: Don't export slot writers.

Make accessors to finalization-time slots be plain readers, and use
`slot-value' explicitly to set them at the right time.

src/: Improve handling of declarations in macros.

Teach `parse-body' to be able to parse only declarations or only
documentation.  Use this in macros with convoluted internal binding
structure.

src/: More exports, found while documenting things.

debian/rules: Don't strip the main executable.

It doesn't work.  All the good stuff in the dumped image gets stripped
out and you're left with a bare SBCL which probably doesn't even work.

Add build machinery for the manual.

Merge branch 'master' into doc

* master:
  src/parser/parser-expr-impl.lisp: Compare paren tags with `eql'.
  src/module-impl.lisp: Expose `c-fragment' state.
  src/lexer-proto.lisp: Export some more symbols.
  src/pset-proto.lisp (default-slot-from-property): Make `slot-names' optional.
  src/pset-proto.lisp: Fix export of `check-unused-properties'.
  src/: Fix some docstrings.

src/parser/parser-expr-impl.lisp: Compare paren tags with `eql'.

They're often characters, which can't reliably be compared with `eq'.
Not sure what I was thinking, really.

src/module-impl.lisp: Expose `c-fragment' state.

  * Export `c-fragment-text', and use `file-location' to read the
    location.

  * But make these be read-only.

src/lexer-proto.lisp: Export some more symbols.

src/pset-proto.lisp (default-slot-from-property): Make `slot-names' optional.

To match `default-slot'.

src/pset-proto.lisp: Fix export of `check-unused-properties'.

src/: Fix some docstrings.

doc/SYMBOLS: More fixes to file exports.

doc/: Add more synopses.

doc/list-exports.lisp: Collect symbols from frontend.lisp.

doc/misc.tex: Track movement of locatives.

Merge branch 'master' into doc

* master:
  src/utilities.lisp, src/optparse.lisp: Move locatives to `utilities'.
  src/c-types-proto.lisp: Fix docstring.
  src/parser/parser-proto.lisp: Export `combine-parser-failures'.
  src/utilities.lisp: Move `define-on-demand-slot' to the right section.
  src/codegen-impl.lisp: Rename some `inst' slots.
  src/codegen-{proto,impl}.lisp: Make *temporary-index* be a module var.
  src/class-make-proto.lisp: Choose Lisp metaclass more cleverly.
  src/class-make-impl.lisp: Abstract out the guts of `guess-metaclass'.
  src/c-types-impl.lisp: Fix arg list in `c-function-type' instance init.
  src/lexer-bits.lisp: Delete crufty old file.

doc/SYMBOLS: Actually check this in, so we can see how it changes.

So stop ignoring it.

doc/list-exports.lisp: Also scan `optparse.lisp'.

src/utilities.lisp, src/optparse.lisp: Move locatives to `utilities'.

src/c-types-proto.lisp: Fix docstring.

src/parser/parser-proto.lisp: Export `combine-parser-failures'.

src/utilities.lisp: Move `define-on-demand-slot' to the right section.

src/codegen-impl.lisp: Rename some `inst' slots.

Mostly to make them shorter.

src/codegen-{proto,impl}.lisp: Make *temporary-index* be a module var.

This arranges for it to be reset properly.

Also, move it into `impl', because users shouldn't mess with it.

src/class-make-proto.lisp: Choose Lisp metaclass more cleverly.

Use the same algorithm as is used to choose the runtime metaclass:
if a property names a class explicitly then use that; otherwise, choose
the most specific metaclass of any of the direct superclasses.  If there
are no proper superclasses then default to `sod-class' because that's
what `builtin' needs.

src/class-make-impl.lisp: Abstract out the guts of `guess-metaclass'.

It's mostly trying to pick out a maximum value from a partially ordered
set.  This is a useful primitive, so factor it out.

This also exposes a hack in the previous `guess-metaclass'
implementation.  It would, somewhat sneakily, manage to return nil if
given an empty superclass list, which is ideal for the builtin module,
which hasn't built the metaclass yet and must fill it in later.  Leave
this hack in, but make it more explicit.

src/c-types-impl.lisp: Fix arg list in `c-function-type' instance init.

Previously, `make-function-type' was responsible for spotting `(void)'
argument lists and converting them into empty lists, so if you used
`make-instance' directly you could sneak an actual `(void)' argument
list int.  Now the instance initialization machinery for the
`c-function-type' class does this itself, so the gap is closed.

src/lexer-bits.lisp: Delete crufty old file.

doc/: Actually write documentation.

Mostly this is importing synopses which need to have stuff written
about them and around them.  But it's all progress, right?

doc/structures.tex: Present the concrete structures in `describe'.

doc/syntax.tex: Put the `arbitrary code execution' warning in a box.

doc/sod.sty: Fiddle with the `describe' categories.

Include a bunch of new ones and change the display names of a few
existing ones.

doc/sod.sty: Overhaul `describe' environment.

  * Split out the machinery which parses and sets the heading to make a
    new environment `describe*' which can have multiple headings.

  * Remove the `tabular' layer in the headings, by using `\rlap'
    instead.

  * Fix spacing around the header lines.

  * Insert penalties and drive the `\if@nobreak' and `\@afterheading'
    machinery correctly so that we mostly don't get bad page breaks.

doc/sod.sty: Fix footer comment.

doc/sod.sty: Make `boxy' environment handle footnotes properly.

doc/sod.sty: Add macro for table column heads.

Somewhat unpleasant.

doc/sod.tex: Rearrange some of the file-to-chapter assignments.

doc/sod.tex: Front matter begins at the beginning.

doc/sod.tex: Print a proper title page.

doc/runtime.tex: Decide that C `describe' synopses include a trailing `;'.

doc/clang.tex: Fix labels and references.

doc/{runtime,structures}.tex: Mostly translated from the manpages.

Merge branch 'master' into doc

* master:
  lib/sod-structs.3: Some clarifications and typesetting fixes.
  src/parser/scanner-charbuf.impl (charbuf-scanner-map): Return CONSUMEDP.
  src/parser/scanner-charbuf-impl.lisp: Simplify `stream-read-line'.
  src/parser/scanner-charbuf-impl.lisp: Use `replace' rather than a loop.
  src/parser/scanner-impl.lisp: More exports for `list-scanner'.
  src/parser/scanner-impl.lisp: Make streams from string scanners.
  final.lisp: Move definition of *sod-version* here.
  src/frontend.lisp: Use gensyms to name symbols consistently.

lib/sod-structs.3: Some clarifications and typesetting fixes.

doc/sod.tex: Describe the data structures after the runtime library.

This goes against my usual grain, but in this case I don't think it
works the other way round because the types are so complicated.

doc/sod.sty: Make `@->' typeset a dereferencing arrow.

doc/sod.sty: Hack underscores in the labels generated by `describe'.

Turn them into `-' because otherwise everything goes wrong.

Kill uninteresting TeX debris.

src/parser/scanner-charbuf.impl (charbuf-scanner-map): Return CONSUMEDP.

The docstring says that the function implements the parser protocol, but
it misses an important part of it out.  Fix this omission.

src/parser/scanner-charbuf-impl.lisp: Simplify `stream-read-line'.

We do more or less the same stuff at the end regardless of how we got
there, so factor it out.

src/parser/scanner-charbuf-impl.lisp: Use `replace' rather than a loop.

Somehow I failed to notice `replace' being a completely cromulent
`memcpy' thing for Lisp.

src/parser/scanner-impl.lisp: More exports for `list-scanner'.

src/parser/scanner-impl.lisp: Make streams from string scanners.

Implement `make-scanner-stream' for `string-scanner'.

final.lisp: Move definition of *sod-version* here.

Seems more at home somehow.

src/frontend.lisp: Use gensyms to name symbols consistently.

doc/: Sort out the manual structure.  Write stuff.

Don't expect great commit messages for a while.

Merge branch 'master' into doc

* master: (93 commits)
  Eliminate the separately maintained Lisp system version number.
  src/{builtin,final,frontent}.lisp: `clear-the-decks' makes builtin module.
  src/class-{finalize,layout}-impl.lisp: Error checking on layout slots.
  src/class-finalize-impl.lisp: Remove FIXME which was fixed ages ago.
  src/: Introduce a macro for defining on-demand slots.
  Major effort to plug slot-name leaks.
  doc/list-exports.lisp: Report on generic function methods.
  doc/list-exports.lisp: Strip duplicate exports.
  doc/list-exports.lisp: Better pretty formatting for keywords.
  doc/list-exports.lisp: Mark the start of the class tree dump.
  src/codegen-proto.lisp, doc/list-exports.lisp: Export `inst' readers.
  src/: More missing exports.
  doc/list-exports.lisp: Sort sibling classes by name in the tree.
  doc/list-exports.lisp: Search for exports inside `eval-when' blocks.
  doc/list-exports.lisp: Don't get confused and thing `nil' isn't interned.
  doc/list-exports.lisp: Check for anomalies when preparing reports.
  doc/list-exports.lisp: Some sketchy code to report on exported symbols.
  src/: Fix up some wrong exports.
  src/final.lisp, src/frontend.lisp: Compile methods before dumping.
  src/frontend.lisp: Prepare the builtin module at load time.
  ...

Eliminate the separately maintained Lisp system version number.

  * Have `configure.ac' derive a version string which ASDF won't choke
    on and make that available as an output variable.

  * Move the ASD files to `.in' files, and substitute the source path
    into them at build time, so that they actually still work.

  * At build time, construct an `auto.lisp' file with the relevant version
    information; modify the ASD `.in' files to load this.

  * At install time, construct the ASD files differently, by stripping
    out the source path and substituting the version information bodily
    into the files.

  * Actually install the `sod-frontend' system definition, just in case
    it's useful to someone.

  * Actually remove the ASDF symlinks when we're finished.

src/{builtin,final,frontent}.lisp: `clear-the-decks' makes builtin module.

Add a `clear-the-decks' function which will make the builtin module if
it's not been set up yet.  Now we don't need to do this explicitly and
everything is better.

src/class-{finalize,layout}-impl.lisp: Error checking on layout slots.

The layout slots which are autovivifying (`effective-methods',
`%ilayout', and `vtables') shouldn't be accessed prior to class
finalization, so gather their definitions together and check that this
is done properly.

src/class-finalize-impl.lisp: Remove FIXME which was fixed ages ago.

The slots which were marked for autovivifying in fact have been for five
years.  We can delete setting them explicitly without great loss.

src/: Introduce a macro for defining on-demand slots.

This is a surprisingly major win.

Major effort to plug slot-name leaks.

Arrange that all slot names, for structures and CLOS objects, are
internal symbols of the relevant package.

There used to be a number of bad words in slot names, including `class',
`method', `expr', `type', and `condition'.  All of these have gone.

I've used two main approaches.

  * Renaming the slots with a leading `%'.  For structures, this
    involves hacking the constructor function to initialize the slot
    from a dummy argument with a less unpleasant name, and setting up
    trivial reader and writer function wrappers, so there's a new macro
    `define-access-wrapper' in utilities.lisp to do this.  For CLOS
    objects,  the accessor functions are named explicitly so that's not
    a problem, but there's a lot of work needed to track down direct
    slot accesses through `slot-value' and `with-slots'.

  * For classes defined through `definst', I've instead named the slots
    with gensyms (at read time), because their names are used as part of
    automagically defined methods.

I may not have fixed everything: this is a rather invasive change.

doc/list-exports.lisp: Report on generic function methods.

Show all methods on newly defined generic functions, and all methods
specialized on our own classes.

doc/list-exports.lisp: Strip duplicate exports.

They can happen legitimately because of automatic exporting.

doc/list-exports.lisp: Better pretty formatting for keywords.

doc/list-exports.lisp: Mark the start of the class tree dump.

src/codegen-proto.lisp, doc/list-exports.lisp: Export `inst' readers.

src/: More missing exports.

doc/list-exports.lisp: Sort sibling classes by name in the tree.

doc/list-exports.lisp: Search for exports inside `eval-when' blocks.

doc/list-exports.lisp: Don't get confused and thing `nil' isn't interned.

Check the correct value of `find-symbol', because `nil' is false.