Move referential integrity check into CommodsDatabase

Do some referential integrity checking

Database schema improvements

* Do not create columns as AUTOINCREMENT (doesn't work well with
    INSERT OR IGNORE).  We still need to fix existing databases.

* Allow automatically adding columns to schema.

* Add various columns to commods, and commodclasses table, for ordering etc.

Some fixes already done

Merge branch 'stable-5.x'

Fix name in copyright notices

Spelling fixes etc.

Minor layout fixes

Useability enhancesments and spelling fixes

Fix spelling error in intro

Minor intro page fixes

Fix ISO quote lossage to be HTML 3.2 compatible

Properly quote various error messages

Reorganise docs to include new howto material in intro etc.

WIP improve intro etc. - howto page from Naath

commodity ordering: more comprehensive output

commodity ordering: use @..+ in main entries too

commodity ordering: support @..+ in main entries too

commodity ordering: more data and fixed formatting

commodity ordering: support @..+ syntax in % defs

commodity ordering: new "commodsinorder" mode

Correct link to test website source code

get_source=1: Actually print the header

Merge branch 'refs/remote/t.fa.dict.test' into stable-5.x

Make new "tree-info.txt" file not in revision control for locally approved clients etc.

Allow downloading of database tree source code via dictup CGI scripts

WIP commod ordering improvements

More commodity orders in source-info.txt

Useful website UI suggestions from #chiark

WIP commodity sorting: syntactic improvements

Tell emacs to edit source-info.txt in fundamental mode

Cope with commas in numerical fields from the scraper; deal properly with qty in hold

Unticking trades _does_ seem to work.  Bogus bug report I think.

Merge branch 'wip.commodclass'

Merge branch 'stable-3.x'

Merge branch 'refs/remote/t.fa.mason'

WIP class and ordering data fixes

WIP new class and ordering data

Improve comments about extending source-info.txt

Add copyright licence notices to rs*.c (and appropriate notes in README and Makefile)

Delete obsolete notes file

Make colourful pages pass W3C HTML and CSS validators

Ditch sanity check triggered by insane subpixel antialiasing

WIP colouring in

found a bug

Fix reference to PCTB testing server

Fix another case sensitivity error

Fix capacity strings to be more case-insensitive

Fix error message for ambiguous vessels in capacities

query_routesearch: Properly propagate %baseqf (so we don't reset ocean etc.)

Merge branch 'master' into stable-5.x

routetrade: Fix suppresed trades: suppress by removing from @subflows

routetrade: WIP fix unticked trades

ypp-chart-memshow: new ypp-sc-tools script

Fix up 2abd3537 to rename connect_core everywhere

Notice if $expected_total_profit parsing failed; don't break if it is an integer

If routetrade query is arbitrage search only, mention this fact

Merge branch 'stable-3.x'

Conflicts:

yarrg/TODO

check for unexpected mouse pointer motion

Unclear UI bug report

pager: cap screenshot interval at 1s to avoid problems at volatile markets

Merge branch 'stable-3.x'

Improve installation instructions re git etc.

Fix sort arrows on data age table

Printable plan: Put generation date near the top with the input questions

Use whole page with for printable tables (htmldoc is a bit odd)

printable trading plan now done

pctb.ilk.org was just down

printable routetrades: 2-up versions; fix up tbody

printable trading plans

routetrade: include data age summary

routetrade: put trades table below voyage plan; include toc

For printable trading plan: formatting runes for htmldoc

For printable trading plan: example fetch rune

routesearch: support circular routes

routesearch: prettify the search page and results; sort arrows; etc.

routesearch: nice routesearch

routesearch: link to full voyage plans

routesearch: another feature we should have

routesearch: proper titles and pretty up the results

routesearch: check for failure of routesearch and report XCPU specially

routesearch: concurrency limit

routesearch: show route distances

routesearch: todo list items

routesearch: make #define debug_flags work again, but still not faster

routesearch: show 15 of each

routesearch: fix up web performance parameterisation

routesearch: permit approxiation by disregarding trivial trades

routesearch: use quick elim criterion separately per ap in bucketelim

routesearch: correct elim algorithms

routesearch: improve arg parsing

routesearch: actually print number of routes requested, not one less

routesearch: rework some things, bugfixes

Debugging: New value2 debug flag, new option -D1 for medium debug output, etc.
Rename PotentialResult to a Bucket of two OnePotentialResults (no intended
  change in behaviour for this)
Fix granularity full test to work correctly

routesearch: found another bug

routesearch: found a bug

routesearch: print results table

routesearch: parse output in query_routesearch

routesearch: print highscore tables best first

routesearch: abandon higher granuarities when tables become full

routesearch: change granu to be higher for more specific (more granularity)