Cleanup: Remove an old piece of junk

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Provide no-login-requiring srcdump test

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Introduce CAFTEST_SRCDUMP_NEEDLOGIN

This will make it possible to have a non-login-requiring srcdump test.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Break out srcdump-prep

Remove a bit more of this boilerplate.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Break out srcdump-save-check

Originally I thought I would keep only one of the srcdump tests, but I
have changed my mind.  So we need to get rid of this clone-and-hack.

srcdump-save-check was identical in the two scripts.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Rename srcdump-loginback.at (from srcdump.at)

This actually tests a rather artificial use case, where the user
bookmarks the url, then logs in normally, and then uses the saved url
(or achieves the equivalent by using the back button).

It should have a name that better reflects this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Provide srcdump-login test

This tests requesting source code while not logged in - the most usual
workflow.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Increase timeout again

zealot is really quite slow

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Add missing "global id" in timeout-abort

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Pass srcdump request parameter when redirecting etc.

For most of CAF's purposes, the srcdump request parameter is not
really for srcdump, since it is not related to authentication.

Rather, it exists simply because we do not own the application path
namespace.  So when generating (or requesting) redirects etc. we
should treat it as a form parameter relating to the application.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Docs: Fix reference to $authreq->chain_params

This is public now so its name does not start with _.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: test srcdump

We should test that the srcdump machinery works.
We test with needlogin=1 because that's more complicated.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

srcdump: Introduce srcdump_needlogin option

This makes it technically fairly straightforward to take advantage of
the CAF Login Exception.

In the resulting website the source download link is only present on
the login page unless the application also provides such a link, but
that link is functional after logging in and can easily be used by
bookmarking the url or using multiple browser tabs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licence: Add copyright and licence statement to many files

The licence (including exception) applies to the whole project, as
would be expected.  Document this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
Signed-off-by: Ian Jackson <ijackson@eu.citrix.com>

Licence: Provide CAF Login Exception

With the current AGPLv3 licence, someone who deploys a modified CAF
must make available their whole web application to all callers.  This
means that it is not possible to deploy a completely private web
application using CAF.

I don't think this is desirable.  My intention in using the AGPLv3 is
not to force everyone to publish their source code outside their user
community.  To put it another way: I want to flatten the power
relationship between a website's users and its operators.

But it is not my aim to undo the power imbalance between a website's
authorised users and other people on the internet.  Indeed such an
objective would be bizarre for a module whose function is to enforce
access control.

I do want to try to make it possible for authorised users of a
website, who don't like the decisions made by its operator, to set up
an instance of their own, with modifications to their own taste.

I'm therefore providing what I'm calling the "CAF Login Exception, v1"
as an Additional Permission (as contemplated by AGPLv3 s7).

I have also discussed this with my management at Citrix (since Citrix
is also a copyrightholder).  Permission was granted orally by my line
manager in an in-person coversation on Tuesday the 27th of October.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

Testing: autotest: Print id in log messages

This makes the output from tests/run-all better.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: New run-all script

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Makefile: always redirect stdin from /dev/null

make -j does this for all but the first job anyway.  If we do it
ourselves we will catch sooner ant silly bugs where we read from
stdin.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Move expect_before timeout to right place

Otherwise it relates to the default spawn id which is stdin.  The
effect is that (a) the timeout is for the whole script, not each
expect, and (b) when stdin is /dev/null Tcl gets EOF, closes it, and
then complains
  error writing "stdout": bad file number
(which is rather daft).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Provide Makefile

Can be run with `make -C tests/'.  Currently there is a bug with -j.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Introduce varying CAFTEST_TMP

This defaults to tests/tmp, but we set it in autotest to a
test-specific value.  We are going to use make to do parallel test
running, so they all need their own logfile.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Increase timeout

5s was too short on zealot.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

srcdump: git: Do not include ~ files in .git

Eg, COMMIT_EDITMSG~.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Testing: Disable srcdump in tests by default

We will want to introduce a new srcdump test, but that does not exist
yet.  In the meantime the srcdump_prepare runs during every test page
load (because we have no fastcgi or speedy or similar), which makes
the general (non-srcdump) tests unecessarily slow.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Break out loginout.at

Same test, but run differently.

This prepares us for multiple different tests.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: autotest: Move some code about

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: autotest: Introduce dospawn

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

_check_divert_core: Update cookie lifetime when request is OK

The timeout should be from last load, not from login.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: autotest: Introduce "loginas"

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Login/logout interrupted session tests

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Docs: Say that unknown divert kinds should be fatal

This ought to be obvious, but we should state it explicitly.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Introduce STALE divert kind

This is discussed in the algorithm comment in _check_divert_core, but
was not implemented.

Sadly this means we were missing a divert kind - however, apps which
don't handle it should die if they don't understand the divert kind,
which is what we did ourselves previously.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

check_nonpage: Handle ParmT ne 'y' correctly

If check_nonpage needs to check authenticity of the submission, only a
valid hidden form parameter ought to be permitted.

This seems to have simply a logic error where (in 2cc2bcd0 "javascript
hijacking fix") I thought ParmT was a perl booleanish; but, of course,
it isn't.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

_check_divert_core: Minor comment reformatting

Remove a couple of `/' which are not needed for clarity.  We are going
to add more cases to some of the other entries which will involve
removing their `/' too.

No change even to the meaning of the comment.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

_check_divert_core: Change handling of $parmt=='t'

This can mean that the form parameter refers to a cookie now deleted
from the db: ie one relating to a previous user session.

This is not a bug or (necessariloy) an attack; it might simply mean
that the submission comes from a page generated in a previous login
session.

So handle this case the same way as $parmt=='n' (ie, expired hidden
parameter value).  (Double-checked by searching the function beyond
that point for references to parmt.)

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Docs: Various fixes and minor clarifications

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Test going back

This currently breaks, so comment out the last expect.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Move \t out of submitform-expect

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: More realistic mutating checks

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Provide incrementing url

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Tidy up html a bit

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Test url suffix

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Log in

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Fix up $url management

We need to handle the incoming URL more subtly in tests/cgi so that
the tail of the path is preserved; the existing approach squashes it
for the purposes of the CAF get_url callback, but fails to sanitise
the URL at all for the purposes of tests/cgi's form generation.

It would be best if there were a way in the CGI specification for w3m
to tell the script that its own url is actually file:///something, so
that CGI(3pm)'s url method would DTRT.  But there isn't.

In the absence of any useful information provided by w3m, CGI makes up
`http://localhost', which is fair enough.  We can simply replace that
with our own URL prefix.

So we replace the CAFTEST_URL variable with CAFTEST_URLBASE, which
contains the start of the URL (not including the path part, which
tests/cgi can get out of $q->url, and which we would have difficulty
dismantling and reassembling anyway).

In tests/cgi, we apply this to $url if CAFTEST_URLBASE is set, and
then we can unconditionally supply a get_url hook (which hook is
equivalent to the default one if $url wasn't modified).

Adjusting $url in tests/cgi makes the form field come out with the
right URL.  And the new adjustment scheme means that invocations with
a nonempty PATH_INFO do not lose the PATH_INFO.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

blinding: Fix (again) move of Params setting into check_divert

Do not inadvertently autoviviy $divert as an arrayref.

If we do then the web app (or check_ok) sees it as trueish and will try
diverting with an empty divert spec, rather than seeing it as falseish
and correctly proceeding to do the real work.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

API: Expose $authreq->chain_params()

Contrary to what I said in a97dc2ce, it seems that this function is
indeed useful.  test/cgi wants it!

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Docs: Clarify url_with_query_params $params

It doesn't want CAF-specific parameters: it will put those in for
itself.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Move runes to tests/README

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Provide another test rune in TODO

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: autotest script

Can do one test now.  More to be added RSN.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: clarify rune in TODO

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: write wrap's log to wrap.log

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Reorganise files, variables, etc.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: Provide test-wrap script

w3m in local cgi mode does not appear to honour our attempts to set
cookies.  Provide a test-wrap script which fishes the cookie out of
CAF's output and passes it back in on the next run.

Document the necessary rune.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: test.cgi: Honour CAFTEST_URL

No-one sets this yet.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: test.cgi: Provide debug output hook

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Testing: test.cgi: Break out @verifier_params

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

blinding: Use . as separator rather than / (which ends up as %2e)

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

blinding: Fix move of Params setting into check_divert

We were setting various things in $r rather than $r->{Divert}.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

srcdump: Report tar output to stderr, not stdout

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

Testing: rename dump to test-data

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

test.cgi: ignore "dump" directory

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

test.cgi: unset srcdump_filter_cwd

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

blinding: Properly lift _blind and _unblind for "" and undef

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

blinding: Blind cookies and hidden form param

Each time we generate a cookie or a hidden form parameter, generate
some random hex digits and xor them with the hex digits in the cookie
or parameter value.

Our cookies contain decimal digits, and punctuation, too.  The decimal
digits are simply blinded the same way (which is fine) and the
punctuation is left alone.  It's the actual values we care about.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

blinding: Remove handling of REDIRECT-LOGOUT

Nothing sets $kind to REDIRECT-LOGOUT.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

blinding: Move another setting of Params into check_divert

Previously, divert_ok had the knowledge of the need to set
the first of loggedout_param_names.  Put this into check_divert.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

blinding: Move setting of Params into check_divert

Previously, divert_ok had the knowledge of the need to set
assoc_param_name in some cases.  Put this into check_divert.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

blinding: Discuss CookieSecret a bit differently

blinding: Introduce _CookieRaw (same as CookieSecret for now

Fix broken db creation

srcdump: Fix git vcsscript to work properly

srcdump: Skip undef entries in srcdump_dirscan_prepare (relevant if SCRIPT_FILENAME is undef, for example

Add caf-srcdump to .gitignore

Reformat construct_cookie (no functional change)

Fix ref to nonpagetype in check_nonpage

Abolish default_db_setup_stmts and set it up in new_verifier

db_... settings: rename file from assocdb_...

caf.db: rename file from caf-assocs.db

db_prefix setting: change from assocdb_table

docs: more work

db_setup_stmts: new setting

docs: more work

docs: more work

docs: more work

docs: more work

docs: more work

_chain_params: make an internal-only function as seems to have little plausible external use

docs: more work

docs: more work

srcdump_vcsscript: make into a single hash, not a bevy of separate settings

docs: more work

docs: more work

srcdump_vcs_dirs, etc.: do not handle CVS as metadata dir in ever subdir means we need CVS-specific logic to find working tree root(s)

docs: more work

docs: more work

TODO: some untranslated strings

is_page: remove obsolete hook

get_params hook: actually DTRT for multiple-valued parameters

is_https hook: rename from check_https