vcs_* stuff should not raise BuildExceptions

Also make the Tags UCM complain about unknown package id

Fix failure to do anything when ndk_path is not defined

Some more slight logging improvements

Remove more prints in favour of logging

Find the 'android' executable in the same manner

Also find zipalign at the start

Find aapt as part of the main config initialisation

Refuse to try downloading a repo twice

Exception handling improvements

* Replace some prints with proper logging messages
* Make VCSException as verbose as BuildException, including error output

Don't set $SDK, it's too ambiguous with e.g. the Java SDK

Set up SDK and NDK env vars from python

No need to make the buildserver do it

Improve some log levels

Remove @dir support from gradle

Simpler way to get the available gradle versions

Also, sort by version names instead of alphabetically

Fix the default config.py descriptions following the tuple syntax

Merge branch 'bug-fixes-for-v0.2.1' of https://gitlab.com/eighthave/fdroidserver

Rename PopenResult.stdout to output since it also contains stderr

Fix very silly typo that broke all apps using buildjni

only move GPG signature if APK exists

The .asc moving code just needed to be indented so it only runs when
'srcname' exists in apk[], otherwise it just throws a KeyError

run pre-commit hook as part of test suite

replace redundant build_tools check that breaks `fdroid init`

This reverts b637568a624cc75f4e67a0df59a017872e2129c6 since it added a
redundant check that broke `fdroid init` when the default version dir of
build_tools does not exist on the local system.  It then uses the function
that was already in place for checking the build_tools setup in a way that
does not break `fdroid init`.

Now that the fake android home version is not matching the default version,
the tests will catch this bug in the future.

fix bad syncing from local copy, force trailing slash to make rsync happy

It seems that paths for rsync must have a trailing slash in order to sync
rather than make a subdir, i.e. this makes a duplicate subdir:

  rsync /tmp/fdroid/repo repo

While this syncs the dirs

  rsync /tmp/fdroid/repo/ repo/

check repo icons exist now before running through all of `fdroid update`

Before, if repo_icon or archive_icon pointed to a non-existent file, then
`fdroid update` would run through the whole process of building a repo,
then fail at the very end because of the non-existent file.  On the next
run, `fdroid update` then starts from the beginning.

This just checks for those files at the beginning, and exits with an error
if they are not found.

use 'python2' everywhere since fdroidserver has not been tested with 3.x

tests: create_fake_android_home should create old build-tools version

This is testing the build-tools version auto-detect in `fdroid init`, so it
should be kept as an older version.  This is not meant to test the current
version of the build tools.

fix PEP8 fdroidserver/common.py:65:13: E126 continuation line over-indented for hanging indent

Move gpg signatures to archive along with the other files

Generate gpg signatures for apks in archive repo also

Fix indent

Don't change the behaviour in debian setups

Support calling of 'fdroid init' from other places

e.g. from a symlink to fdroid or from a script. Also more reliable in other
cases where argv[0] is not what we want.

Update the SDK to version 23.0.0

Update build-tools to 20.0.0

Report the vercode as well as the version name when building

Add optipng, useful for some apps

Specifically, for cz.jirkovsky.lukas.chmupocasi

Always run aapt with SilentPopen

Always run read_srclibs as part of read_metadata

Recognise published .asc signatures in web repo browser

Generate gpg signatures with .asc extension

Fix stats update bug

Fix the copyright notice in gpgsign.py

git-svn: use 'origin/' when passing a treeish (branches) to find-rev

This fixes the builds of de.blau.android. This worked before for some reason.
Git-svn probably changed in some way.

Merge branch 'fix-and-test-source-tarball-process' of https://gitlab.com/eighthave/fdroidserver

Place more examples/config.py stuff into the defaults

tests: create a source tarball and use that to build a repo

This tests that setup.py is in working order and creating a functional
source tarball.

tests: by default, run on included urzip.apk

This means you can just do `cd tests/ && ./run-tests` to run the tests now.
You can still override the APK source with the first argument, like:

cd tests/ && ./run-tests /path/to/lots/of/apks/dir

Merge branch 'add-local_copy_dir-and-v0.2-fixes' of https://gitlab.com/eighthave/fdroidserver

set version to v0.2

include getsig.java and opensc-fdroid.cfg in the source tarball

server update: mkdir 'archive' if it does not exist

If `fdroid server update` is run with config that includes an archive, but
the 'archive' subdir does not exist, create it.  This mirrors the code that
is in `fdroid update`.  Seems to trivial to move to common.py.

server: --sync-from-local-copy-dir for updating from offline signing repo

To support a fully offline build/signing machine, there is the "local copy
dir".  The repo is generated on the offline machine and then copied to a
local dir where a thumb drive or SD Card is mounted.  Then on the online
machine, using `fdroid server update --sync-from-local-copy-dir` allows
the whole server update process to happen in a single command:

0. read config.py on online machine's repo
1. rsync from the local_copy_dir to the current dir
2. copy to serverwebroot, awsbucket, etc.

switch serverwebroot rsync to --archive for guaranteed full sync

In `fdroid server update`, the rsync command used --update, which
`man rsync` says: "skip files that are newer on the receiver".  That could
cause issues of the public repo getting out of sync with the private,
master repo.  --archive is a better sync method since it aims to exactly
reproduce the sending dir to the receiving dir.

server: 'local_copy_dir' config/options to automate offline repo signing

This allows a dir to be specified in config.py that `fdroid server update`
will automatically rsync the repo to.  The idea is that the path would
point to an SD card on a fully offline machine that serves as the secure
repo signing machine.

Raise gotorevision exceptions with more useful info

Always try to recover origin/HEAD in case it's not there

Easier multiline strings

Error if UCM:Tags is used with git-svn without tags set up

Simplify check_metadata

Fix pep8 error in previous commit

Fix nasty problem caused by 7c2e61a4

Use origin/HEAD as the default checkout for git

This should fix many RepoManifest UCMs where 'master' is not the default
branch

Be more specific when logging repository deletes

Fix popen command logging

Small buildjni= fixes

Don't error about native code if buildjni=no

Only report files that were actually cleaned of signing stuff

Set the FDroidOpen output default back to true

Having it at False just makes SilentPopen useless.

Don't use logging.info with verbose ifs

Warn about config permissions before loading the defaults

Now, configs that don't contain passwords don't trigger the warning.

A bit more None magic to fix some UCMs

Don't output everything when using --verbose

This is especially painful when using stuff like aapt to obtain data

Revert "Keep version names even if found separate from the code"

This reverts commit 75381ef14718f3821acefaa64a4f7d5243ba15df.

Better support for gradle plugin versions

Use gradle_dir, not root_dir, to fetch the plugin version

Merge branch 'master' into 'master'

run-tests: find current version of aapt in folder rather than in PATH

The Jenkins server did not yet have 19.1.0 build-tools installed yet, so your fixed commits failed to build.  This commit fixes the build:

Not everyone adds the build-tools to their PATH, so this makes it so this script will find aapt in the most recent build-tools version that is installed on the local system.

run-tests: find current version of aapt in folder rather than in PATH

Not everyone adds the build-tools to their PATH, so this makes it so this
script will find aapt in the most recent build-tools version that is
installed on the local system.

Current build-tools is 19.1.0, not 19.1

Fix create_fake_android_home with the new build-tools

Bump default build_tools, small fixes

Warn if build_tools is not set up properly

Keep version names even if found separate from the code

Avoiding lintVital is no longer necessary in 0.11

Fix crash in 'fdroid import'

Fix bug in reading old recipes

Update fdroid init completion

Install and lint were missing -q

Apk output path is build/outputs/apk/*.apk since 0.11

lintVital was added in 0.8, only exclude it then

Add support for plugin version 0.11

Update sdk and build-tools

Fix small issue in import.py

Merge branch 'rsync-improvements-for-fdroid-server-update' into 'master'

rsync improvements for fdroid server update

This is a couple of improvements to how `fdroid server update` uses `rsync`.

(also, please remove the branch when accepting any of my merge requests)

Add faketime, needed by lildebi

Exclude lint from gradle build tasks

jni problem is critical, so make it an error

tests: turn off unneeded debug logging during APK copying

The whole process of finding and copying APKs can be very verbose, so turn
of the bash verbose logging during that process.

server: specify an identity file for SSH when rsyncing

This allows the SSH key used to sync with the server to be specified via
the config.py or the command line.  I need it for running automated tests
and setups.

update: add stricter checking when updating repo index using rsync

rsync uses the modification time and size of the file when deciding whether
to update a file.  These are relatively easy to control in malicious code,
so instead make rsync use a full MD5 checksum when decided whether the
index needs to be updated.  I suppose we could add an option to use
checksum checking on all files, but since the signed repo already provides
a checksum check, it seems not worth the added load on the process.

Also, renamed 'index' to 'indexxml' to make it clear what is the XML and
what is the JAR.

Merge branch 'test-updates-and-related-bug-fixes' into 'master'

Test updates and related bug fixes

I just set up some big tests of generating repos based on feeding as many random APKs into `fdroid update` as possible.  On our jenkins server, the tests copy all of the APKs that the jenkins server has generated and builds a repo from them.  This process caught lots of little glitches in the whole process.  While these little glitches are usually caused by problematic APKs, `fdroid update` should handle them gracefully.  Hopefully this set of fixes accomplishes that.