Bump version to 0.2.1

Add python-gnupg to buildserver

Remove extra argument in magic warning call

stats: don't include disabled apps

Use --before when using find-rev in git-svn

Don't crash if a magic number can't be used

This should fix the anki build crashing.

Merge branch 'master' of https://gitlab.com/eighthave/fdroidserver

Drop svn support in favour of git-svn

Reasons:

* Cloning a svn repo via svn doesn't fetch the entire history
* Svn checkout is incredibly slow
* Svn doesn't have important features such as a 'clean' command

The only reason why we kept svn was for anonymous logins to repositories. This
is no longer a reason since git-svn also supports them.

Use os.path.join instead of adding strings more often

Fix Tags UCM on newer git-svn versions

default to Pillow for Python Imaging, that's what most people use now

PIL is the old standard Python Imaging.  Pillow is a fork where development
is actually continuing.  It seems that all the distros are also switching
from PIL to Pillow, including Debian, Ubuntu, Fedora, brew, MacPorts, etc.

Put lastbuild log on wiki by vercode (with redirect)

Merge branch 'support-multiple-serverwebroots-and-fixes' into 'master'

Support multiple serverwebroots and fixes

This adds support for lists of serverwebroots in config.py, and cleans newlines and spaces in the repo_description and archive_description.

Make FlattrID a hexadecimal value

This adds support for flattr "things" that are not direct flattr numeric ids,
but hexadecimal hashes representing web pages outside of flattr.

support lists/tuples in 'serverwebroot' config item

This allows the user to specify multiple servers to put the repo to, and
`fdroid server update` will automatically push to them all.

fixes #22 https://gitlab.com/fdroid/fdroidserver/issues/22

update local_copy_dir rsync to handle FAT and filesystems with perms

With FAT filesystems, the user, group, and permissions will not be at all
preserved.  With file systems like ext4 that have perms, the umask might
not be set to something that makes sense for the public repo files, which
are meant to be published and therefore readible by all.

If need be, it would be easy enough to add a config option for rsync's
chmod string, to address setups that have specific permissions needs.

fixes #23 https://gitlab.com/fdroid/fdroidserver/issues/23

auto-clean newlines and spaces in repo/archive descriptions

This gives us flexibility in how the blocks of text can be formatted in
config.py, but also provides a more useful format for displaying since the
client can decide where to wrap the text.

server init: replace ssh subprocess with paramiko

It is easier to handle programming with python rather than subprocess calls
so I replaced the subprocess call to 'ssh' with paramiko.  This also makes
fdroid more portable since it no longer relies on the local system having
ssh installed.

Don't use the error-prone -x method to avoid lint usage

Use p.wait() instead of p.communicate()

The latter calls the former anyway, and we don't need to fetch the output nor
send any stdin.

Make a few Popens silent

Much cleaner and nicer way to ignore vcs dot dirs

We now discard their entire subtree directly

More generic usual suspects regex

Only catch metadata exceptions from description_html

Revert "If given --verbose, don't print the whole error log again"

This reverts commit 29ab3cf64df2eebdaae44b643a26c118b58c0c7e.

Revert "Always print command output when --verbose"

This reverts commit a4cdd92448450839c307b4a04f85a3702bfa4d9c.

Remove some gradle @dir leftovers

Simplify the finding of gradle output apks

Support git-svn refs in the form of rN

Do write .fdroidvcs if the clone succeeded

If the clone succeeded but the checkout failed, it didn't. Now it does, by
keeping the exception and raising it a bit later.

Support origin/ checkouts with tags as well in gitsvn

Always print command output when --verbose

Don't use generic Exception raises

That hides bugs, since all exceptions (including bugs that cause raises that
weren't our doing) fall under the "Exception" except

Fix silly var name typo

Stop at the summary when parsing a file for the app name

Use 'case' instead of if/elif in the line matching logic

Revert "Rewrite fd-commit in POSIX Shell"

This reverts commit 62ba9dc07e989ce75b6bd9f971bbb1cec04c4da0.

More log level fixes

Move more logging.info stuff to debug

Use logging with proper format when warning about improper verbose/quiet usage

Using $(levelname) in --quiet makes no sense

All logging goes to stderr, FDroidPopen should too

Don't directly print FDroidPopen output unless verbose

Use counters in lint

Simpler fd-commit arg logic

Rewrite fd-commit in POSIX Shell

Try the old git svn find-rev format as well

Little doc fixes

checkupdates: don't print traces independently

Avoid lint on all new plugin versions, remove TODO

Add support for gradle plugin version 0.12

Fix the test suite

Add android-20 to the SDK

Add config.buildserver.py to the pre-commit hook

No need to print a trace when the user did a ^C

Also check that platform-tools and tools exist

Also use adb via a full path

Use shorter and non-redundant 'or' clauses for 'if True else' assignments

Recognise changes in subdirs in Tags and RepoManifest

Use any of the branches that point to origin/HEAD if there are multiple

'set-head origin --auto' fails if there are multiple branches that are the
same as origin/HEAD:

error: Multiple remote HEAD branches. Please choose one explicitly with:
  git remote set-head origin develop
  git remote set-head origin master

So we want to grab any of them, e.g. the first branch that it gives us, and
just use that as it will work just fine.

Update the SDK to 23.0.2, supposedly fixing all issues

Make use of FDroidException in the main fdroid script

This should improve the output shown when exceptions are found

vcs_* stuff should not raise BuildExceptions

Also make the Tags UCM complain about unknown package id

Fix failure to do anything when ndk_path is not defined

Some more slight logging improvements

Remove more prints in favour of logging

Find the 'android' executable in the same manner

Also find zipalign at the start

Find aapt as part of the main config initialisation

Refuse to try downloading a repo twice

Exception handling improvements

* Replace some prints with proper logging messages
* Make VCSException as verbose as BuildException, including error output

Don't set $SDK, it's too ambiguous with e.g. the Java SDK

Set up SDK and NDK env vars from python

No need to make the buildserver do it

Improve some log levels

Remove @dir support from gradle

Simpler way to get the available gradle versions

Also, sort by version names instead of alphabetically

Fix the default config.py descriptions following the tuple syntax

Merge branch 'bug-fixes-for-v0.2.1' of https://gitlab.com/eighthave/fdroidserver

Rename PopenResult.stdout to output since it also contains stderr

Fix very silly typo that broke all apps using buildjni

only move GPG signature if APK exists

The .asc moving code just needed to be indented so it only runs when
'srcname' exists in apk[], otherwise it just throws a KeyError

run pre-commit hook as part of test suite

replace redundant build_tools check that breaks `fdroid init`

This reverts b637568a624cc75f4e67a0df59a017872e2129c6 since it added a
redundant check that broke `fdroid init` when the default version dir of
build_tools does not exist on the local system.  It then uses the function
that was already in place for checking the build_tools setup in a way that
does not break `fdroid init`.

Now that the fake android home version is not matching the default version,
the tests will catch this bug in the future.

fix bad syncing from local copy, force trailing slash to make rsync happy

It seems that paths for rsync must have a trailing slash in order to sync
rather than make a subdir, i.e. this makes a duplicate subdir:

  rsync /tmp/fdroid/repo repo

While this syncs the dirs

  rsync /tmp/fdroid/repo/ repo/

check repo icons exist now before running through all of `fdroid update`

Before, if repo_icon or archive_icon pointed to a non-existent file, then
`fdroid update` would run through the whole process of building a repo,
then fail at the very end because of the non-existent file.  On the next
run, `fdroid update` then starts from the beginning.

This just checks for those files at the beginning, and exits with an error
if they are not found.

use 'python2' everywhere since fdroidserver has not been tested with 3.x

tests: create_fake_android_home should create old build-tools version

This is testing the build-tools version auto-detect in `fdroid init`, so it
should be kept as an older version.  This is not meant to test the current
version of the build tools.

fix PEP8 fdroidserver/common.py:65:13: E126 continuation line over-indented for hanging indent

Move gpg signatures to archive along with the other files

Generate gpg signatures for apks in archive repo also

Fix indent

Don't change the behaviour in debian setups

Support calling of 'fdroid init' from other places

e.g. from a symlink to fdroid or from a script. Also more reliable in other
cases where argv[0] is not what we want.

Update the SDK to version 23.0.0

Update build-tools to 20.0.0

Report the vercode as well as the version name when building

Add optipng, useful for some apps

Specifically, for cz.jirkovsky.lukas.chmupocasi

Always run aapt with SilentPopen

Always run read_srclibs as part of read_metadata