Add android targets 5, 6 and 9

They are nice to have, and will be needed to build support-v4 from source

Centralise management of srclib metadata

Restore friendly error messages

Use --verbose if you really want a full traceback with your 'you made a
typo in an package ID' messages.

It would be better to do this based on exception types (i.e. our own
exceptions - MetadataException, BuildException, VCSException) would not
print a traceback, but unexpected exceptions would. But the types are
not available at the 'fdroid' level currently.

Lose the other unused read_metadata parameter

Remove mysterious keyword arguments

Fix several read_metadata-related issues

Various calls with the wrong parameters, and also an unused parameter on
the function itself.

Add gradle 1.12 for the plugin version 0.10

Also, use https for the gradle.org links

lint: warn about empty descriptions

If some app has the default description because it's not going to be published
or will never have a working build, the whole app should be disabled.

Support https://code.google.com in fdroid import

Minor manual typo fix

Add documentation for Update Check Ignore

Add ability to ignore updates based on version name matching

Fix too long lines in publish

Remove excess usage description from gpgsign

Remove unused imports

Correct logging output for gpgsign when already signed

Add 'fdroid gpgsign' command

Creates detached gpg signatures for any apks that don't have them
yet. Relevant configuration fields need to be set first.

Stop the gradle version searches once one is found

Add proprietary samsung jar to usual suspects

A few more PEP8 fixes

Merge branch 'master' into 'master'

last PEP8 fixes (everything but E501 line too long and E123 close bracket indent)

These two commits fix all the rest of the PEP8 errors and warnings except for:

* E123 closing bracket does not match indentation of opening bracket's line
* E501 line too long (x > 79 characters)

Almost all of the fixed issues were these errors:

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent
* E226 missing whitespace around arithmetic operator

If you would like to make it run as part of the automated builds, it would just be a matter of adding this line to `jenkins-build`:

```
pep8 --ignore=E123,E501,W fdroid fdroidserver/*.py examples/*.py
```

fix PEP8 "E226 missing whitespace around arithmetic operator"

fix PEP8 E124/E125/126/127/128 indentation issues

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent

Merge branch 'master' into 'master'

fix pyflakes error and a bunch of PEP8 fixes

lots of little fixes here, the first commit fixes the minor error that `pyflakes` raised, then the rest are all PEP8 fixes, as reported by the `pep8` command line tool.

fix PEP8 "E261 at least two spaces before inline comment"

fix PEP8 "W391 blank line at end of file"

fix PEP8 "E303 too many blank lines (2)"

fix PEP8 "E302 expected 1 blank lines, found 0"

fix PEP8 "E302 expected 2 blank lines, found 1"

fix PEP8 "E401 multiple imports on one line"

fix PEP8 "E712 comparison to True should be 'if cond is True:' or 'if cond:'"

fix PEP8 "E703 statement ends with a semicolon"

fix PEP8 "E225 missing whitespace around operator"

fix PEP8 "E228 missing whitespace around modulo operator"

fix PEP8 "E251 unexpected spaces around keyword / parameter equals"

fix PEP8 "W291 trailing whitespace"

fix PEP8 "E202 whitespace before ']' or '}'"

fix PEP8 "E201 whitespace after '(' or '[' or '{'"

fix PEP8 "E231 missing whitespace after ','"

fix PEP8 "E203 whitespace before ':' or ','"

fix PEP8 "E711 comparison to None should be 'if cond is None:'"

fix "fdroidserver/build.py:41: redefinition of unused 'paramiko' from line 39"

pyflakes gave this error based on the `paramiko = None` statement. I used
a different way to test whether paramiko was successfully imported that is
directly based on the relevant Exceptions.

Add missing -q/--quiet completions

Also pre-compile list regex warnings

Warn about leading spaces in descriptions

Remove the other explicit vagrant references

Aside from the VM setup (which is now self-contained) the build process
only cares that it's handed a clean VM that it can access via ssh, given
a host/port/user/pubkey combination. There's no dependency outside the
getvm/releasevm functions on what kind of vm it is, what user the build
runs as, etc.

Remove some explicit references to the vagrant user

Separate the VM setup process from the build

Fix a few whitespace errors in build.py

More PEP8 compliance (build.py, partial)

Remove the rest of the PEP8 errors from stats.py

Remove strange semicolons

Cache aggregate stats to save time

Also remove 'disable' from auto-update builds

Run git submodule sync before git submodule update

Fixes changes in submodule urls

Update 'fdroid build' args on bash-completion

Add extra options to import completion

Revert "Don't auto update apps with the latest build disabled"

This reverts commit 32ae8bc565fefe985c2ea1cdd831c2c5efc0932d.

Small glob fix to fd-commit

Add support for new files

Add config entry for optional gpg key

Merge branch 'master' of https://gitlab.com/eighthave/fdroidserver

Slightly better summary/name warning message

Show detached gpg sigs for apks in repo browser

update: report signing key fingerprint in same format as client

fdroidclient now uses SHA256 fingerprints internally, and they are shown in
the repo details view.  This changes the digest algorithm to SHA256 and
changes the format to match what is shown in the repo details view.

server: fix logging of file upload to awsbucket

Thanks to Adam Pritchard for reporting this

server: test using config.get() in case dict value is None

If a key 'foo' is set to None, `if config.get('foo'):` will be false while
`if 'foo' in config:` will be true.  A None value is not useful here, so
config.get() is the better check.

Thanks to Adam Pritchard for the suggestion.

init: --no-prompt to skip sdk_path prompt

For running the tests and in other scripted setups, the user prompt is an
annoying. Using --no-prompt means the script can test for failure.

init: --android-home for forcing the path to the Android SDK

This allows the user to set the path to their Android SDK from the command
line. This option is named after the standard env var ANDROID_HOME, as used
in the build.xml generated by `android update project`.  --android-home
takes precendence over the ANDROID_HOME env var if it is set.

init: only overwrites config.py, so run even if repo/ exists

Previously, `fdroid init` would exit if a repo/ subdir existed.  Since it
only changes config.py, that test just caused confusion. Now, only exit if
config.py exists, and if repo/ does not exist, create it.

init: split out defconfig and sdk test to run before config is loaded

`fdroid init` runs before any config.py exists, but it still needs to have
the default config and the SDK path tests.  So split those two bits out of
common.read_config() so that they can be run separately before config.py
is in place.

 Merge branch 'master' into 'master'

support cloud storage, and assorted other improvements

I just finished support for `fdroid server update` to push to Amazon AWS S3 cloud store. It uses libcloud, so there could be lots of other cloud storage services added.  This would be used for alternative hosting locations for repos.  For example, for the Guardian Project repo, we'd include the URLs to various cloud storage options like https://s3.amazonaws.com/guardianproject/fdroid/repo
Services like https://s3.amazonaws.com/ are often not blocked when other things are.

It does not need to be Amazon-specific.  I went with libcloud because it supports like 10 cloud storage and is under active development.  What is there is just the start. I'm new to cloud stuff, so I just started based on a script that Adam Prichart of psiphon gave me. I had to do a fair amount of packaging work to get the python-libcloud Debian package updated. I almost have the 0.14.1 update done, I hope that'll be in Debian tonight.

Lots more info in the commit messages.

add generic installation instructions to README

make awsbucket upload only new or changed files, ignore existing

Since it is possible to check the file size and MD5 hash of the file up on
the AWS S3 bucket, `fdroid server update` can check that a file needs to be
updated before actually deleting and uploading the new file.

fixes #3137 https://dev.guardianproject.info/issues/3137

if the AWS S3 bucket does not exist, create it

This makes the AWS S3 setup dead simple: just put in a awsbucket name of
your choosing, set the AWS credentials, and it'll do the rest, whether the
bucket exists already or not.  S3 buckets are trivial to delete too, in
case of error: `s3cmd rb s3://mybadbucketname`.

support cloud storage with libcloud, starting with Amazon AWS S3

apache-libcloud enables uploading to basically any cloud storage service.
This is the first implementation that allows `fdroid server` to push a repo
up to a AWS S3 'bucket'.  Supporting other cloud storage services should
mostly be a matter of finding the libcloud "Provider" and setting the
access creditials.

fixes #3137 https://dev.guardianproject.info/issues/3137

implement -q and -v for `fdroid server`

The --quiet and --verbose options that are standard with the fdroid tools
were not implemented yet with the `server` command.

reorg `fdroid server` to allow for multiple server types

Right now, ssh+rsync is the only supported server upload type.  Things like
cloud storage services are useful storage bins for fdroid repos since they
are often not blocked while specific websites like Google Play are.

make `fdroid server` check whether serverwebroot is set

Having serverwebroot optional in `fdroid server` means that it can support
multiple methods of hosting, like cloud storage services.  `fdroid server`
can also then support multiple repo hosting options at the same time.

if using crypto smartcard, remind user to plug it in

overwrite password files if they exist

The .fdroid.*.txt password files are only meant to be a conduit for the
passwords, so blow them away everytime.  The canonical password is stored
in config.py.

It might makes sense to replace these files with env vars using
-storepass:env and -keypass:env.  I figured that the passwords are already
in a file, config.py, so adding more files in the same location with the
same perms would not increase the risk at all.

update manual to use public https:// URLs to git repos

git@gitlab.com URLs require a gitlab login, https:// URLs do not

fix warnings in python files manifest

    warning: no files found matching 'jenkins-build.sh'
    warning: no files found matching 'buildserver/cookbooks'

when running `pip install` tests, cache downloads from pypi

Since this runs frequently without much change, it makes sense to cache the
downloaded source packages as much as possible.  There are probably better
ways to do this, but this is really easy.

https://stackoverflow.com/questions/4806448/how-do-i-install-from-a-local-cache-with-pip

Support custom maven/gradle resource paths

Run maven with jar.sign.skip=true too

Reflect new summary char limit

Properly complete partially written vercodes

Count warnings and apps in lint

Add summary-related lint warnings

Only do the latest five tags when using UCM:Tags on git

No longer use universal_newlines

It was added in an attempt to get git clone/fetch output, which did not
succeed.

Fix donate/flattr links in web repo browser

Change widget implementation to allow multiple instances

 Merge branch 'master' into 'master'

add Flattr button to app details pageMaster

Also ignore .bzr when scanning

Also glob the 'rm' field

Glob scanignore and scandelete

These fields can still be used without globbing, but globbing can be very
useful in some cases.

Rewrite much of the source scanner

* Group apk, jar and zip files in the same case
* Use regex to support more patterns and be more flexible
* Only check for usual suspects in jar files (saves time)
* Also catch unknown zip-like files as warnings

Fix: some apks have a zip mimetype instead of a jar one