fix PEP8 "E302 expected 2 blank lines, found 1"

fix PEP8 "E401 multiple imports on one line"

fix PEP8 "E712 comparison to True should be 'if cond is True:' or 'if cond:'"

fix PEP8 "E703 statement ends with a semicolon"

fix PEP8 "E225 missing whitespace around operator"

fix PEP8 "E228 missing whitespace around modulo operator"

fix PEP8 "E251 unexpected spaces around keyword / parameter equals"

fix PEP8 "W291 trailing whitespace"

fix PEP8 "E202 whitespace before ']' or '}'"

fix PEP8 "E201 whitespace after '(' or '[' or '{'"

fix PEP8 "E231 missing whitespace after ','"

fix PEP8 "E203 whitespace before ':' or ','"

fix PEP8 "E711 comparison to None should be 'if cond is None:'"

fix "fdroidserver/build.py:41: redefinition of unused 'paramiko' from line 39"

pyflakes gave this error based on the `paramiko = None` statement. I used
a different way to test whether paramiko was successfully imported that is
directly based on the relevant Exceptions.

Add missing -q/--quiet completions

Also pre-compile list regex warnings

Warn about leading spaces in descriptions

Remove the other explicit vagrant references

Aside from the VM setup (which is now self-contained) the build process
only cares that it's handed a clean VM that it can access via ssh, given
a host/port/user/pubkey combination. There's no dependency outside the
getvm/releasevm functions on what kind of vm it is, what user the build
runs as, etc.

Remove some explicit references to the vagrant user

Separate the VM setup process from the build

Fix a few whitespace errors in build.py

More PEP8 compliance (build.py, partial)

Remove the rest of the PEP8 errors from stats.py

Remove strange semicolons

Cache aggregate stats to save time

Also remove 'disable' from auto-update builds

Run git submodule sync before git submodule update

Fixes changes in submodule urls

Update 'fdroid build' args on bash-completion

Add extra options to import completion

Revert "Don't auto update apps with the latest build disabled"

This reverts commit 32ae8bc565fefe985c2ea1cdd831c2c5efc0932d.

Small glob fix to fd-commit

Add support for new files

Add config entry for optional gpg key

Merge branch 'master' of https://gitlab.com/eighthave/fdroidserver

Slightly better summary/name warning message

Show detached gpg sigs for apks in repo browser

update: report signing key fingerprint in same format as client

fdroidclient now uses SHA256 fingerprints internally, and they are shown in
the repo details view.  This changes the digest algorithm to SHA256 and
changes the format to match what is shown in the repo details view.

server: fix logging of file upload to awsbucket

Thanks to Adam Pritchard for reporting this

server: test using config.get() in case dict value is None

If a key 'foo' is set to None, `if config.get('foo'):` will be false while
`if 'foo' in config:` will be true.  A None value is not useful here, so
config.get() is the better check.

Thanks to Adam Pritchard for the suggestion.

init: --no-prompt to skip sdk_path prompt

For running the tests and in other scripted setups, the user prompt is an
annoying. Using --no-prompt means the script can test for failure.

init: --android-home for forcing the path to the Android SDK

This allows the user to set the path to their Android SDK from the command
line. This option is named after the standard env var ANDROID_HOME, as used
in the build.xml generated by `android update project`.  --android-home
takes precendence over the ANDROID_HOME env var if it is set.

init: only overwrites config.py, so run even if repo/ exists

Previously, `fdroid init` would exit if a repo/ subdir existed.  Since it
only changes config.py, that test just caused confusion. Now, only exit if
config.py exists, and if repo/ does not exist, create it.

init: split out defconfig and sdk test to run before config is loaded

`fdroid init` runs before any config.py exists, but it still needs to have
the default config and the SDK path tests.  So split those two bits out of
common.read_config() so that they can be run separately before config.py
is in place.

 Merge branch 'master' into 'master'

support cloud storage, and assorted other improvements

I just finished support for `fdroid server update` to push to Amazon AWS S3 cloud store. It uses libcloud, so there could be lots of other cloud storage services added.  This would be used for alternative hosting locations for repos.  For example, for the Guardian Project repo, we'd include the URLs to various cloud storage options like https://s3.amazonaws.com/guardianproject/fdroid/repo
Services like https://s3.amazonaws.com/ are often not blocked when other things are.

It does not need to be Amazon-specific.  I went with libcloud because it supports like 10 cloud storage and is under active development.  What is there is just the start. I'm new to cloud stuff, so I just started based on a script that Adam Prichart of psiphon gave me. I had to do a fair amount of packaging work to get the python-libcloud Debian package updated. I almost have the 0.14.1 update done, I hope that'll be in Debian tonight.

Lots more info in the commit messages.

add generic installation instructions to README

make awsbucket upload only new or changed files, ignore existing

Since it is possible to check the file size and MD5 hash of the file up on
the AWS S3 bucket, `fdroid server update` can check that a file needs to be
updated before actually deleting and uploading the new file.

fixes #3137 https://dev.guardianproject.info/issues/3137

if the AWS S3 bucket does not exist, create it

This makes the AWS S3 setup dead simple: just put in a awsbucket name of
your choosing, set the AWS credentials, and it'll do the rest, whether the
bucket exists already or not.  S3 buckets are trivial to delete too, in
case of error: `s3cmd rb s3://mybadbucketname`.

support cloud storage with libcloud, starting with Amazon AWS S3

apache-libcloud enables uploading to basically any cloud storage service.
This is the first implementation that allows `fdroid server` to push a repo
up to a AWS S3 'bucket'.  Supporting other cloud storage services should
mostly be a matter of finding the libcloud "Provider" and setting the
access creditials.

fixes #3137 https://dev.guardianproject.info/issues/3137

implement -q and -v for `fdroid server`

The --quiet and --verbose options that are standard with the fdroid tools
were not implemented yet with the `server` command.

reorg `fdroid server` to allow for multiple server types

Right now, ssh+rsync is the only supported server upload type.  Things like
cloud storage services are useful storage bins for fdroid repos since they
are often not blocked while specific websites like Google Play are.

make `fdroid server` check whether serverwebroot is set

Having serverwebroot optional in `fdroid server` means that it can support
multiple methods of hosting, like cloud storage services.  `fdroid server`
can also then support multiple repo hosting options at the same time.

if using crypto smartcard, remind user to plug it in

overwrite password files if they exist

The .fdroid.*.txt password files are only meant to be a conduit for the
passwords, so blow them away everytime.  The canonical password is stored
in config.py.

It might makes sense to replace these files with env vars using
-storepass:env and -keypass:env.  I figured that the passwords are already
in a file, config.py, so adding more files in the same location with the
same perms would not increase the risk at all.

update manual to use public https:// URLs to git repos

git@gitlab.com URLs require a gitlab login, https:// URLs do not

fix warnings in python files manifest

    warning: no files found matching 'jenkins-build.sh'
    warning: no files found matching 'buildserver/cookbooks'

when running `pip install` tests, cache downloads from pypi

Since this runs frequently without much change, it makes sense to cache the
downloaded source packages as much as possible.  There are probably better
ways to do this, but this is really easy.

https://stackoverflow.com/questions/4806448/how-do-i-install-from-a-local-cache-with-pip

Support custom maven/gradle resource paths

Run maven with jar.sign.skip=true too

Reflect new summary char limit

Properly complete partially written vercodes

Count warnings and apps in lint

Add summary-related lint warnings

Only do the latest five tags when using UCM:Tags on git

No longer use universal_newlines

It was added in an attempt to get git clone/fetch output, which did not
succeed.

Fix donate/flattr links in web repo browser

Change widget implementation to allow multiple instances

 Merge branch 'master' into 'master'

add Flattr button to app details pageMaster

Also ignore .bzr when scanning

Also glob the 'rm' field

Glob scanignore and scandelete

These fields can still be used without globbing, but globbing can be very
useful in some cases.

Rewrite much of the source scanner

* Group apk, jar and zip files in the same case
* Use regex to support more patterns and be more flexible
* Only check for usual suspects in jar files (saves time)
* Also catch unknown zip-like files as warnings

Fix: some apks have a zip mimetype instead of a jar one

Fix apk path on gradle builds with many subdirs

 Merge branch 'master' into 'master'

Updated manual with gitlab repo links

updated gitorious repo links to gitlab repo links

remove border around Flattr button

add Flattr button to app details page

Support gradle variables without an equals sign

Fix counting of scanner problems

Point wiki current/history links to gitlab

 Merge branch 'master' into 'master'

fix tests

this fixes the copying of APKs in the test script

use FDroid-standard naming when copying APKs for tests

This makes sure that there are no APKs with duplicate version codes.

move run-tests to /bin/bash so we can use bashisms

Fix Categories: default value

Add buildserver details to AndroidManifest.xml

Put commit hash of fdroidserver in use onto buildserver

Support different identity file structures

Something to do with vagrant/paramiko versioning.

Fix snapshot logging error

Specify that scanner warnings are not counted

 Merge branch 'master' into 'master'

implemeted support for using a smartcard for the repo signing key

This changeset implements using a smartcard (HSM) as the keystore for the signing key.  It also fixes lots of little bugs in the `fdroid init` process.

add note about automatically generated signing key after init

warn user if smartcard keystore is set but opensc is not installed

support repo signing with a key on a smartcard

This assumes that the smartcard is already setup with a signing key.  init
does not generate a key on the smartcard, and skips genkey() if things are
configured to use a smartcard.

This also does not touch APK signing because that is a much more elaborate
question, since each app is signed by its own key.

fix bug setting repo_keyalias in init

fix bug listing new key created in init

Oops, a typo with a ] in e53092cffa993031cdd6f3269ca792e42b41a9a6

add test case were init generates a keystore and uses it

if keystore is given as arg to init, create keystore if it does not exist

Previously, `fdroid init --keystore /tmp/foo` expected the keystore to
exist, or it quit with an error.  But I've changed my mind, I think it is
useful to have it generate a new keystore at that location if it does not
exist.  For example, in tests/run-tests.sh. It still will not clobber an
existing file at that location.

'smartcardoptions' config item for setting up HSMs with fdroid

These options are needed to configure Java's keytool and jarsigner to use
a Hardware Security Module aka HSM aka smartcard.  The defaults provided
are meant to make things work as easily as possible.

make repo_keyalias like a config option: leave it commented out

Before, the code relies on repo_keyalias being None, which does not feel
conffile-like.  Now, its commented out if its not set.

use default keystore path when generating a new setup with init

Before, the path to the keystore was also hardcoded in init.py, this makes
init now get it from the defaults set in common.py.