Add support for gitlab.com repos to import

Store build comments by vercode, not version

vercodes are unique, versions aren't

Don't allow for duplicate build entries

Use ordered dicts for defaults in apps and builds

Enable pep8 in pre-commit

Fix pep8 warnings in makebuildserver

Re-order app_defaults to match the writing order

Also fix a couple of issues:

* Update Check Name was never written to disk
* Maintainer Notes had no default and was used differently

Simplify field/flag checking and bool flag usage

Make unspecified license use regex

Merge branch 'recent-bug-fixes' into 'master'

Recent bug fixes

Fix a couple of bugs from the tracker.

fixes #12: make `fdroid update -c` do complete update like `fdroid update`

Since the new metadata created by -c is added after the existing metadata
was already parsed, `fdroid update -c` was not doing a complete update of
the repo.  This moves the metadata creation as early as possible, then
reruns the metadata parsing if new metadata was created.

refs #12 https://gitlab.com/fdroid/fdroidserver/issues/12

Fixes #8: if unknown APKs found, prompt to use -c or use --delete-unknown

This adds the option --delete-unknown for the current default behavior of
`fdroid update`: to delete any unknown APKs.  Instead, it just outputs a
warning about the unknown APKs and suggests -c for adding it.

Fixes #8 https://gitlab.com/fdroid/fdroidserver/issues/8

fix PEP8 E128 continuation line under-indented for visual indent

Fix some more pep8 warnings

Fix E265 in config.py

Add pre-commit hook with installer

Will enable pep8 once all the problems are gone

Fix pyflakes errors in readmeta

Make readmeta use srclibs and check for config.py too

More strict string search regex

Also use srclibs in checkupdates

Needed when Repo Type is srclib

Warn about summaries that are not capitalized

Fall back to launchable-activity label if application has none

This fixes apps like MiniZip not having a name

Add android targets 5, 6 and 9

They are nice to have, and will be needed to build support-v4 from source

Centralise management of srclib metadata

Restore friendly error messages

Use --verbose if you really want a full traceback with your 'you made a
typo in an package ID' messages.

It would be better to do this based on exception types (i.e. our own
exceptions - MetadataException, BuildException, VCSException) would not
print a traceback, but unexpected exceptions would. But the types are
not available at the 'fdroid' level currently.

Lose the other unused read_metadata parameter

Remove mysterious keyword arguments

Fix several read_metadata-related issues

Various calls with the wrong parameters, and also an unused parameter on
the function itself.

Add gradle 1.12 for the plugin version 0.10

Also, use https for the gradle.org links

lint: warn about empty descriptions

If some app has the default description because it's not going to be published
or will never have a working build, the whole app should be disabled.

Support https://code.google.com in fdroid import

Minor manual typo fix

Add documentation for Update Check Ignore

Add ability to ignore updates based on version name matching

Fix too long lines in publish

Remove excess usage description from gpgsign

Remove unused imports

Correct logging output for gpgsign when already signed

Add 'fdroid gpgsign' command

Creates detached gpg signatures for any apks that don't have them
yet. Relevant configuration fields need to be set first.

Stop the gradle version searches once one is found

Add proprietary samsung jar to usual suspects

A few more PEP8 fixes

Merge branch 'master' into 'master'

last PEP8 fixes (everything but E501 line too long and E123 close bracket indent)

These two commits fix all the rest of the PEP8 errors and warnings except for:

* E123 closing bracket does not match indentation of opening bracket's line
* E501 line too long (x > 79 characters)

Almost all of the fixed issues were these errors:

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent
* E226 missing whitespace around arithmetic operator

If you would like to make it run as part of the automated builds, it would just be a matter of adding this line to `jenkins-build`:

```
pep8 --ignore=E123,E501,W fdroid fdroidserver/*.py examples/*.py
```

fix PEP8 "E226 missing whitespace around arithmetic operator"

fix PEP8 E124/E125/126/127/128 indentation issues

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent

Merge branch 'master' into 'master'

fix pyflakes error and a bunch of PEP8 fixes

lots of little fixes here, the first commit fixes the minor error that `pyflakes` raised, then the rest are all PEP8 fixes, as reported by the `pep8` command line tool.

fix PEP8 "E261 at least two spaces before inline comment"

fix PEP8 "W391 blank line at end of file"

fix PEP8 "E303 too many blank lines (2)"

fix PEP8 "E302 expected 1 blank lines, found 0"

fix PEP8 "E302 expected 2 blank lines, found 1"

fix PEP8 "E401 multiple imports on one line"

fix PEP8 "E712 comparison to True should be 'if cond is True:' or 'if cond:'"

fix PEP8 "E703 statement ends with a semicolon"

fix PEP8 "E225 missing whitespace around operator"

fix PEP8 "E228 missing whitespace around modulo operator"

fix PEP8 "E251 unexpected spaces around keyword / parameter equals"

fix PEP8 "W291 trailing whitespace"

fix PEP8 "E202 whitespace before ']' or '}'"

fix PEP8 "E201 whitespace after '(' or '[' or '{'"

fix PEP8 "E231 missing whitespace after ','"

fix PEP8 "E203 whitespace before ':' or ','"

fix PEP8 "E711 comparison to None should be 'if cond is None:'"

fix "fdroidserver/build.py:41: redefinition of unused 'paramiko' from line 39"

pyflakes gave this error based on the `paramiko = None` statement. I used
a different way to test whether paramiko was successfully imported that is
directly based on the relevant Exceptions.

Add missing -q/--quiet completions

Also pre-compile list regex warnings

Warn about leading spaces in descriptions

Remove the other explicit vagrant references

Aside from the VM setup (which is now self-contained) the build process
only cares that it's handed a clean VM that it can access via ssh, given
a host/port/user/pubkey combination. There's no dependency outside the
getvm/releasevm functions on what kind of vm it is, what user the build
runs as, etc.

Remove some explicit references to the vagrant user

Separate the VM setup process from the build

Fix a few whitespace errors in build.py

More PEP8 compliance (build.py, partial)

Remove the rest of the PEP8 errors from stats.py

Remove strange semicolons

Cache aggregate stats to save time

Also remove 'disable' from auto-update builds

Run git submodule sync before git submodule update

Fixes changes in submodule urls

Update 'fdroid build' args on bash-completion

Add extra options to import completion

Revert "Don't auto update apps with the latest build disabled"

This reverts commit 32ae8bc565fefe985c2ea1cdd831c2c5efc0932d.

Small glob fix to fd-commit

Add support for new files

Add config entry for optional gpg key

Merge branch 'master' of https://gitlab.com/eighthave/fdroidserver

Slightly better summary/name warning message

Show detached gpg sigs for apks in repo browser

update: report signing key fingerprint in same format as client

fdroidclient now uses SHA256 fingerprints internally, and they are shown in
the repo details view.  This changes the digest algorithm to SHA256 and
changes the format to match what is shown in the repo details view.

server: fix logging of file upload to awsbucket

Thanks to Adam Pritchard for reporting this

server: test using config.get() in case dict value is None

If a key 'foo' is set to None, `if config.get('foo'):` will be false while
`if 'foo' in config:` will be true.  A None value is not useful here, so
config.get() is the better check.

Thanks to Adam Pritchard for the suggestion.

init: --no-prompt to skip sdk_path prompt

For running the tests and in other scripted setups, the user prompt is an
annoying. Using --no-prompt means the script can test for failure.

init: --android-home for forcing the path to the Android SDK

This allows the user to set the path to their Android SDK from the command
line. This option is named after the standard env var ANDROID_HOME, as used
in the build.xml generated by `android update project`.  --android-home
takes precendence over the ANDROID_HOME env var if it is set.

init: only overwrites config.py, so run even if repo/ exists

Previously, `fdroid init` would exit if a repo/ subdir existed.  Since it
only changes config.py, that test just caused confusion. Now, only exit if
config.py exists, and if repo/ does not exist, create it.

init: split out defconfig and sdk test to run before config is loaded

`fdroid init` runs before any config.py exists, but it still needs to have
the default config and the SDK path tests.  So split those two bits out of
common.read_config() so that they can be run separately before config.py
is in place.

 Merge branch 'master' into 'master'

support cloud storage, and assorted other improvements

I just finished support for `fdroid server update` to push to Amazon AWS S3 cloud store. It uses libcloud, so there could be lots of other cloud storage services added.  This would be used for alternative hosting locations for repos.  For example, for the Guardian Project repo, we'd include the URLs to various cloud storage options like https://s3.amazonaws.com/guardianproject/fdroid/repo
Services like https://s3.amazonaws.com/ are often not blocked when other things are.

It does not need to be Amazon-specific.  I went with libcloud because it supports like 10 cloud storage and is under active development.  What is there is just the start. I'm new to cloud stuff, so I just started based on a script that Adam Prichart of psiphon gave me. I had to do a fair amount of packaging work to get the python-libcloud Debian package updated. I almost have the 0.14.1 update done, I hope that'll be in Debian tonight.

Lots more info in the commit messages.

add generic installation instructions to README

make awsbucket upload only new or changed files, ignore existing

Since it is possible to check the file size and MD5 hash of the file up on
the AWS S3 bucket, `fdroid server update` can check that a file needs to be
updated before actually deleting and uploading the new file.

fixes #3137 https://dev.guardianproject.info/issues/3137

if the AWS S3 bucket does not exist, create it

This makes the AWS S3 setup dead simple: just put in a awsbucket name of
your choosing, set the AWS credentials, and it'll do the rest, whether the
bucket exists already or not.  S3 buckets are trivial to delete too, in
case of error: `s3cmd rb s3://mybadbucketname`.

support cloud storage with libcloud, starting with Amazon AWS S3

apache-libcloud enables uploading to basically any cloud storage service.
This is the first implementation that allows `fdroid server` to push a repo
up to a AWS S3 'bucket'.  Supporting other cloud storage services should
mostly be a matter of finding the libcloud "Provider" and setting the
access creditials.

fixes #3137 https://dev.guardianproject.info/issues/3137

implement -q and -v for `fdroid server`

The --quiet and --verbose options that are standard with the fdroid tools
were not implemented yet with the `server` command.

reorg `fdroid server` to allow for multiple server types

Right now, ssh+rsync is the only supported server upload type.  Things like
cloud storage services are useful storage bins for fdroid repos since they
are often not blocked while specific websites like Google Play are.