update: add stricter checking when updating repo index using rsync

rsync uses the modification time and size of the file when deciding whether
to update a file.  These are relatively easy to control in malicious code,
so instead make rsync use a full MD5 checksum when decided whether the
index needs to be updated.  I suppose we could add an option to use
checksum checking on all files, but since the signed repo already provides
a checksum check, it seems not worth the added load on the process.

Also, renamed 'index' to 'indexxml' to make it clear what is the XML and
what is the JAR.

Merge branch 'test-updates-and-related-bug-fixes' into 'master'

Test updates and related bug fixes

I just set up some big tests of generating repos based on feeding as many random APKs into `fdroid update` as possible.  On our jenkins server, the tests copy all of the APKs that the jenkins server has generated and builds a repo from them.  This process caught lots of little glitches in the whole process.  While these little glitches are usually caused by problematic APKs, `fdroid update` should handle them gracefully.  Hopefully this set of fixes accomplishes that.

Be less clumsy when removing signingConfigs

tests: fix --android-home test to actually work

In this case, ANDROID_HOME is set to a fake, non-working version that will
be detected by fdroid as an Android SDK install.  It should use the path
set by --android-home over the one in ANDROID_HOME, therefore if it uses
the one in ANDROID_HOME, it won't work because it is a fake one.  Only
--android-home provides a working one.

update name/description in examples/config.py

It was confusing that by default, repos created with `fdroid init` had the
same name/description as f-droid.org/repo

some APKs do not have a name, like system APKs

It is not necessarily a good idea to try to distribute system APKs via
FDroid, but `fdroid update` should just ignore APKs it cannot handle rather
than die and prevent a repo from being fully created.  This is necessary to
handle the automatic creation of repos, like for debug builds from a
Jenkins server.

update: improve warning about APKs set to be debuggable

This uses the actual XML code used to set this flag making the warning
message easily searchable on the interwebs.

apps with no <uses-sdk> get strange values of minSdkVersion

Using this example app which does not have <uses-sdk>:
https://android.googlesource.com/platform/development/+log/master/samples/ApiDemos/assets/HelloActivity.apk

aapt then returns "sdkVersion:'IceCreamSandwich'".  minSdkVersion is only
ever supposed to be an integer, so this is a bizarre APK.  It is included
only as a binary in the git repo for Android sample code.  But who knows
what else is out there, so report and error and carry on with the update
process.

update: skip APKs that cannot be parsed instead of exiting

Some APKs can be corrupt or some system APKs do not have all the normal
info.  Instead of quitting, `fdroid update` skips the non-parsable APKs and
optionally deletes them if --delete-unknown is specified.

make FDroidPopen output based on --verbose

FDroidPopen outputs by default, this should be controlled by the --verbose
flag so that most of the time, only meaningful messages are shown like
errors and such.  For command output that should be shown everytime,
output=True can be set.

update: remove overly verbose message about icon sizing being correct

This seems like purely a debug message, I can't see why its useful in general

jenkins: run git pre-commit hook for pep8, pyflakes, etc

This provides a central script for running certain checks at commit time,
and in jenkins automated builds.

tests: specify dir for APKs as cmd line arg, and set jenkins to ~

This lets people easily set whatever dir they want, while letting jenkins
search through its whole workspace for any APKs that have been built. Also,
only include the latest version of a given packageName+versionCode.

use 'metadata' name throughout: --createmeta to --create-metadata

To keep the naming used within fdroid consistent, I renamed this long flag
to use the whole word 'metadata' since that is what is used everywhere else

tests: try `fdroid update` after adding an APK to an existing repo

Yes, this includes a binary file, but it is only for the tests, and it is
free software since I wrote it.  The source is here:

https://github.com/eighthave/urzip

test: make sure `fdroid update -c` creates a full index.xml

Previously, `fdroid update -c` would only create the new metadata, but
would not add the new apps/apks to the repo.  That required a second run of
`fdroid update`.  This has been fixes, so this test makes sure it stays
fixed, in a very generic way.

init: make prompt for SDK path exit cleanly on Ctrl-C

This just makes a clean exit rather than showing a python stacktrace.

add more SDK checks: build-tools/19.0.3 and presense of aapt

Make sure that fdroid can find aapt in the current config, otherwise exit
with an error.  Some users don't have build_tools set, and their SDK does
not include the build-tools in the default versioned dir, so this should
warn them of what is wrong.

Fix crash in checkupdates with auto-updates

Add warnings for repo clonings in build recipes

Fix the script defaults

No need to check for non-default build items

Remove dead mvnflags code

Add support for gitlab.com repos to import

Store build comments by vercode, not version

vercodes are unique, versions aren't

Don't allow for duplicate build entries

Use ordered dicts for defaults in apps and builds

Enable pep8 in pre-commit

Fix pep8 warnings in makebuildserver

Re-order app_defaults to match the writing order

Also fix a couple of issues:

* Update Check Name was never written to disk
* Maintainer Notes had no default and was used differently

Simplify field/flag checking and bool flag usage

Make unspecified license use regex

Merge branch 'recent-bug-fixes' into 'master'

Recent bug fixes

Fix a couple of bugs from the tracker.

fixes #12: make `fdroid update -c` do complete update like `fdroid update`

Since the new metadata created by -c is added after the existing metadata
was already parsed, `fdroid update -c` was not doing a complete update of
the repo.  This moves the metadata creation as early as possible, then
reruns the metadata parsing if new metadata was created.

refs #12 https://gitlab.com/fdroid/fdroidserver/issues/12

Fixes #8: if unknown APKs found, prompt to use -c or use --delete-unknown

This adds the option --delete-unknown for the current default behavior of
`fdroid update`: to delete any unknown APKs.  Instead, it just outputs a
warning about the unknown APKs and suggests -c for adding it.

Fixes #8 https://gitlab.com/fdroid/fdroidserver/issues/8

fix PEP8 E128 continuation line under-indented for visual indent

Fix some more pep8 warnings

Fix E265 in config.py

Add pre-commit hook with installer

Will enable pep8 once all the problems are gone

Fix pyflakes errors in readmeta

Make readmeta use srclibs and check for config.py too

More strict string search regex

Also use srclibs in checkupdates

Needed when Repo Type is srclib

Warn about summaries that are not capitalized

Fall back to launchable-activity label if application has none

This fixes apps like MiniZip not having a name

Add android targets 5, 6 and 9

They are nice to have, and will be needed to build support-v4 from source

Centralise management of srclib metadata

Restore friendly error messages

Use --verbose if you really want a full traceback with your 'you made a
typo in an package ID' messages.

It would be better to do this based on exception types (i.e. our own
exceptions - MetadataException, BuildException, VCSException) would not
print a traceback, but unexpected exceptions would. But the types are
not available at the 'fdroid' level currently.

Lose the other unused read_metadata parameter

Remove mysterious keyword arguments

Fix several read_metadata-related issues

Various calls with the wrong parameters, and also an unused parameter on
the function itself.

Add gradle 1.12 for the plugin version 0.10

Also, use https for the gradle.org links

lint: warn about empty descriptions

If some app has the default description because it's not going to be published
or will never have a working build, the whole app should be disabled.

Support https://code.google.com in fdroid import

Minor manual typo fix

Add documentation for Update Check Ignore

Add ability to ignore updates based on version name matching

Fix too long lines in publish

Remove excess usage description from gpgsign

Remove unused imports

Correct logging output for gpgsign when already signed

Add 'fdroid gpgsign' command

Creates detached gpg signatures for any apks that don't have them
yet. Relevant configuration fields need to be set first.

Stop the gradle version searches once one is found

Add proprietary samsung jar to usual suspects

A few more PEP8 fixes

Merge branch 'master' into 'master'

last PEP8 fixes (everything but E501 line too long and E123 close bracket indent)

These two commits fix all the rest of the PEP8 errors and warnings except for:

* E123 closing bracket does not match indentation of opening bracket's line
* E501 line too long (x > 79 characters)

Almost all of the fixed issues were these errors:

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent
* E226 missing whitespace around arithmetic operator

If you would like to make it run as part of the automated builds, it would just be a matter of adding this line to `jenkins-build`:

```
pep8 --ignore=E123,E501,W fdroid fdroidserver/*.py examples/*.py
```

fix PEP8 "E226 missing whitespace around arithmetic operator"

fix PEP8 E124/E125/126/127/128 indentation issues

* E124 closing bracket does not match visual indentation
* E125 continuation line does not distinguish itself from next logical line
* E126 continuation line over-indented for hanging indent
* E127 continuation line over-indented for visual indent
* E128 continuation line under-indented for visual indent

Merge branch 'master' into 'master'

fix pyflakes error and a bunch of PEP8 fixes

lots of little fixes here, the first commit fixes the minor error that `pyflakes` raised, then the rest are all PEP8 fixes, as reported by the `pep8` command line tool.

fix PEP8 "E261 at least two spaces before inline comment"

fix PEP8 "W391 blank line at end of file"

fix PEP8 "E303 too many blank lines (2)"

fix PEP8 "E302 expected 1 blank lines, found 0"

fix PEP8 "E302 expected 2 blank lines, found 1"

fix PEP8 "E401 multiple imports on one line"

fix PEP8 "E712 comparison to True should be 'if cond is True:' or 'if cond:'"

fix PEP8 "E703 statement ends with a semicolon"

fix PEP8 "E225 missing whitespace around operator"

fix PEP8 "E228 missing whitespace around modulo operator"

fix PEP8 "E251 unexpected spaces around keyword / parameter equals"

fix PEP8 "W291 trailing whitespace"

fix PEP8 "E202 whitespace before ']' or '}'"

fix PEP8 "E201 whitespace after '(' or '[' or '{'"

fix PEP8 "E231 missing whitespace after ','"

fix PEP8 "E203 whitespace before ':' or ','"

fix PEP8 "E711 comparison to None should be 'if cond is None:'"

fix "fdroidserver/build.py:41: redefinition of unused 'paramiko' from line 39"

pyflakes gave this error based on the `paramiko = None` statement. I used
a different way to test whether paramiko was successfully imported that is
directly based on the relevant Exceptions.

Add missing -q/--quiet completions

Also pre-compile list regex warnings

Warn about leading spaces in descriptions

Remove the other explicit vagrant references

Aside from the VM setup (which is now self-contained) the build process
only cares that it's handed a clean VM that it can access via ssh, given
a host/port/user/pubkey combination. There's no dependency outside the
getvm/releasevm functions on what kind of vm it is, what user the build
runs as, etc.

Remove some explicit references to the vagrant user

Separate the VM setup process from the build

Fix a few whitespace errors in build.py

More PEP8 compliance (build.py, partial)

Remove the rest of the PEP8 errors from stats.py

Remove strange semicolons

Cache aggregate stats to save time

Also remove 'disable' from auto-update builds

Run git submodule sync before git submodule update

Fixes changes in submodule urls