move lots of comments to function doc strings

travis-ci: quiet output for pip/sdkmanager installs

The log was getting way too long.

update MANIFEST.in

There were a number of new files missing.  Some files still manually
excluded.  Generated using:

 for f in `git ls-tree -r master --name-only | sort`; do echo include $f; done

use pandoc to convert README.md to PyPI's reST format

PyPI and Python packages expect the description to be in reST format, which
is a lot different than Markdown.  This does the conversion if pandoc is
installed.

Merge branch 'gradle-4.2' into 'master'

makebuildserver: add Gradle 4.2

See merge request fdroid/fdroidserver!342

makebuildserver: add Gradle 4.2

Merge branch 'port-to-osx-and-trusty' into 'master'

port to OSX and Ubuntu/trusty

See merge request fdroid/fdroidserver!341

travis-ci: always reinstall Java on OSX to get recent version

The Travis images have quite old versions of Java currently.

travis-ci: test on older OSX versions

tests: use ci-test-app with current Gradle Android Plugin

This works around the gradle 2.x bug where versions newer than 2.9 cannot
run things.  This also then specifies the version of Gradle Android Plugin
that is included in Debian/stretch.

tests: support Java setups where MD5 is not disabled by default

For platforms using Java < 1.8.0_133, MD5 is still enabled for JAR
signatures.  Its just too painful to manage all this, so support this
in the tests.

tests: don't run gpgsign tests on Travis CI's OSX, gpg always fails

travis-ci: make Trusty builds a first class citizen

Trusty is used in Travis-CI, Windows Subsystem for Linux, and many other
places, so its an important target platform to test on.  This provides
testing for the backports in the Launchpad PPAs like:

* https://launchpad.net/~fdroid/+archive/ubuntu/fdroidserver
* https://launchpad.net/~fdroid/+archive/ubuntu/buildserver

travis-ci: update OSX CI build to work again

tests: support Ubuntu/trusty's python3.4-venv

tests: prefer GNU sed on BSD/OSX, BSD's sed has lame syntax

https://blog.remibergsma.com/2012/09/18/sed-inline-editing-different-on-mac-osx/

allow spaces in filenames

This fixes all the bugs I could find that prevented fdroid from
handling files with spaces in them.  This is more important now that
fdroid supports random media files, and Repomaker

tests: move test APK with bad unicode filename to separate test

This filename has some messed up bytes related to bi-directional script
that is included (Left-to-Right and Right-to-Left).  GNU/Linux always
interprets filenames as pure byte sequences.  Windows and OSX store
filenames as Unicode strings.  So on OSX, the invalid filename gets
converted to a valid name.  That works fine, but the test fails because it
is compared to a file generated on Ubuntu, where it preserves the byte
sequence.

This includes an APK with a valid Unicode filename that includes
bi-directional script.

index: always use jarsigner for verifying JAR signatures

apksigner v0.7 (build-tools 26.0.1), Google made it require that the
AndroidManifest.xml was present in the archive before it verifies the
signature.  So this needs to stick with the jarsigner hack for JARs.

init: prompt user for Android SDK path using platform-specific default

create blank config.py using cross-platform technique

os.mknod() fails on OSX with:

Traceback (most recent call last):

  File "/Users/travis/build/fdroidtravis/fdroidserver/tests/../fdroid", line 154, in <module>
    main()
  File "/Users/travis/build/fdroidtravis/fdroidserver/tests/../fdroid", line 130, in main
    mod.main()
  File "/Users/travis/build/fdroidtravis/fdroidserver/fdroidserver/update.py", line 1768, in main
    common.write_to_config(config, 'repo_keyalias', config['repo_keyalias'])
  File "/Users/travis/build/fdroidtravis/fdroidserver/fdroidserver/common.py", line 2328, in write_to_config
    os.mknod(cfg)
PermissionError: [Errno 1] Operation not permitted

Merge branch 'first-working-localization' into 'master'

First working localization

See merge request fdroid/fdroidserver!340

update translation template with latest strings

add Makefile to handle refreshing translation template

To generate the translation files, run `make -C locale`or
`cd locale && make`

To update the template, run `make -C locale template` or
`cd locale && make fdroidserver.pot`

fix string formats that are ambiguous for translators

ensure _ is used only for gettext strings

_ is often used for variables that are ignored, this makes that a bit more
explicit
!338

English source string corrections

From @monolifed <monolifed@gmail.com>

"No config.py found" should warning level, until people get use to it

Since !335 changed the long standing behavior, now allowing `fdroid` to
work without a config.py being present, this message should be quite
visible in case people are expecting `fdroid` to fail when there is no
config.py present.

Merge branch 'plural' into 'master'

Correct plurals

See merge request fdroid/fdroidserver!334

Merge branch 'newcomers' into 'master'

allow starting without config.py

See merge request fdroid/fdroidserver!335

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!339

Weblate

Merge branch 'implement-gettext' into 'master'

first implementation of localization using gettext

Closes #342

See merge request fdroid/fdroidserver!338

Correct plurals

rename 'app-id' to standard Android 'applicationId'

* https://developer.android.com/studio/build/application-id.html
* https://sites.google.com/a/android.com/tools/tech-docs/new-build-system/applicationid-vs-packagename

This only changes the term in the human texts, not var names or CLI flags.

implement gettext localization

This allows all the text to be localized via Weblate.  This is a quick
overview of all the strings, but there are certainly some that were left
out.

closes #342

tests: support running on platforms with old java

In order to test on travis-ci's OSX setup, its easiest to support the old
version of Java that is installed there by default.  It is pretty old, so
it does not include the April 2017 update that disables MD5:

https://blogs.oracle.com/java-platform-group/oracle-jre-will-no-longer-trust-md5-signed-code-by-default
https://www.bleepingcomputer.com/news/security/oracle-to-block-jar-files-signed-with-md5-starting-with-april-2017
https://support.ca.com/us/knowledge-base-articles.TEC1691042.html

#292 #323

standardize os.walk() var names based on Python 3.5 docs

There were multiple conventions used in the code, but mostly it was already
using the convention from the docs, so this converts things to using that
convention:

https://docs.python.org/3/library/os.html#os.walk

set minimum Python version to 3.4

We use contructs introduced in 3.4, and 3.4 is really widely available.

https://setuptools.readthedocs.io/en/latest/setuptools.html#new-and-changed-setup-keywords

gitlab-ci: ensure release tag is present for metadata_v0 tests

Forks won't necessarily have all the tags, so this ensures that they are
present.

Merge branch 'buildserver-verbose' into 'master'

print build-server output when verbose flag is set

Closes #213

See merge request fdroid/fdroidserver!219

Merge branch '368-makebuildserver-fails-checkey-101' into 'master'

remove checkey from jenkins-build-makebuildserver

Closes #368

See merge request fdroid/fdroidserver!337

remove checkey from jenkins-build-makebuildserver

tests: don't touch config.py, no config is fine now

common: allow starting without a config file

There is no reason this should be disallowed as the default config often
works well when building simple apps.

make sure config exists before writing to it

bash_completion: add update --create-key option

log build-server output when verbose flag is set

bash_completion: fix option completion

Line breaks need to be escaped in the command list.

add all subcommands to bash completion

The bash completion needs a modernization, but this at least makes all the
subcommands work.
#374

Merge branch 'fix_gplay_check' into 'master'

Fix gplay check

See merge request !333

checkupdates: use html.unescape instead of HTMLParser.unescape

HTMLParser.unescape is only an internal method and deprecated.
This requires Pyhton 3.4.

checkupdates: fix google play check method

This has never worked with python3 and was also not properly adapted to
apps as objects. So we fix both of these issues.

Merge branch 'refuse-publishing-duplicate-apks' into 'master'

proper error message when publishing with the same app in repo and unsigned

See merge request !329

Merge branch 'warn_on_aar' into 'master'

scanner: warn on aar files

See merge request !332

Merge branch 'scanner_refactoring' into 'master'

Scanner refactoring

See merge request !330

scanner: warn on aar files

scanner: rename variables, use os.path.relpath

* rename fd -> path_in_build_dir
* rename fp -> filepath
* use os.path.reldir instead of string manipulation

scanner: more descriptive variable names from os.walk

This uses the names from python documentation of os.walk().

proper error message when publishing with the same app in repo and unsigned

Merge branch 'close-subprocess-file-handles' into 'master'

make sure file-streams of subprocesses get closed

See merge request !328

Merge branch 'close-subprocess-file-handles' into 'master'

make sure file-streams of subprocesses get closed

See merge request !328

Merge branch 'signatures-subcommand' into 'master'

signatures command

See merge request !327

make sure file-streams of subprocesses get closed

added signatures subcommand

Merge branch 'dont-list-fdroid-subcommands-in-random-order' into 'master'

don't list fdroid subcommands in random order

See merge request !326

dont list fdroid subcommands in random order

remove trailing whitespace

makebuildserver: add comment about not upgrading sdk-tools

Merge branch 'apk_output_location' into 'master'

handle gradle-plugin 3.0 output apk location

Closes #363

See merge request !321

Merge branch 'metadata_v0_test' into 'master'

bump fdroid version to test against to 0.8 remove legacy handling

See merge request !324

CI: bump fdroid version to test against to 0.8 remove legacy handling

Bump to latest released version, remove all handling of things that
changed in a backward incompatible way before.

Merge branch 'mr/update_docker-py' into 'master'

setup.py: unstick docker-py and requests dependencies

See merge request !318

Merge branch 'mr/verify_ca_certs_v2' into 'master'

makebuildserver: verify https all requests to avoid urllib3 warnings

See merge request !316

Merge branch 'revert-af707cd1' into 'master'

Revert "setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it"

See merge request !322

Revert "setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it"

This reverts commit af707cd1cb86ff8c3f8931adc0f874cd976cf391

setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it

Latest pyasn1-modules hard codes pyasn1-0.3.2, so this currently break our tests.
Ref: https://github.com/etingof/pyasn1-modules/issues/4

Merge branch 'mr/update_platforms_tools' into 'master'

makebuildserver: update platform and build tool releases

See merge request !317

add comments to gradle output directories

handle gradle-plugin 3.0 output apk location

This commit adds support for new gradle plugin 3.0 output directories.
The new structure looks like this:

build/outputs/apk/<flavour1><Flavour2>/release/*.apk

Note the capitalization on the different flavour components.
So if we build a specific flavour combination we add this combination to
the path where we look for an output .apk.

Closes #363

Based on !320 by: Michel Le Bihan <michel@lebihan.pl>
Signed-off-by: Marcus Hoffmann <bubuiic@aol.com>

Merge branch 'local_metadata' into 'master'

metadata: also read .fdroid.txt metadata

Closes #364

See merge request !319

metadata: also read .fdroid.txt metadata

This is documented as working here:
https://f-droid.org/docs/Building_Applications/
(second to last paragraph)

fixes #364

setup.py: unstick docker-py and requests dependencies

docker-py 1.10.6 is the last version released under docker-py, after that it
will be just docker, but has breaking changes, see:
https://github.com/docker/docker-py/releases/tag/2.0.0

Update the list of allowed versions of requests to docker-py master.

makebuildserver: update platform and build tool releases

Update platform-25 to r03
Update platform-26 to r02
Add build-tools_r26.0.1

sha256 signatures locally computed after verifying the sha1 signature provided
by the repository2-1.xml file.

All these will be downloaded and installed in the buildserver through
provision-android-sdk anyway but this adds them to the cache.

makebuildserver: verify https all requests to avoid urllib3 warnings

According to http://docs.python-requests.org/en/master/user/advanced/#ca-certificates
python-requests >= 2.4.0 will use the certifi provided certificates.
We already recommend installing python3-certifi in the docs.
On debian requests is patched to use the system trust store instead.

Merge branch 'gradle-updates' into 'master'

makebuildserver: add Gradle 3.5.1, 4.0.1, 4.0.2 and 4.1

See merge request !313

Merge branch 'ndk-r15c' into 'master'

makebuildserver: upgrade NDK r15b to r15c

See merge request !314

makebuildserver: add Gradle 3.5.1, 4.0.1, 4.0.2 and 4.1

Android Gradle plugin 3.0.0 requires Gradle 4.1.

makebuildserver: upgrade NDK r15b to r15c

metadata: handle empty YAML files without crashing

!311

update: test metadata creation using internal and external templates

There is a hardcoded template in update.py, and there is also the
possibility for the user to create a template.yml.  This tests both of them
and cleans up the related code a bit.

#352 !310

add missing comma in setup.py

Merge branch 'metadata' into 'master'

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Closes #352

See merge request !310

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Bump to 0.8

update pypi "classifiers"

update README to point to https://f-droid.org/docs

update file list in setup.py

Merge branch 'metadata' into 'master'

Updating syntax check for Flattr (see #284)

See merge request !309

Updating syntax check for Flattr (see #284)