Merge branch 'implement-gettext' into 'master'

first implementation of localization using gettext

Closes #342

See merge request fdroid/fdroidserver!338

rename 'app-id' to standard Android 'applicationId'

* https://developer.android.com/studio/build/application-id.html
* https://sites.google.com/a/android.com/tools/tech-docs/new-build-system/applicationid-vs-packagename

This only changes the term in the human texts, not var names or CLI flags.

implement gettext localization

This allows all the text to be localized via Weblate.  This is a quick
overview of all the strings, but there are certainly some that were left
out.

closes #342

tests: support running on platforms with old java

In order to test on travis-ci's OSX setup, its easiest to support the old
version of Java that is installed there by default.  It is pretty old, so
it does not include the April 2017 update that disables MD5:

https://blogs.oracle.com/java-platform-group/oracle-jre-will-no-longer-trust-md5-signed-code-by-default
https://www.bleepingcomputer.com/news/security/oracle-to-block-jar-files-signed-with-md5-starting-with-april-2017
https://support.ca.com/us/knowledge-base-articles.TEC1691042.html

#292 #323

standardize os.walk() var names based on Python 3.5 docs

There were multiple conventions used in the code, but mostly it was already
using the convention from the docs, so this converts things to using that
convention:

https://docs.python.org/3/library/os.html#os.walk

set minimum Python version to 3.4

We use contructs introduced in 3.4, and 3.4 is really widely available.

https://setuptools.readthedocs.io/en/latest/setuptools.html#new-and-changed-setup-keywords

gitlab-ci: ensure release tag is present for metadata_v0 tests

Forks won't necessarily have all the tags, so this ensures that they are
present.

Merge branch 'buildserver-verbose' into 'master'

print build-server output when verbose flag is set

Closes #213

See merge request fdroid/fdroidserver!219

Merge branch '368-makebuildserver-fails-checkey-101' into 'master'

remove checkey from jenkins-build-makebuildserver

Closes #368

See merge request fdroid/fdroidserver!337

remove checkey from jenkins-build-makebuildserver

log build-server output when verbose flag is set

bash_completion: fix option completion

Line breaks need to be escaped in the command list.

add all subcommands to bash completion

The bash completion needs a modernization, but this at least makes all the
subcommands work.
#374

Merge branch 'fix_gplay_check' into 'master'

Fix gplay check

See merge request !333

checkupdates: use html.unescape instead of HTMLParser.unescape

HTMLParser.unescape is only an internal method and deprecated.
This requires Pyhton 3.4.

checkupdates: fix google play check method

This has never worked with python3 and was also not properly adapted to
apps as objects. So we fix both of these issues.

Merge branch 'refuse-publishing-duplicate-apks' into 'master'

proper error message when publishing with the same app in repo and unsigned

See merge request !329

Merge branch 'warn_on_aar' into 'master'

scanner: warn on aar files

See merge request !332

Merge branch 'scanner_refactoring' into 'master'

Scanner refactoring

See merge request !330

scanner: warn on aar files

scanner: rename variables, use os.path.relpath

* rename fd -> path_in_build_dir
* rename fp -> filepath
* use os.path.reldir instead of string manipulation

scanner: more descriptive variable names from os.walk

This uses the names from python documentation of os.walk().

proper error message when publishing with the same app in repo and unsigned

Merge branch 'close-subprocess-file-handles' into 'master'

make sure file-streams of subprocesses get closed

See merge request !328

Merge branch 'close-subprocess-file-handles' into 'master'

make sure file-streams of subprocesses get closed

See merge request !328

Merge branch 'signatures-subcommand' into 'master'

signatures command

See merge request !327

make sure file-streams of subprocesses get closed

added signatures subcommand

Merge branch 'dont-list-fdroid-subcommands-in-random-order' into 'master'

don't list fdroid subcommands in random order

See merge request !326

dont list fdroid subcommands in random order

remove trailing whitespace

makebuildserver: add comment about not upgrading sdk-tools

Merge branch 'apk_output_location' into 'master'

handle gradle-plugin 3.0 output apk location

Closes #363

See merge request !321

Merge branch 'metadata_v0_test' into 'master'

bump fdroid version to test against to 0.8 remove legacy handling

See merge request !324

CI: bump fdroid version to test against to 0.8 remove legacy handling

Bump to latest released version, remove all handling of things that
changed in a backward incompatible way before.

Merge branch 'mr/update_docker-py' into 'master'

setup.py: unstick docker-py and requests dependencies

See merge request !318

Merge branch 'mr/verify_ca_certs_v2' into 'master'

makebuildserver: verify https all requests to avoid urllib3 warnings

See merge request !316

Merge branch 'revert-af707cd1' into 'master'

Revert "setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it"

See merge request !322

Revert "setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it"

This reverts commit af707cd1cb86ff8c3f8931adc0f874cd976cf391

setup.py: don't use pyasn1 to 0.3.3 until pyasn1-modules is updated to support it

Latest pyasn1-modules hard codes pyasn1-0.3.2, so this currently break our tests.
Ref: https://github.com/etingof/pyasn1-modules/issues/4

Merge branch 'mr/update_platforms_tools' into 'master'

makebuildserver: update platform and build tool releases

See merge request !317

add comments to gradle output directories

handle gradle-plugin 3.0 output apk location

This commit adds support for new gradle plugin 3.0 output directories.
The new structure looks like this:

build/outputs/apk/<flavour1><Flavour2>/release/*.apk

Note the capitalization on the different flavour components.
So if we build a specific flavour combination we add this combination to
the path where we look for an output .apk.

Closes #363

Based on !320 by: Michel Le Bihan <michel@lebihan.pl>
Signed-off-by: Marcus Hoffmann <bubuiic@aol.com>

Merge branch 'local_metadata' into 'master'

metadata: also read .fdroid.txt metadata

Closes #364

See merge request !319

metadata: also read .fdroid.txt metadata

This is documented as working here:
https://f-droid.org/docs/Building_Applications/
(second to last paragraph)

fixes #364

setup.py: unstick docker-py and requests dependencies

docker-py 1.10.6 is the last version released under docker-py, after that it
will be just docker, but has breaking changes, see:
https://github.com/docker/docker-py/releases/tag/2.0.0

Update the list of allowed versions of requests to docker-py master.

makebuildserver: update platform and build tool releases

Update platform-25 to r03
Update platform-26 to r02
Add build-tools_r26.0.1

sha256 signatures locally computed after verifying the sha1 signature provided
by the repository2-1.xml file.

All these will be downloaded and installed in the buildserver through
provision-android-sdk anyway but this adds them to the cache.

makebuildserver: verify https all requests to avoid urllib3 warnings

According to http://docs.python-requests.org/en/master/user/advanced/#ca-certificates
python-requests >= 2.4.0 will use the certifi provided certificates.
We already recommend installing python3-certifi in the docs.
On debian requests is patched to use the system trust store instead.

Merge branch 'gradle-updates' into 'master'

makebuildserver: add Gradle 3.5.1, 4.0.1, 4.0.2 and 4.1

See merge request !313

Merge branch 'ndk-r15c' into 'master'

makebuildserver: upgrade NDK r15b to r15c

See merge request !314

makebuildserver: add Gradle 3.5.1, 4.0.1, 4.0.2 and 4.1

Android Gradle plugin 3.0.0 requires Gradle 4.1.

makebuildserver: upgrade NDK r15b to r15c

metadata: handle empty YAML files without crashing

!311

update: test metadata creation using internal and external templates

There is a hardcoded template in update.py, and there is also the
possibility for the user to create a template.yml.  This tests both of them
and cleans up the related code a bit.

#352 !310

add missing comma in setup.py

Merge branch 'metadata' into 'master'

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Closes #352

See merge request !310

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Bump to 0.8

update pypi "classifiers"

update README to point to https://f-droid.org/docs

update file list in setup.py

Merge branch 'metadata' into 'master'

Updating syntax check for Flattr (see #284)

See merge request !309

Updating syntax check for Flattr (see #284)

Merge branch '0.8-fixes' into 'master'

0.8 fixes

Closes #325, #347, and #309

See merge request !304

remove errant trailing slash added in 7613c18dd80969cec9db0e209611c9ebc3176fed

include all test files in source tarball

gitlab-ci: filter new build fields in metadata_v0 test

update: always include name/summary/desc in index.xml if available

With the new localization support, the name/summary/description in the
metadata file becomes the global override.  So most apps are not going to
have those fields present in their metadata file.  This fixes the index.xml
generation to fall back to the localized versions of those fields when they
are not set in the metadata field.

https://forum.f-droid.org/t/what-has-happend-to-osmand

add new files to MANIFEST.in

They need to be there in order to be included in the source tarball.

wp-droid: move deprecated Wordpress plugin to its own repo

closes #325

verify: if downloading from /repo/ fails, try /archive/

The Builds entries in metadata/ files do not easily say whether a
given APK is in the repo/ or the archive/.  So it should also try to
download the official APK from the archive/ when verifying.

keep .apk file ext when diffoscope'ing Binaries:

rewritemeta: only print file type if its changing

server: report errors pushing to git mirrors

This makes `fdroid server update` fail if pushing to one of the git mirrors
fails.  This is what happens if the other methods fail, e.g. rsync or S3.

closes #347

server: include gitlab raw URLs as git mirrors

gitlab serves raw files from a CDN, so its appropriate to use the raw URL.
@pserwylo @grote and I discussed it and found a reference, but I can't find
that reference now.

Since the client will try the next mirror if one fails, it makes sense to
include both the gitlab raw and gitlab pages URLs to the mirror.  The
gitlab pages deploy process is still a bit flaky anyway.

server: only rm git mirror if the git history is getting too large

git hosts like github, gitlab, bitbucket usually allow 1 gig repos. This
changes the git mirroring behavior to keep the history until the repo hits
1 gig.  Keeping history makes updates a lot faster, since the whole repo
does not need to be pushed on each update.

update: force checkout .gitlab-ci.yml when updating git mirrors

closes #309

server: smooth out btlog transfer for offline signing setups

It turns out it is error prone to `git push` to a non-bare git repo. For
the offline signing machine, the git remote needs to be a regular git repo
in a directory on a thumbdrive so that once the thumbdrive is plugged into
an online machine, that git repo can be transferred to the online machine.

Merge branch 'xmlicons' into 'master'

have fallback for XML icons also consider res/mipmap*

See merge request !307

have fallback for XML icons also consider res/mipmap*

several apps (e.g.
[FastHub](http://apt.qumran.org/fdroid/index/apk/com.fastaccess.github)
and [Monety](http://apt.qumran.org/fdroid/index/apk/open.currency)) have
their ic_launcher.png files not in res/drawable*dpi/, but in
res/mipmap*/ -- so the regex has been adjusted by this patch.

Additionally: if the only icon for a given resolution was an XML without
existing fallback-PNG, it should be considered "non existent" (ie.
"empty_density").

Merge branch 'metadata' into 'master'

adding example metadata template (closes #345)

Closes #345

See merge request !306

using a "real category" as example

adding example metadata template (closes #345)

Merge branch 'metadata' into 'master'

--create-metadata: use yaml.dump() and (if exists) template.yml

See merge request !305

--create-metadata: only set default empty values if not using template.py

enable user to have presets for metadata by using a template.yml (see #345)

make --create-metadata use yaml.dump instead of ruamel (solves #345)

ensure that mirror URLs always include the repodir

Since the mirror URLs are per repo section (repo/archive), the mirror URLs
must include the repodir at the end.  This was missing for servergitmirrors

found by @cde when working on fdroidclient#35

Merge branch 'master' into 'master'

Also search for apk in build/outputs/apk/release

See merge request !303

Also search for apk in build/outputs/apk/release

Merge branch 'metadata' into 'master'

--create-metadata: make sure apk[name] is not empty

See merge request !302

--create-metadata: make sure apk[name] is not empty

Merge branch 'sudo' into 'master'

add new 'sudo=' Build field

Closes #317

See merge request !297

support configing buildserver VM per-build with sudo=

This adds the 'sudo' build field, which is just a script that is run as
root.  For more info, see the issue that this closes:

refs #318
closes #317

Merge branch 'yaml-template' into 'master'

update: remove ruamel requirement, and improve '--create-metadata'

Closes #343

See merge request !300

handle App instance with no Builds when writing YAML

update: update openssl KnownVuln scan to handle all recent versions

Thanks to @bubu for reporting!

update: remove ruamel requirement, and improve '--create-metadata'

If ruamel.yaml is not available, this will fallback to using PyYAML. This
also adds some blank fields to the newly created template to make it easy
for human editors to fill in.

closes #343

Merge branch 'some-data-related-fixed' into 'master'

support manually adding per-Build Anti-Features in metadata, and other fixes

Closes #322 and #331

See merge request !296

update: find PNG when recommended icon is an XML file

APKs can now use XML files for vector graphics like the app icon. `aapt`
returns the XML file by default, and perhaps also androguard.  This
checks if the icon is an XML file, and if so, it tries to find a PNG in
the APK with the same name and density to use instead

closes #322

This should also ultimately make the XML file available as an icon source
as well fdroidclient#1091