Bump to 0.9.1 for release process fixes

rename test files to work round filename length limits

It seems a lot of things like tar, Windows, some filesystems, etc. do not
handle long filenames. #416

check git is on correct tag before making a release

Merge branch 'tests-fedora' into 'master'

tests: fix pycodestyle lookup

See merge request fdroid/fdroidserver!386

tests: fix pycodestyle lookup

Pycodestyle is available as /usr/bin/pycodestyle-3 on Fedora.

Bump to 1.0.dev0

Bump to 0.9

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!384

Weblate

nightly: fix PEP8 E722 do not use bare except

jenkins: require successful `git fetch` before running tests

jenkins-setup-build-env: actually run tests in the new buildserver VM

Oops, this has been failing, since it was running the build on the vm host,
not in the buildserver VM.

jenkins-test: don't overwrite `fdroid init` config.py and rm test files

jenkins-test: force new repo setup for each build

jenkins-build-all just sets `build_server_always = True`, these tests need
a whole keystore setup.  So just delete the existing config, and let
`fdroid init` do the rest.

Merge branch 'rsync' into 'master'

build: rsync instead of sftp dirs to the buildserver

Closes #227

See merge request fdroid/fdroidserver!379

Merge branch 'ndk' into 'master'

makebuildserver: add ndk r16

See merge request fdroid/fdroidserver!383

makebuildserver: add ndk r16

Merge branch 'vm-provider-lookup-flaw' into 'master'

fix vm provider lookup flaw

See merge request fdroid/fdroidserver!382

Merge branch 'no_rm' into 'master'

common: use python instead of calling out to 'rm'

See merge request fdroid/fdroidserver!381

fix vm provider lookup flaw

build: rsync instead of sftp dirs to the buildserver

Sending many small files with paramiko's sftp implementation is quite
slow. There seems to be no way around this, other projects (ansible)
recommend to use rsync in this case.

Our sourcecode directories sometimes have a LOT of files, it can take
up to an hour to copy all required things inside the buildserver.

Instead we just use rsync with the ssh options we get from vagrant.
For rsync specific options we use:

* sync permissions as before
* sync symlinks (was done partially before)
* don't sync hardlinks and ownership as these don't make for things
  coming from a VCS

Closes fdroid/fdroidserver#227.

common: use python instead of calling out to 'rm'

Be platform agnostic by not calling other utilities.

Merge branch 'stop-hanging-on-git-ssh' into 'master'

Stop hanging on git ssh

See merge request fdroid/fdroidserver!378

never wait for SSH prompts when running git commands

We never allow git via SSH or password/key access, and right now, this
causes things to hang forever.  This sets things up to fail quickly
with invalid ssh connections.

BatchMode=yes - passphrase/password querying will be disabled.

StrictHostKeyChecking=yes - never automatically prompt, or add host keys to
the ~/.ssh/known_hosts file, and refuse to connect to hosts whose host key
has changed.

build: stop git from waiting forever at username/password prompts

If a git fetch/clone/submodule URL points to gitlab, github, bitbucket, etc
and that repo does not exist any more, those services will prompt the user
for a username/password so that the service can check if its a private
repo.  Private repos show up the same as non-existent repos.  This employs
two techniques for making sure that git never waits at those prompts.  It
instead should just fail immediately.  The buildserver has been hanging on
these prompts forever, until manually killed.  This change will apply to
updates both on the buildserver host, and the buildserver guest vm.

This uses the "insteadOf" git config option to rewrite URLs to always use
HTTPS and then include a fake username/password so that git will use those
in the prompts and fail immediately.  This trick has been in use on the
verification server for a long while and has been working well.  It has
also been used on jenkins.debian.net in the host.
https://f-droid.org/en/docs/Verification_Server/

It also includes GIT_TERMINAL_PROMPT, which also prevents the bad behavior,
which was added in git 2.3.
https://github.com/blog/1957-git-2-3-has-been-released

buildserver: use git from jessie-backports to get better workflow

A number of key features around username/password handling where added in
2.3, like GIT_SSH_COMMAND and GIT_TERMINAL_PROMPT.

Merge branch 'nightly' into 'master'

nightly: new command to setup nightly builds in CI systems

See merge request fdroid/fdroidserver!377

nightly: new command to setup nightly builds in CI systems

This lets people using CI systems easily setup a nightly build repo hosted
for free in github or gitlab.

https://github.com/zom/Zom-Android/pull/355
https://gitlab.com/fdroid/fdroidclient/merge_requests/594

environment variables:
* https://docs.gitlab.com/ce/ci/variables/README.html
* https://docs.travis-ci.com/user/environment-variables
* https://circleci.com/docs/1.0/environment-variables

rename test file to fit within eCryptfs filename limits (closes #416)

make common.local_rsync() method for pre-configured local rsyncs

common.get_examples_dir() to get path to fdroidserver examples

tests: new tests for stacktraces caused by translated help strings

remove --create-key from completion, its only for migrations

If people want to create repos, they should be using `fdroid init`.  This
flag is for very specific cases: migrating old unsigned repos to signed.
It shouldn't be promoted for anything else since there are better tools for
those tasks.

Merge branch 'gradle-platform-install' into 'master'

Allow Gradle to install new platforms

See merge request fdroid/fdroidserver!373

Merge branch 'remove-ubuntu-trusty-paramiko-hack' into 'master'

buildserver: remove special sshd setup for Ubuntu 14.04

See merge request fdroid/fdroidserver!374

buildserver: remove special sshd setup for Ubuntu 14.04

Now that fdroidserver requires Python 3, there's no need to tune sshd for
an old version of Paramiko because Ubuntu 14.04 does not have
python3-paramiko package in its repositories:

    https://packages.ubuntu.com/search?keywords=python3-paramiko

We can safely assume that Ubuntu 14.04 users have installed a more recent
version of Paramiko from PIP.

buildserver: add new android-sdk-license hash

The old hash does not work anymore, at least for platform-27. Where this
new one comes from:

1. Download command line tools from
   https://developer.android.com/studio/index.html#command-tools
2. Unzip the package
3. Run ./tools/bin/sdkmanager --licenses
4. Read and accept licenses
5. Find the hash in ./licenses/android-sdk-license

Merge branch 'gradle-4.3.1' into 'master'

makebuildserver: add Gradle 4.3.1

See merge request fdroid/fdroidserver!372

buildserver: allow gradle/sdkmanager to install new platforms

Google releases new API SDKs quite rarely (about 2 times a year), but when
they do this, many apps quickly start using it. Allow downloading new API
SDKs to avoid waiting for the next buildserver rebuild.

makebuildserver: add Gradle 4.3.1

Merge branch 'master' into 'master'

Changed setup.py +x for easy invocation

Closes #410

See merge request fdroid/fdroidserver!371

Changed setup.py +x for easy invocation

Merge branch 'build-tools_r26.0.3' into 'master'

makebuildserver: add build-tools_r26.0.3

See merge request fdroid/fdroidserver!369

makebuildserver: add build-tools_r26.0.3

Merge branch 'master' into 'master'

makebuildserver: add build-tools_r27.0.1

See merge request fdroid/fdroidserver!368

jenkins: some reliability fixes to the test scripts

makebuildserver: add build-tools_r27.0.1

jenkins-test: ./run-tests won't work with only unsigned APKs

README: add new jenkins.debian.net test

tests: only test `fdroid build` if the right build-tools is installed

tests: fix `fdroid build` test with Debian gradle

fix tests to work when only Debian Android SDK is installed

jenkins.debian.net only had `apt install android-sdk`, it does not have any
of Google's packages installed.

jenkins-test: tame debug output to keep logs at a reasonable length

update: improve help strings

jenkins-test: ./run-tests needs ANDROID_HOME

hooks: add new jenkins scripts to syntax checker

jenkins: make test script executable

jenkins: rename scripts based on jenkins.debian.net names

Make things self-documenting by reusing the exact same names everywhere.

jenkins: move tests to separate job

The setup and build_all jobs take a very long time to run, so its really
annoying when they are marked as failed just because one small thing in the
test suite failed.  So move the test suite to its own job that can be run
more frequently.

README: add Weblate badge for translation status

jenkins-build-makebuildserver: bump cpus to 2 and memory to 6144

profitbricks-build7-amd64 has 8 gigs of RAM and 2 cores, so might as well
use them!

jenkins-build: clean / fix paths to buildserver base box setup
[skip ci]

Merge branch 'build-tools_r27' into 'master'

makebuildserver: add build-tools_r27

See merge request fdroid/fdroidserver!367

makebuildserver: add build-tools_r27

Merge branch 'vcs-info' into 'master'

build: raise VCS client version logging level

See merge request fdroid/fdroidserver!366

Merge branch 'gradle-4.3' into 'master'

makebuildserver: add Gradle 4.3

See merge request fdroid/fdroidserver!365

Merge branch 'platform-27_r01' into 'master'

makebuildserver: add platform-27_r01

See merge request fdroid/fdroidserver!364

build: raise VCS client version logging level

Debug logging is not saved in buildserver logs. Also move this line into
build.py's main() to avoid duplication: common.setup_vcs(app) may be
called from parse_metadata() too.

makebuildserver: add Gradle 4.3

makebuildserver: add platform-27_r01

Add Android 8.1.0 SDK platform.

README: better build status layout

add HTML Anchor Name for linking straight to build status badges

README: add status badges for jenkins.debian.net builds

[skip ci]

Merge branch 'add-ulimit-debugging-to-jenkins-build-scirpt' into 'master'

add ulimit debugging to jenkins build script

See merge request fdroid/fdroidserver!363

add ulimit debugging to jenkins build script

sort Anti-Features before writing them to the wiki

This avoids silly updates to the wiki where the sort order of the Anti-
Features is the only change:

−{{AntiFeature|KnownVuln}}
 {{AntiFeature|DisabledAlgorithm}}
+{{AntiFeature|KnownVuln}}

https://f-droid.org/wiki/index.php?title=info.guardianproject.browser&curid=517&diff=189655&oldid=188037

Merge branch 'more-1.0-polishing' into 'master'

More 1.0 polishing

Closes #402

See merge request fdroid/fdroidserver!362

update bombs out when no icons (closes #402)

metadata: make all strings translatable

update: make all strings translatable

make _ always be the gettext function, nothing else

This avoids hard bugs where the _() function gets overidden by a str or
something else.

preserve metadata when copying APK signatures

Since this code was not setting the "create system" and "compress type",
Python uses it's defaults.  Those will be different than what the Android
tools produces if this is run on UNIX.  The Android tools uses the bare
bones "Windows" ZIP format, e.g. no permissions, etc.

For example:
https://verification.f-droid.org/eu.siacs.conversations_234.apk.diffoscope.html

tests: pre-set failfast as reminder of a handy time saver

choose the most recent available version of Java

This came about testing on OSX, where there are often multiple versions of
the JDK installed.  This was choosing the oldest version.  It should
choose the most recent version.

travis-ci: only run one round of the test suite on OSX

The OSX tests seem to run slower, they often timeout.  So only run
the test suite with the installed version of fdroid, instead of the
three rounds that ./complete-ci-tests does.

Revert "scanner: promote jar and aar files present in the repo to errors"

This reverts commit 5f5d3ea896183260258f653f971c01896ec20ddf.

These new scanner rules for JARs causes most builds on fdroiddata to
break.  For example, at least the past 20 releases of
org.fdroid.fdroid.  fdroiddata needs to be cleaned up and prepared for
this before we can include 5f5d3ea896183260258f653f971c01896ec20ddf

I'm running fdroid scanner on the whole archive now, I'll post the log
to an issue once its done.  Ignoring test files would eliminate some
of these build failures, at least for most org.fdroid.fdroid builds.

refs #!325

Merge branch 'makebuildserver/default_memory' into 'master'

makebuildserver: change mem default 4 GB

See merge request fdroid/fdroidserver!358

makebuildserver: change mem default 2 GB

1 GB is not enough for a modern android toolchain, so we change it to
something actually usable.

Merge branch 'patch-1' into 'master'

HTTP, HTTPS

See merge request fdroid/fdroidserver!360

common: check file existence before opening manifest

This fixes a problem when there is a broken symlink with the name
AndroidManifest.xml which will then lead to a crash when trying to open
it for trying to remove the debuggable flag.

Merge branch 'deploy-localization-support' into 'master'

Deploy localization support

See merge request fdroid/fdroidserver!356

HTTP, HTTPS

Merge branch 'remove_basebox_ref' into 'master'

makebuildserver: remove reference to f-droid.org/jessie64.box

See merge request fdroid/fdroidserver!357

makebuildserver: remove reference to f-droid.org/jessie64.box

Also improve error message when the initial vagrant up fails, this is
most likely due to the missing jessie64.box file.

fix egg-link and easy_install support for Python3

Wow, this is hacky and weird, but its been there for a long time. I
don't know if its even relevant anymore, but is isolated so it
shouldn't hurt anything.  Plus there is a test for it in
tests/complete-ci-tests, so it seems worth fixing.

fix finding translation files when installed

add some context to some strings that are confusing to translators

standardize on "build-tools" as the name of that Android SDK component

update localization source files with `make -C locale`

* `make -C locale` updates all the sources
* `make -C locale compile` can compile the binaries, but the preferred way
  is `python3 setup.py compile_catalog`.

use Babel to compile localizations and include in source tarball

python3-babel was also included in the gitlab-ci docker image:
https://gitlab.com/fdroid/ci-images-server/commit/ffc08dbc1daabfda725de41b712497708213b00e