Changed setup.py +x for easy invocation

Merge branch 'build-tools_r26.0.3' into 'master'

makebuildserver: add build-tools_r26.0.3

See merge request fdroid/fdroidserver!369

makebuildserver: add build-tools_r26.0.3

Merge branch 'master' into 'master'

makebuildserver: add build-tools_r27.0.1

See merge request fdroid/fdroidserver!368

jenkins: some reliability fixes to the test scripts

makebuildserver: add build-tools_r27.0.1

jenkins-test: ./run-tests won't work with only unsigned APKs

README: add new jenkins.debian.net test

tests: only test `fdroid build` if the right build-tools is installed

tests: fix `fdroid build` test with Debian gradle

fix tests to work when only Debian Android SDK is installed

jenkins.debian.net only had `apt install android-sdk`, it does not have any
of Google's packages installed.

jenkins-test: tame debug output to keep logs at a reasonable length

update: improve help strings

jenkins-test: ./run-tests needs ANDROID_HOME

hooks: add new jenkins scripts to syntax checker

jenkins: make test script executable

jenkins: rename scripts based on jenkins.debian.net names

Make things self-documenting by reusing the exact same names everywhere.

jenkins: move tests to separate job

The setup and build_all jobs take a very long time to run, so its really
annoying when they are marked as failed just because one small thing in the
test suite failed.  So move the test suite to its own job that can be run
more frequently.

README: add Weblate badge for translation status

jenkins-build-makebuildserver: bump cpus to 2 and memory to 6144

profitbricks-build7-amd64 has 8 gigs of RAM and 2 cores, so might as well
use them!

jenkins-build: clean / fix paths to buildserver base box setup
[skip ci]

Merge branch 'build-tools_r27' into 'master'

makebuildserver: add build-tools_r27

See merge request fdroid/fdroidserver!367

makebuildserver: add build-tools_r27

Merge branch 'vcs-info' into 'master'

build: raise VCS client version logging level

See merge request fdroid/fdroidserver!366

Merge branch 'gradle-4.3' into 'master'

makebuildserver: add Gradle 4.3

See merge request fdroid/fdroidserver!365

Merge branch 'platform-27_r01' into 'master'

makebuildserver: add platform-27_r01

See merge request fdroid/fdroidserver!364

build: raise VCS client version logging level

Debug logging is not saved in buildserver logs. Also move this line into
build.py's main() to avoid duplication: common.setup_vcs(app) may be
called from parse_metadata() too.

makebuildserver: add Gradle 4.3

makebuildserver: add platform-27_r01

Add Android 8.1.0 SDK platform.

README: better build status layout

add HTML Anchor Name for linking straight to build status badges

README: add status badges for jenkins.debian.net builds

[skip ci]

Merge branch 'add-ulimit-debugging-to-jenkins-build-scirpt' into 'master'

add ulimit debugging to jenkins build script

See merge request fdroid/fdroidserver!363

add ulimit debugging to jenkins build script

sort Anti-Features before writing them to the wiki

This avoids silly updates to the wiki where the sort order of the Anti-
Features is the only change:

−{{AntiFeature|KnownVuln}}
 {{AntiFeature|DisabledAlgorithm}}
+{{AntiFeature|KnownVuln}}

https://f-droid.org/wiki/index.php?title=info.guardianproject.browser&curid=517&diff=189655&oldid=188037

Merge branch 'more-1.0-polishing' into 'master'

More 1.0 polishing

Closes #402

See merge request fdroid/fdroidserver!362

update bombs out when no icons (closes #402)

metadata: make all strings translatable

update: make all strings translatable

make _ always be the gettext function, nothing else

This avoids hard bugs where the _() function gets overidden by a str or
something else.

preserve metadata when copying APK signatures

Since this code was not setting the "create system" and "compress type",
Python uses it's defaults.  Those will be different than what the Android
tools produces if this is run on UNIX.  The Android tools uses the bare
bones "Windows" ZIP format, e.g. no permissions, etc.

For example:
https://verification.f-droid.org/eu.siacs.conversations_234.apk.diffoscope.html

tests: pre-set failfast as reminder of a handy time saver

choose the most recent available version of Java

This came about testing on OSX, where there are often multiple versions of
the JDK installed.  This was choosing the oldest version.  It should
choose the most recent version.

travis-ci: only run one round of the test suite on OSX

The OSX tests seem to run slower, they often timeout.  So only run
the test suite with the installed version of fdroid, instead of the
three rounds that ./complete-ci-tests does.

Revert "scanner: promote jar and aar files present in the repo to errors"

This reverts commit 5f5d3ea896183260258f653f971c01896ec20ddf.

These new scanner rules for JARs causes most builds on fdroiddata to
break.  For example, at least the past 20 releases of
org.fdroid.fdroid.  fdroiddata needs to be cleaned up and prepared for
this before we can include 5f5d3ea896183260258f653f971c01896ec20ddf

I'm running fdroid scanner on the whole archive now, I'll post the log
to an issue once its done.  Ignoring test files would eliminate some
of these build failures, at least for most org.fdroid.fdroid builds.

refs #!325

Merge branch 'makebuildserver/default_memory' into 'master'

makebuildserver: change mem default 4 GB

See merge request fdroid/fdroidserver!358

makebuildserver: change mem default 2 GB

1 GB is not enough for a modern android toolchain, so we change it to
something actually usable.

Merge branch 'patch-1' into 'master'

HTTP, HTTPS

See merge request fdroid/fdroidserver!360

common: check file existence before opening manifest

This fixes a problem when there is a broken symlink with the name
AndroidManifest.xml which will then lead to a crash when trying to open
it for trying to remove the debuggable flag.

Merge branch 'deploy-localization-support' into 'master'

Deploy localization support

See merge request fdroid/fdroidserver!356

HTTP, HTTPS

Merge branch 'remove_basebox_ref' into 'master'

makebuildserver: remove reference to f-droid.org/jessie64.box

See merge request fdroid/fdroidserver!357

makebuildserver: remove reference to f-droid.org/jessie64.box

Also improve error message when the initial vagrant up fails, this is
most likely due to the missing jessie64.box file.

fix egg-link and easy_install support for Python3

Wow, this is hacky and weird, but its been there for a long time. I
don't know if its even relevant anymore, but is isolated so it
shouldn't hurt anything.  Plus there is a test for it in
tests/complete-ci-tests, so it seems worth fixing.

fix finding translation files when installed

add some context to some strings that are confusing to translators

standardize on "build-tools" as the name of that Android SDK component

update localization source files with `make -C locale`

* `make -C locale` updates all the sources
* `make -C locale compile` can compile the binaries, but the preferred way
  is `python3 setup.py compile_catalog`.

use Babel to compile localizations and include in source tarball

python3-babel was also included in the gitlab-ci docker image:
https://gitlab.com/fdroid/ci-images-server/commit/ffc08dbc1daabfda725de41b712497708213b00e

include in source tarball: be de es es_AR fr nb pt_BR tr uk zh_Hans zh_Hant

The way to officially include a new language in the source tarball is to
add it to the MANIFEST.in.  Otherwise, it will not be included in the
source tarball, and therefore won't be installed when using apt, pip, etc.

update: make strings translatable

include README.rst in official release source tarball

README.rst is still the standard for Python libs.

FDroidException handle Exceptions that return things other than str

This is related to a4c4a16ed9a600b09ff7b62d78eaceb377cf3a9c

tests: make `pip3 install` quieter for shorter CI logs

travis-ci: get OSX tests running again...

Java9 is starting to roll out on some of the Travis CI machines, but
the Android SDK does not yet work on Java9, it throws:

java.lang.NoClassDefFoundError: javax/xml/bind/annotation/XmlSchema

Merge branch '391-fdroid-publish-unknown-execption' into 'master'

better error message in publish when repo_key is not set

Closes #391

See merge request fdroid/fdroidserver!352

better error message in publish when repo_key is not set

`make update` to update all translation files from source code

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!354

Weblate

jenkins-build-makebuildserver: use current version for test build

Merge branch '1.0-fixes' into 'master'

1.0 fixes

Closes #357

See merge request fdroid/fdroidserver!353

include all argparse strings in translation template

The Python argparse library has its own strings, which are translatable
via gettext.  This gets those sources strings from the library, and
includes them in this project.  Since gettext is invoked and configured
in fdroidserver, fdroidserver needs to handle the translations for the
libraries it uses.

update translation template and add file context for each string

The file context lets the translators know which command the string applies
to.  It does not have line numbers, since those are less useful, while
causing lots of merge conflicts.

update: support Fastlane's official location for screenshots

fastlane/android/metadata/locale/images/*Screenshots

https://github.com/fastlane/fastlane/blob/2.61.0/screengrab/lib/screengrab/runner.rb#L324

closes #357

update: fix detection of Triple-T screenshots

* https://github.com/westnordost/StreetComplete/issues/489
* https://forum.f-droid.org/t/screenshots-dont-show-up-in-client-using-gradle-play-publisher/881/2

#357

server: automatically create S3 bucket when using s3cmd

server: move strings to be gettext translatable

handle exceptions that send a tuple for the error message

Running `fdroid verify` I was seeing FDroidExceptions from verify.py:98
that had a tuple rather than a string.

Traceback (most recent call last):
  File "/home/hans/code/fdroid/server/fdroid", line 152, in <module>
    main()
  File "/home/hans/code/fdroid/server/fdroid", line 128, in main
    mod.main()
  File "/home/hans/code/fdroid/server/fdroidserver/verify.py", line 98, in main
    logging.info("...NOT verified - {0}".format(e))
  File "/home/hans/code/fdroid/server/fdroidserver/exception.py", line 22, in __str__
    ret += "\n==== detail begin ====\n%s\n==== detail end ====" % ''.join(self.detail).strip()
TypeError: sequence item 1: expected str instance, HTTPError found

Merge branch 'error_on_jars' into 'master'

RFC: Error on jars

See merge request fdroid/fdroidserver!325

Merge branch 'gradle-4.2.1' into 'master'

makebuildserver: add Gradle 4.2.1

See merge request fdroid/fdroidserver!351

makebuildserver: add Gradle 4.2.1

N.B. Actual address of the distribution server is downloads.gradle.org;
services.gradle.org redirects to it.

Merge branch '334-make-index-generation-fully-reproducible' into 'master'

Resolve "make index generation fully reproducible"

Closes #334

See merge request fdroid/fdroidserver!343

Merge branch 'print-vcs-client-version' into 'master'

common: print VCS client version

See merge request fdroid/fdroidserver!349

common: print VCS client version

This may help to debug issues with too old VCS clients.

Merge branch 'fix_bare_except' into 'master'

fix bare except to satisfy newer pycodestyle

See merge request fdroid/fdroidserver!348

Merge branch 'build-tools-26-0-2' into 'master'

add build-tools 26.0.2

See merge request fdroid/fdroidserver!347

fix bare except to satisfy newer pycodestyle

add build-tools 26.0.2

import: fix bitbucket import

repo type can be found on main url, not under /src

Merge branch 'fix-dot-gradle-removal' into 'master'

build: fix build/ and .gradle/ removal after cleaning

Closes #384

See merge request fdroid/fdroidserver!346

Merge branch '291-include-apk-signatures-in-build-metadata-file' into 'master'

include APK signatures in build metadata file

Closes #291

See merge request fdroid/fdroidserver!287

build: fix build/ and .gradle/ removal after cleaning

An app may not have a top-level build.gradle file, while Gradle still
creates top-level .gradle/ directory. When build.gradle is absent,
fdroidserver will not remove .gradle/, scanner will find binaries in it
and fail the whole build.

Fix this by also checking for settings.gradle file (should always exist
in the top-level directory) in addition to build.gradle.

use OrderedDict for localization data in index-v1

make sure all timestamps in index-v1 are utc

convert apk timestamp from filesystem to utc before storing

make sure apk-added datetime only gets returned rounded to days

add test for index-v1.json

sort antiFeatures list in index-v1.json

store fdroid signing-key-fp-list in stats dir