build: set overall timeout to 36 hours

Currently f-droid.org has a lot of pending builds and big delays
between "fdroid build --all" runs. Bump overall build time limit from
12 hours to 36 hours to increase buildserver throughput.

makebuildserver: remove NDK r9b to save 1.6 GB of disk space

NDK r9b is used by only one app (net.gorry.android.input.nicownng) that
was last updated in 2015.

makebuildserver: upgrade NDK r16 to r16b

makebuildserver: add Gradle 4.5.1

metadata: write values of TYPE_INT fields

Otherwise we end up with empty values after "fdroid rewritemeta".

build: clear timeout flag before every build

This fixes the weird logging behaviour where after a build that timed
out all subsequent failed builds would also show up as timed out.

Merge branch 'translation-app-field' into 'master'

metadata: add new Translation app field for URL for contributions

See merge request fdroid/fdroidserver!450

Merge branch 'popen-stdin-devnull' into 'master'

common: use /dev/null as stdin when calling subprocess.Popen()

See merge request fdroid/fdroidserver!451

metadata: add new Translation app field for URL for contributions

This is a field requested from a bunch of translators so they can easily
find where to translate apps:
https://forum.f-droid.org/t/translation-field-for-app-entries/1403/5

common: use /dev/null as stdin when calling subprocess.Popen()

We always want to run all utilities non-interactively. By default
subprocess.Popen() inherits stdin descriptor from parent process, i.e.
when fdroid is run from an interactive shell, subprocesses may expect
input from it.

Reading from /dev/null immediately returns EOF, failing any user prompt
and preventing us from hang.

lint: check srclibs has name and @ in it

fdroiddata!2863

Merge branch 'master' into 'master'

Option --resetserver does nothing; have it used instead

See merge request fdroid/fdroidserver!449

Change --resetserver to --reset-server for consistency

Option --resetserver does nothing; have it used instead

Merge branch 'build-timeout-customization' into 'master'

build: make per-build hard time limit customizable

See merge request fdroid/fdroidserver!446

fix metadata test: remove timeout= from comparison

build: make per-build hard time limit customizable

Add "timeout=n" metadata field that overrides build timeout (in seconds).
The default is 7200, i.e. 2 hours.

Merge branch 'gradle-4.5' into 'master'

makebuildserver: add gradle 4.5

See merge request fdroid/fdroidserver!448

makebuildserver: add gradle 4.5

Merge branch 'crash-and-standard-imports' into 'master'

Crash and standard imports

See merge request fdroid/fdroidserver!445

Merge branch 'minor-security-ish-tweaks' into 'master'

security-ish tweaks

See merge request fdroid/fdroidserver!442

vmtools: use standard imports: os.remove()

The rest of the code uses os.remove()

vmtools: use standard imports: os.path.join()

The rest of the code uses os.path.join()

metadata: fix crash when there are duplicate metadata files

The string had the variable 'appid' while the format() call had only the
variable 'path'.  This also standardizes on 'appid' like the rest of the
code.

use standard User-Agent in check-fdroid-apk

shell=True is too dangerous to allow; there are unfiltered user inputs

There are all sorts of unfiltered user inputs like tag and branch names in
source repos.  If those names are fed into popen calls that use shell=True,
that opens up a wide range of exploits.  All core operations should never
use shell=True.

use '--' in source vcs calls to protect against malicious input

This is a quick and very incomplete addition of '--' to command line calls
to source VCSs like git and hg that could manipulated by malicious
tag/branch names or other vectors.

These were all manually tested by calling the command lines on my own
machine.

scanner: allow running without versionCode and as API

This lets `fdroid scanner my.package.name` run without requiring that the
versionCode is also specified.  It also allows scanner.scan_source() to be
called as a function in the public API of fdroidserver.

lint: check description for forbidden HTML tags: iframe, link, script, etc.

buildserver: include python3-git for future use

We should be replacing all our custom git shell commands with python3-git,
since it is a common library for doing that.  It will receive a lot more
attention and maintenance than our code for doing it.  For example, we
should not ever use shell=True, since that opens up a lot of security
risks.

wiki: include per-app link to all related activity on gitlab.com

Merge branch 'platform27' into 'master'

makebuildserver: re-add platform 27

Closes #445

See merge request fdroid/fdroidserver!444

makebuildserver: re-add platform 27

Closes #445

Merge branch 'build_tools_27.0.3' into 'master'

makebuildserver: add build-tools 27.0.3

See merge request fdroid/fdroidserver!443

makebuildserver: add build-tools 27.0.3

Merge branch 'remove-kivy' into 'master'

build: remove unused, unmaintained Kivy build method

See merge request fdroid/fdroidserver!441

build: remove unused, unmaintained Kivy build method

This code has never been used and contains some insecure uses of shell=True
Building Kivy apps should be done with the buildozer=yes method.  The
buildozer method should probably be moved to a provisioner once that is in
place.

Merge branch 'remove-qt' into 'master'

buildserver: remove Qt installer, its huge, outdated, and being replaced

See merge request fdroid/fdroidserver!440

buildserver: remove Qt installer, its huge, outdated, and being replaced

The currently included Qt has known security issues and is outdated.  This
can now be replaced by downloading and installing the Qt installer using
the sudo= build field.  @relan's provisioner system will also replace this
once that's done.  There are only two apps that currently use the Qt stuff:

* csd.qtproject.minesweeper
* org.openorienteering.mapper

Merge branch 'build_timeout' into 'master'

Build timeout

See merge request fdroid/fdroidserver!437

main: force exit on keyboard interrupt

This applies the same workaround as b8ed892ad9ed7e125278b.

build: add global soft timeout of 12 hours

Only start new builds for 12 hours. This ensures we publish new builds
often enough even on long backlogs.

This could be made configurable at a later point.

build: log timeouts to the wiki

build: enable watchdog timer for each build that kills in 2 hours

This introduces locking for the commonly used vagrant functions in
vmtools because vagrant fails when another vagrant command is
already running.

Revert "build: bump max_apps_per_run to 50"

This reverts commit 56a53055bef857d7cf0f76eb7b485a2f6e85ac2a.

Revert "build: limit --all to 10 apps at a time"

This reverts commit afc5cc6b6a969bb1f12eb325df436eaadac53099.

Merge branch 'log-update-checkupdates-server-to-wiki' into 'master'

Log update/checkupdates/server to wiki

See merge request fdroid/fdroidserver!439

gitlab-ci: make metadata_v0 test work even when tags are missing

This uses the commit ID of the release tags, rather than the release tag
itself so that contributor forks do not need to include the tags in them
for this test to work.

The COMMIT_ID should be bumped after each release, so that the list of sed
hacks needed does not continuously grow.

wiki: log build start/stop time, command line, RAM, and processor count

wiki: log server start/stop times and command line

buildserver: force no auto updates of package lists or upgrades

jenkins-test: include repo_pubkey in config.py for BUILD test

The BUILD machine does not have a keyring on it, only the public key for
the index signing key.  This is a very rudementary test for that.

wiki: move checkupdates wiki log to separate function

log installed android sdk versions for update and checkupdates

move get_android_tools_versions functions to common

wiki: log update start/stop time and command line

wiki: fix bug updating Repository Maintenance

site.pages doesn't seem to exist anywhere, site.Pages is used throughout.

wiki: log appids as checkupdates goes through them

wiki: log checkupdates start/stop time and command line for each run

common.get_wiki_timestamp() for posting timestamps to wiki log pages

Merge branch 'iconfix' into 'master'

fix "cannot identify image file" with XML icons

See merge request fdroid/fdroidserver!435

Merge branch 'gitlab-mirrors-reorder' into 'master'

Reorder the gitlab mirrors so GitLab Pages comes before "raw".

See merge request fdroid/fdroidserver!438

Reorder the gitlab mirrors so GitLab Pages comes before "raw".

GitLab storage provides two mirrors by default:
 * https://gitlab.com/user/repo/raw/master/fdroid/repo
 * https://user.gitlab.io/repo/fdroid/repo

While the F-Droid client will happily fetch the index*.jar files and
parse them from either of these two mirrors, only the GitLab Pages
mirror will serve files with the correct mime type. Many repos
tend to put index.html files (and associated .css/.js/image files) in
the root of a repository to provide information about that repo.

One example is RepoMaker. The way in which RepoMaker decides the public
URL of a repo, is to take the first mirror in the list. This means that
the URL which RepoMaker directs people to for GitLab storage returns a
.html document in text/plain, which means that it is not rendered.

We could change RepoMaker so that it takes the last mirror, and then it
woruld work. However there is something nice about the first mirror in a
list being the most authoritative (even though the mirror order doesn't
- and perhaps shouldn't have any specific meaning).

simplifying fix for "cannot identify image file" with XML icons

fix "cannot identify image file" with XML icons

build: bump max_apps_per_run to 50

With this at 10, it seems that there are often runs that produce no builds
at all.  That's bad.

jenkins-build-all: don't fail if max build limit caused no builds

jenkins-test: ensure gpg is starting from a clean and proper place

There have been frequent failures on import, some bugs suggest that it
might be because these dirs are missing.  They would get wiped by a
`git clean -fdx`.

jenkins-build-all: use local mediawiki if available

build: buildserverid must always be str not bytes

build: fix str vs. bytes error in buildserverid

ERROR: Could not build app org.fdroid.fdroid due to unknown error: Traceback (most recent call last):
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 1202, in main
    options.onserver, options.refresh):
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 972, in trybuild
    build_server(app, build, vcs, build_dir, output_dir, log_dir, force)
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 82, in build_server
    logging.debug(_('Fetched buildserverid from VM: ') + buildserverid)
TypeError: Can't convert 'bytes' object to str implicitly

Merge branch 'cleaner-clean' into 'master'

build: clean up only known subdirectories in build/*

Closes #438

See merge request fdroid/fdroidserver!432

build: clean up only known subdirectories in build/*

We remove the whole "build" directory while cleaning source code tree
because Gradle can leave there files even after "gradle clean". But some
projects (Mozilla Fennec) actually have useful stuff checked into VCS
under the "build" directory.

Remove only those subdirectories that we known for sure are leftovers
from Gradle.

Fixes fdroid/fdroidserver#438.

Merge branch 'gradle-4.4.1' into 'master'

makebuildserver: add Gradle 4.4.1

See merge request fdroid/fdroidserver!433

makebuildserver: add Gradle 4.4.1

Merge branch 'master' into 'master'

new script to audit the FDroid.apk on https://f-droid.org

See merge request fdroid/fdroidserver!431

new script to audit the FDroid.apk on https://f-droid.org

This makes sure its signed by the F-Droid key.

README: fix name on CI badges

use 1.0.0 for release version to make pypi happy

release: compile_catalog must be run before register

Bump to 1.0!!

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!430

Weblate

Merge branch 'build-log-data-points' into 'master'

add data points to the build log to add debugging

See merge request fdroid/fdroidserver!429

get minimum aapt version from fdroidserver/common.py for CI tests

build: include buildserverid on wiki build logs, if it exists

When `fdroid build` is run using the buildserver, it should fetch the
buildserverid on the first build.

Seems this was really a silly bug in 837fc99d74f7694a64f014f3d38a8b07d9e8b3bd

build: log the start time of the current build session

Since `fdroid build --all` can run a long time, knowing when that command
was started will be very useful information for figuring out what the build
server is doing.

jenkins.debian.net is Debian/stretch, its build-tools are too old

gitlab-ci: and one last stoopid error in debian_testing target

gitlab-ci: fix syntax error

gitlab-ci: temp disable some tests on Debian/testing

build-tools needs an update before these tests will work again.

gitlab-ci: set Fedora build to use a supported build-tools version

Using 25.0.2, not all of the permissions were being output:

--- /builds/fdroid/fdroidserver/tests/repo/index.xml 2017-12-28 22:33:53.624704459 +0000
+++ repo/index.xml 2017-12-28 22:41:52.207849097 +0000
@@ -35,7 +35,6 @@
  <added>2017-12-22</added>
  <sig>2d337e40aef77564bf62781ac424595c</sig>
  <permissions>ACCESS_NETWORK_STATE,ACCESS_WIFI_STATE,CHANGE_WIFI_MULTICAST_STATE,INTERNET,READ_EXTERNAL_STORAGE,WRITE_EXTERNAL_STORAGE</permissions>
- <uses-permission maxSdkVersion="18" name="android.permission.READ_EXTERNAL_STORAGE"/>
  <uses-permission maxSdkVersion="18" name="android.permission.WRITE_EXTERNAL_STORAGE"/>
  <uses-permission-sdk-23 maxSdkVersion="27" name="android.permission.REQUEST_IGNORE_BATTERY_OPTIMIZATIONS"/>
  </package>

Merge branch 'ever-more-fixes' into 'master'

Ever more fixes

Closes #395 and #306

See merge request fdroid/fdroidserver!423

Merge branch 'fix_no-refresh' into 'master'

build: fix --no-refresh

See merge request fdroid/fdroidserver!428

tests: correct package names in stats/known_apks.txt

This doesn't seem to affect the tests either way, but it is good to have
things correct there.

common: fix bug in new SHA-256 signatures for >= android-18

Luckily, this is only used in `fdroid nightly` so far.

aapt 26.0.0 is required to properly parse permissions and label

#236

closes #395
aapt 26.0.0 outputs the permissions correctly

closes #306
aapt 26.0.0 now outputs:  application-label:'K-9 Mail'

nightly: support arbitrary keystore files for setup

GitHub only allows an SSH key to be used as a Deploy Key for a single repo.
That means, each nightly build repo on GitHub/Travis must have its own
debug keystore.

jenkins: try to prevent the build node from running out of disk space

Merge branch 'master' into 'master'

gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

See merge request fdroid/fdroidserver!426

Add Nextcloud and DavDroid test case