wiki: log build start/stop time, command line, RAM, and processor count

wiki: log server start/stop times and command line

buildserver: force no auto updates of package lists or upgrades

jenkins-test: include repo_pubkey in config.py for BUILD test

The BUILD machine does not have a keyring on it, only the public key for
the index signing key.  This is a very rudementary test for that.

wiki: move checkupdates wiki log to separate function

log installed android sdk versions for update and checkupdates

move get_android_tools_versions functions to common

wiki: log update start/stop time and command line

wiki: fix bug updating Repository Maintenance

site.pages doesn't seem to exist anywhere, site.Pages is used throughout.

wiki: log appids as checkupdates goes through them

wiki: log checkupdates start/stop time and command line for each run

common.get_wiki_timestamp() for posting timestamps to wiki log pages

Merge branch 'iconfix' into 'master'

fix "cannot identify image file" with XML icons

See merge request fdroid/fdroidserver!435

Merge branch 'gitlab-mirrors-reorder' into 'master'

Reorder the gitlab mirrors so GitLab Pages comes before "raw".

See merge request fdroid/fdroidserver!438

Reorder the gitlab mirrors so GitLab Pages comes before "raw".

GitLab storage provides two mirrors by default:
 * https://gitlab.com/user/repo/raw/master/fdroid/repo
 * https://user.gitlab.io/repo/fdroid/repo

While the F-Droid client will happily fetch the index*.jar files and
parse them from either of these two mirrors, only the GitLab Pages
mirror will serve files with the correct mime type. Many repos
tend to put index.html files (and associated .css/.js/image files) in
the root of a repository to provide information about that repo.

One example is RepoMaker. The way in which RepoMaker decides the public
URL of a repo, is to take the first mirror in the list. This means that
the URL which RepoMaker directs people to for GitLab storage returns a
.html document in text/plain, which means that it is not rendered.

We could change RepoMaker so that it takes the last mirror, and then it
woruld work. However there is something nice about the first mirror in a
list being the most authoritative (even though the mirror order doesn't
- and perhaps shouldn't have any specific meaning).

simplifying fix for "cannot identify image file" with XML icons

fix "cannot identify image file" with XML icons

build: bump max_apps_per_run to 50

With this at 10, it seems that there are often runs that produce no builds
at all.  That's bad.

jenkins-build-all: don't fail if max build limit caused no builds

jenkins-test: ensure gpg is starting from a clean and proper place

There have been frequent failures on import, some bugs suggest that it
might be because these dirs are missing.  They would get wiped by a
`git clean -fdx`.

jenkins-build-all: use local mediawiki if available

build: buildserverid must always be str not bytes

build: fix str vs. bytes error in buildserverid

ERROR: Could not build app org.fdroid.fdroid due to unknown error: Traceback (most recent call last):
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 1202, in main
    options.onserver, options.refresh):
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 972, in trybuild
    build_server(app, build, vcs, build_dir, output_dir, log_dir, force)
  File "/var/lib/jenkins/userContent/reproducible/reproducible_setup_fdroid_build_environment/fdroidserver/build.py", line 82, in build_server
    logging.debug(_('Fetched buildserverid from VM: ') + buildserverid)
TypeError: Can't convert 'bytes' object to str implicitly

Merge branch 'cleaner-clean' into 'master'

build: clean up only known subdirectories in build/*

Closes #438

See merge request fdroid/fdroidserver!432

build: clean up only known subdirectories in build/*

We remove the whole "build" directory while cleaning source code tree
because Gradle can leave there files even after "gradle clean". But some
projects (Mozilla Fennec) actually have useful stuff checked into VCS
under the "build" directory.

Remove only those subdirectories that we known for sure are leftovers
from Gradle.

Fixes fdroid/fdroidserver#438.

Merge branch 'gradle-4.4.1' into 'master'

makebuildserver: add Gradle 4.4.1

See merge request fdroid/fdroidserver!433

makebuildserver: add Gradle 4.4.1

Merge branch 'master' into 'master'

new script to audit the FDroid.apk on https://f-droid.org

See merge request fdroid/fdroidserver!431

new script to audit the FDroid.apk on https://f-droid.org

This makes sure its signed by the F-Droid key.

README: fix name on CI badges

use 1.0.0 for release version to make pypi happy

release: compile_catalog must be run before register

Bump to 1.0!!

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!430

Weblate

Merge branch 'build-log-data-points' into 'master'

add data points to the build log to add debugging

See merge request fdroid/fdroidserver!429

get minimum aapt version from fdroidserver/common.py for CI tests

build: include buildserverid on wiki build logs, if it exists

When `fdroid build` is run using the buildserver, it should fetch the
buildserverid on the first build.

Seems this was really a silly bug in 837fc99d74f7694a64f014f3d38a8b07d9e8b3bd

build: log the start time of the current build session

Since `fdroid build --all` can run a long time, knowing when that command
was started will be very useful information for figuring out what the build
server is doing.

jenkins.debian.net is Debian/stretch, its build-tools are too old

gitlab-ci: and one last stoopid error in debian_testing target

gitlab-ci: fix syntax error

gitlab-ci: temp disable some tests on Debian/testing

build-tools needs an update before these tests will work again.

gitlab-ci: set Fedora build to use a supported build-tools version

Using 25.0.2, not all of the permissions were being output:

--- /builds/fdroid/fdroidserver/tests/repo/index.xml 2017-12-28 22:33:53.624704459 +0000
+++ repo/index.xml 2017-12-28 22:41:52.207849097 +0000
@@ -35,7 +35,6 @@
  <added>2017-12-22</added>
  <sig>2d337e40aef77564bf62781ac424595c</sig>
  <permissions>ACCESS_NETWORK_STATE,ACCESS_WIFI_STATE,CHANGE_WIFI_MULTICAST_STATE,INTERNET,READ_EXTERNAL_STORAGE,WRITE_EXTERNAL_STORAGE</permissions>
- <uses-permission maxSdkVersion="18" name="android.permission.READ_EXTERNAL_STORAGE"/>
  <uses-permission maxSdkVersion="18" name="android.permission.WRITE_EXTERNAL_STORAGE"/>
  <uses-permission-sdk-23 maxSdkVersion="27" name="android.permission.REQUEST_IGNORE_BATTERY_OPTIMIZATIONS"/>
  </package>

Merge branch 'ever-more-fixes' into 'master'

Ever more fixes

Closes #395 and #306

See merge request fdroid/fdroidserver!423

Merge branch 'fix_no-refresh' into 'master'

build: fix --no-refresh

See merge request fdroid/fdroidserver!428

tests: correct package names in stats/known_apks.txt

This doesn't seem to affect the tests either way, but it is good to have
things correct there.

common: fix bug in new SHA-256 signatures for >= android-18

Luckily, this is only used in `fdroid nightly` so far.

aapt 26.0.0 is required to properly parse permissions and label

#236

closes #395
aapt 26.0.0 outputs the permissions correctly

closes #306
aapt 26.0.0 now outputs:  application-label:'K-9 Mail'

nightly: support arbitrary keystore files for setup

GitHub only allows an SSH key to be used as a Deploy Key for a single repo.
That means, each nightly build repo on GitHub/Travis must have its own
debug keystore.

jenkins: try to prevent the build node from running out of disk space

Merge branch 'master' into 'master'

gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

See merge request fdroid/fdroidserver!426

Add Nextcloud and DavDroid test case

build: fix --no-refresh

This was broken by the in-source-tree .fdroid.yml file support.
Also support this for building on the buildserver.

Merge branch 'platform-27' into 'master'

makebuildserver: remove platform-27

See merge request fdroid/fdroidserver!427

makebuildserver: remove platform-27

The hash changes all the time and gradle will install this on the fly
anyway when missing.

gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

Merge branch 'master' into 'master'

Revert: gradle file: use flavour specific versionCode/versionName, fall back to…

See merge request fdroid/fdroidserver!425

Revert: gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

Merge branch 'limit-build-all' into 'master'

build: limit --all to 10 apps at a time

See merge request fdroid/fdroidserver!420

Merge branch 'typo' into 'master'

Fix a typo in vmtools.py

See merge request fdroid/fdroidserver!421

Fix a typo in vmtools.py

build: limit --all to 10 apps at a time

This needed now because the buildserver is hanging so often, that we are
often going a week or more without any builds published.  Perhaps this is
only temporary, or maybe we will want to flush this feature out more as a
standard thing.  But we really need it for now to at least get some builds
out on a daily basis.

Since the website deploy is also triggered by this cycle, making the build
finish more often means the website will be published more often.

Merge branch 'additional_tests' into 'master'

readme: add note about additional CI tests

See merge request fdroid/fdroidserver!419

readme: add note about additional CI tests

[ci-skip]

Merge branch 'nail-down-tests' into 'master'

Nail down tests

Closes #432

See merge request fdroid/fdroidserver!418

travis-ci: install babel with pip to stop easy_install

easy_install just fails, trying to install into ./.eggs
https://travis-ci.org/fdroidtravis/fdroidserver/jobs/319144754

travis-ci: include new android-sdk-license on OSX

tests: only generate keystores when that is actually being tested

Generating a keystore is quite slow since it means a new RSA key is created.
That only needs to happen in the tests that check that it actually happened,
otherwise the test can just reuse the stored test keystore.

closes #432

README: document test suite (closes #432)

travis-ci: show sdkmanager logs

update: support working with old versions of PIL/Pillow

Image.close() was added in Pillow 2.4 or so.

build: use dpkg to purge sudo, for less spammy debug logs

apt is quite verbose:
DEBUG: buildserver > DEBUG: > sudo SUDO_FORCE_REMOVE=yes apt-get -y purge sudo
DEBUG: buildserver > Reading package lists...

DEBUG: buildserver > Building dependency tree...
DEBUG: buildserver > Reading state information...
DEBUG: buildserver > The following package was automatically installed and is no longer required:
DEBUG: buildserver >   libasprintf0c2
DEBUG: buildserver > Use 'apt-get autoremove' to remove it.
DEBUG: buildserver > The following packages will be REMOVED:
DEBUG: buildserver >   sudo*

DEBUG: buildserver > 0 upgraded, 0 newly installed, 1 to remove and 0 not upgraded.
DEBUG: buildserver > After this operation, 2,391 kB disk space will be freed.
DEBUG: buildserver > (Reading database ...
(Reading database ... 5%
(Reading database ... 10%
(Reading database ... 15%
(Reading database ... 20%
(Reading database ... 25%
(Reading database ... 30%
(Reading database ... 35%
(Reading database ... 40%
(Reading database ... 45%
(Reading database ... 50%
(Reading database ... 55%
(Reading database ... 60%
(Reading database ... 65%
(Reading database ... 70%
(Reading database ... 75%
(Reading database ... 80%
(Reading database ... 85%
(Reading database ... 90%
(Reading database ... 95%
(Reading database ... 100%
(Reading database ... 73055 files and directories currently installed.)
DEBUG: buildserver > Removing sudo (1.8.10p3-1+deb8u5) ...
DEBUG: buildserver > Purging configuration files for sudo (1.8.10p3-1+deb8u5) ...
DEBUG: buildserver > Processing triggers for man-db (2.7.0.2-5) ...

always hide PIL.PngImagePlugin's "STREAM" debug messages

Otherwise, enabling verbose messages gives tons of these messages:
DEBUG: STREAM b'IHDR' 16 13
DEBUG: STREAM b'IDAT' 41 32768

Revert "revert reverted checksum of platform-27_r01.zip (google tampered there again)"

This reverts commit 7f13675b8c321d350d49ccc4bbbfab89d2df4f8b.

jenkins-test: import secret key into test GNUPGHOME

Can't run `fdroid gpgsign` without a secret key!

scanner: fix tests so they work on all tested platforms

The standard test configuration is needed to make the tests reliably. Also,
these tests used some odd yield logic.  Who knows what exactly failed, but
these tests should be reliable.

* https://gitlab.com/fdroid/fdroidserver/-/jobs/44984595
* https://gitlab.com/fdroid/fdroidserver/-/jobs/44984596
* https://travis-ci.org/f-droid/fdroidserver/builds/318071369

Merge branch 'whitelist-firebase' into 'master'

Whitelist some open-source firebase libs

See merge request fdroid/fdroidserver!411

Merge branch '430-UnboundLocalError-local-variable-im-referenced-before-assignment' into 'master'

fix handling unreadable images in update.extract_apk_icons

Closes #430

See merge request fdroid/fdroidserver!416

fix handling unreadable images in update.extract_apk_icons

Merge branch '431-Invalid-checksum-platform-27_r01.zip' into 'master'

revert reverted checksum of platform-27_r01.zip (google tampered there again)

Closes #431

See merge request fdroid/fdroidserver!415

revert reverted checksum of platform-27_r01.zip (google tampered there again)

Merge branch 'build-tools_r27.0.2' into 'master'

makebuildserver: add build-tools_r27.0.2

See merge request fdroid/fdroidserver!413

Merge branch 'gradle-4.4' into 'master'

makebuildserver: add Gradle 4.4

See merge request fdroid/fdroidserver!412

makebuildserver: add build-tools_r27.0.2

makebuildserver: add Gradle 4.4

Merge branch 'security-fixes' into 'master'

security fixes for Janus and image metadata exploits

See merge request fdroid/fdroidserver!409

Convert to string

Add a simple test for scanner

whitelist some open-source firebase libs

build: force purging of sudo, ignore error message

Fixes bb758d3f, spotted by @bubu:
DEBUG: buildserver > DEBUG: > sudo apt-get -y purge sudo
DEBUG: buildserver > Reading package lists...
DEBUG: buildserver > Building dependency tree...
DEBUG: buildserver > Reading state information...
DEBUG: buildserver > The following packages will be REMOVED:
DEBUG: buildserver >   sudo*
DEBUG: buildserver > 0 upgraded, 0 newly installed, 1 to remove and 0 not upgraded.
DEBUG: buildserver > After this operation, 2,391 kB disk space will be freed.
(Reading database ... 68491 files and directories currently installed.)
DEBUG: buildserver > Removing sudo (1.8.10p3-1+deb8u4) ...
DEBUG: buildserver > You have asked that the sudo package be removed,
DEBUG: buildserver > but no root password has been set.
DEBUG: buildserver > Without sudo, you may not be able to gain administrative privileges.
DEBUG: buildserver >
DEBUG: buildserver > If you would prefer to access the root account with su(1)
DEBUG: buildserver > or by logging in directly,
DEBUG: buildserver > you must set a root password with "sudo passwd".
DEBUG: buildserver >
DEBUG: buildserver > If you have arranged other means to access the root account,
DEBUG: buildserver > and you are sure this is what you want,
DEBUG: buildserver > you may bypass this check by setting an environment variable
DEBUG: buildserver > (export SUDO_FORCE_REMOVE=yes).
DEBUG: buildserver >
DEBUG: buildserver > Refusing to remove sudo.
DEBUG: buildserver > dpkg: error processing package sudo (--purge):
DEBUG: buildserver >  subprocess installed pre-removal script returned error exit status 1
DEBUG: buildserver > Errors were encountered while processing:
DEBUG: buildserver >  sudo
DEBUG: buildserver > E: Sub-process /usr/bin/dpkg returned an error code (1)

update: do not crash if AndroidManifest.xml in APK has invalid date

This crash actually blocked a Janus exploit APK from being added to the
repo, but crashing isn't really the appropriate way to do that.

update: close unclosed Image instance

update: strip all metadata from PNGs

This strips metadata and optimizes the compression of all PNGs copied
from the app's source repo as well as all the icons extracted from the
APKs.  There have been exploits delivered via image metadata, and
F-Droid isn't using it all, so its best to just remove it.

This unfortunately uncompresses and recompresses the files.  Luckily,
that's a lossless procedure with PNGs, and we might end up with
smaller files.  The only tool I could find that strips without
changing the image data is exiftool, but that is written in Perl.

update: strip EXIF data from all JPEGs

EXIF data can be abused to exploit systems a lot easier than the JPEG image
data can.  The F-Droid ecosystem does not use the EXIF data, so keep things
safe and strip it all away.  There is a chance that some images might rely
on the rotation to be set by EXIF, but I think having a safe system is more
important.

If needed, only the rotation data could be saved.  But that then makes it
hard to tell which images have been stripped.  This way, if there is no
EXIF, it has been stripped.  And if there is EXIF data, then it is suspect.

https://securityaffairs.co/wordpress/51043/mobile-2/android-cve-2016-3862-flaw.html
https://threatpost.com/google-shuts-down-potentially-massive-android-bug/120393/
https://blog.sucuri.net/2013/07/malware-hidden-inside-jpg-exif-headers.html

The big downside of this is that it decompresses and recompresses the
image data.  That should be replaced by a technique from jhead,
exiftool, ObscuraCam, etc. that only strips the metadata.

update: reject APKs with invalid file sig, probably Janus exploits

This just checks the first four bytes of the APK file, aka the "file
signature", to make sure it is the ZIP signature and not the DEX signature.
This was checked against the test APK, and I ran it against some known
malware and all of f-droid.org to make sure it works.

All valid ZIP files (therefore APK files) should start with the ZIP
Local File Header of four bytes.

https://www.guardsquare.com/en/blog/new-android-vulnerability-allows-attackers-modify-apps-without-affecting-their-signatures

update: print warnings for all KnownVulns found

Some baby steps towards making the KnownVuln stuff more visible.

update: switch tests to using standardized setUp() method

Merge branch 'fixFlavor' into 'master'

Regex only for flavor blocks: flavor { ... }

See merge request fdroid/fdroidserver!407

add Conversations as gradle flavor test case