build: use dpkg to purge sudo, for less spammy debug logs

apt is quite verbose:
DEBUG: buildserver > DEBUG: > sudo SUDO_FORCE_REMOVE=yes apt-get -y purge sudo
DEBUG: buildserver > Reading package lists...

DEBUG: buildserver > Building dependency tree...
DEBUG: buildserver > Reading state information...
DEBUG: buildserver > The following package was automatically installed and is no longer required:
DEBUG: buildserver >   libasprintf0c2
DEBUG: buildserver > Use 'apt-get autoremove' to remove it.
DEBUG: buildserver > The following packages will be REMOVED:
DEBUG: buildserver >   sudo*

DEBUG: buildserver > 0 upgraded, 0 newly installed, 1 to remove and 0 not upgraded.
DEBUG: buildserver > After this operation, 2,391 kB disk space will be freed.
DEBUG: buildserver > (Reading database ...
(Reading database ... 5%
(Reading database ... 10%
(Reading database ... 15%
(Reading database ... 20%
(Reading database ... 25%
(Reading database ... 30%
(Reading database ... 35%
(Reading database ... 40%
(Reading database ... 45%
(Reading database ... 50%
(Reading database ... 55%
(Reading database ... 60%
(Reading database ... 65%
(Reading database ... 70%
(Reading database ... 75%
(Reading database ... 80%
(Reading database ... 85%
(Reading database ... 90%
(Reading database ... 95%
(Reading database ... 100%
(Reading database ... 73055 files and directories currently installed.)
DEBUG: buildserver > Removing sudo (1.8.10p3-1+deb8u5) ...
DEBUG: buildserver > Purging configuration files for sudo (1.8.10p3-1+deb8u5) ...
DEBUG: buildserver > Processing triggers for man-db (2.7.0.2-5) ...

always hide PIL.PngImagePlugin's "STREAM" debug messages

Otherwise, enabling verbose messages gives tons of these messages:
DEBUG: STREAM b'IHDR' 16 13
DEBUG: STREAM b'IDAT' 41 32768

Revert "revert reverted checksum of platform-27_r01.zip (google tampered there again)"

This reverts commit 7f13675b8c321d350d49ccc4bbbfab89d2df4f8b.

jenkins-test: import secret key into test GNUPGHOME

Can't run `fdroid gpgsign` without a secret key!

scanner: fix tests so they work on all tested platforms

The standard test configuration is needed to make the tests reliably. Also,
these tests used some odd yield logic.  Who knows what exactly failed, but
these tests should be reliable.

* https://gitlab.com/fdroid/fdroidserver/-/jobs/44984595
* https://gitlab.com/fdroid/fdroidserver/-/jobs/44984596
* https://travis-ci.org/f-droid/fdroidserver/builds/318071369

Merge branch 'whitelist-firebase' into 'master'

Whitelist some open-source firebase libs

See merge request fdroid/fdroidserver!411

Merge branch '430-UnboundLocalError-local-variable-im-referenced-before-assignment' into 'master'

fix handling unreadable images in update.extract_apk_icons

Closes #430

See merge request fdroid/fdroidserver!416

fix handling unreadable images in update.extract_apk_icons

Merge branch '431-Invalid-checksum-platform-27_r01.zip' into 'master'

revert reverted checksum of platform-27_r01.zip (google tampered there again)

Closes #431

See merge request fdroid/fdroidserver!415

revert reverted checksum of platform-27_r01.zip (google tampered there again)

Merge branch 'build-tools_r27.0.2' into 'master'

makebuildserver: add build-tools_r27.0.2

See merge request fdroid/fdroidserver!413

Merge branch 'gradle-4.4' into 'master'

makebuildserver: add Gradle 4.4

See merge request fdroid/fdroidserver!412

makebuildserver: add build-tools_r27.0.2

makebuildserver: add Gradle 4.4

Merge branch 'security-fixes' into 'master'

security fixes for Janus and image metadata exploits

See merge request fdroid/fdroidserver!409

Convert to string

Add a simple test for scanner

whitelist some open-source firebase libs

build: force purging of sudo, ignore error message

Fixes bb758d3f, spotted by @bubu:
DEBUG: buildserver > DEBUG: > sudo apt-get -y purge sudo
DEBUG: buildserver > Reading package lists...
DEBUG: buildserver > Building dependency tree...
DEBUG: buildserver > Reading state information...
DEBUG: buildserver > The following packages will be REMOVED:
DEBUG: buildserver >   sudo*
DEBUG: buildserver > 0 upgraded, 0 newly installed, 1 to remove and 0 not upgraded.
DEBUG: buildserver > After this operation, 2,391 kB disk space will be freed.
(Reading database ... 68491 files and directories currently installed.)
DEBUG: buildserver > Removing sudo (1.8.10p3-1+deb8u4) ...
DEBUG: buildserver > You have asked that the sudo package be removed,
DEBUG: buildserver > but no root password has been set.
DEBUG: buildserver > Without sudo, you may not be able to gain administrative privileges.
DEBUG: buildserver >
DEBUG: buildserver > If you would prefer to access the root account with su(1)
DEBUG: buildserver > or by logging in directly,
DEBUG: buildserver > you must set a root password with "sudo passwd".
DEBUG: buildserver >
DEBUG: buildserver > If you have arranged other means to access the root account,
DEBUG: buildserver > and you are sure this is what you want,
DEBUG: buildserver > you may bypass this check by setting an environment variable
DEBUG: buildserver > (export SUDO_FORCE_REMOVE=yes).
DEBUG: buildserver >
DEBUG: buildserver > Refusing to remove sudo.
DEBUG: buildserver > dpkg: error processing package sudo (--purge):
DEBUG: buildserver >  subprocess installed pre-removal script returned error exit status 1
DEBUG: buildserver > Errors were encountered while processing:
DEBUG: buildserver >  sudo
DEBUG: buildserver > E: Sub-process /usr/bin/dpkg returned an error code (1)

update: do not crash if AndroidManifest.xml in APK has invalid date

This crash actually blocked a Janus exploit APK from being added to the
repo, but crashing isn't really the appropriate way to do that.

update: close unclosed Image instance

update: strip all metadata from PNGs

This strips metadata and optimizes the compression of all PNGs copied
from the app's source repo as well as all the icons extracted from the
APKs.  There have been exploits delivered via image metadata, and
F-Droid isn't using it all, so its best to just remove it.

This unfortunately uncompresses and recompresses the files.  Luckily,
that's a lossless procedure with PNGs, and we might end up with
smaller files.  The only tool I could find that strips without
changing the image data is exiftool, but that is written in Perl.

update: strip EXIF data from all JPEGs

EXIF data can be abused to exploit systems a lot easier than the JPEG image
data can.  The F-Droid ecosystem does not use the EXIF data, so keep things
safe and strip it all away.  There is a chance that some images might rely
on the rotation to be set by EXIF, but I think having a safe system is more
important.

If needed, only the rotation data could be saved.  But that then makes it
hard to tell which images have been stripped.  This way, if there is no
EXIF, it has been stripped.  And if there is EXIF data, then it is suspect.

https://securityaffairs.co/wordpress/51043/mobile-2/android-cve-2016-3862-flaw.html
https://threatpost.com/google-shuts-down-potentially-massive-android-bug/120393/
https://blog.sucuri.net/2013/07/malware-hidden-inside-jpg-exif-headers.html

The big downside of this is that it decompresses and recompresses the
image data.  That should be replaced by a technique from jhead,
exiftool, ObscuraCam, etc. that only strips the metadata.

update: reject APKs with invalid file sig, probably Janus exploits

This just checks the first four bytes of the APK file, aka the "file
signature", to make sure it is the ZIP signature and not the DEX signature.
This was checked against the test APK, and I ran it against some known
malware and all of f-droid.org to make sure it works.

All valid ZIP files (therefore APK files) should start with the ZIP
Local File Header of four bytes.

https://www.guardsquare.com/en/blog/new-android-vulnerability-allows-attackers-modify-apps-without-affecting-their-signatures

update: print warnings for all KnownVulns found

Some baby steps towards making the KnownVuln stuff more visible.

update: switch tests to using standardized setUp() method

Merge branch 'fixFlavor' into 'master'

Regex only for flavor blocks: flavor { ... }

See merge request fdroid/fdroidserver!407

add Conversations as gradle flavor test case

jenkins-build-all: improve detection of working buildserver VM

If I manually run some steps of the process, not all of the normal cruft
might be left behind.  I'm not really sure which of the multiple copies of
the images are actually required, but these both seem to work when present.

Merge branch '428-Signature-key-fingerprint-of-file-stats-publishsigkeys-jar-does-not-match-repo_key_sha256-in-config-py' into 'master'

jenkins test: clear singing-key-fingerpring from previous run

Closes #428

See merge request fdroid/fdroidserver!410

jenkins test: clear singing-key-fingerpring from previous run

Merge branch 'fdroidserver-liberapay' into 'master'

Add Liberapay support

See merge request fdroid/fdroidserver!408

fix metadata_v0 tests

The old metadata format didn't know anything of LiberapayID, so no need to
check for it.

Add Liberapay support

Merge branch '1.0-polish' into 'master'

1.0 polish

Closes #424

See merge request fdroid/fdroidserver!405

remove XML files from bash completion, they are not supported anymore

build: `apt-get purge sudo` after using it for sudo= build field

Once `sudo` has been used to execute the commands in sudo=, then it should
be removed from the build VM.  That prevents any other part of the build
from using sudo.  That means that all commands run with `sudo` must be
committed to fdroiddata.git, making them very visible.

closes #424

metadata: error if .fdroid.txt exists, it is unsupported

Using .txt format has bugs when used embedded in an app's git repo, so
tell the user to use YAML or JSON.

#364

makebuildserver: quiet rsync for copy_caches_from_host

Merge branch 'rational-jarsigner-logging' into 'master'

handle jarsigner/apksigner output cleanly for rational logging

Closes #405

See merge request fdroid/fdroidserver!404

regex only for flavor blocks: flavor { ... } and nothing else

Revert "makebuildserver: update SHA-256 for platform-27_r01.zip"

Looks like Google switched back to the old binary, which I guess is
good news?
https://issuetracker.google.com/issues/70292819

This reverts commit 956660085a417989a0a1e35081071da6ab36b5c2.

!401

Merge branch 'yml_completion' into 'master'

bash completion: use correct yml suffix

See merge request fdroid/fdroidserver!406

bash completion: use correct yml suffix

Merge branch 'more-nightly' into 'master'

More `fdroid nightly` polish

Closes #423

See merge request fdroid/fdroidserver!402

nightly: replace / from fingerprint in SSH key filename, fixes #423

The SSH key fingerprint is used in the filename.  The base64 used for SSH
key fingerprints includes /.  Not all keys will end up having a / in them.
For those that do, this will crash since the ssh key filename ends up being
non-existent dirs:

$ fdroid nightly
Importing keystore /home/mhoffmann/.android/debug.keystore to /tmp/.cqswaeo8/.keystore.p12...
MAC verified OK
writing RSA key
CRITICAL: Unknown exception found!
Traceback (most recent call last):
  File "/usr/lib/python3.6/shutil.py", line 544, in move
    os.rename(src, real_dst)
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/.cqswaeo8/.privkey' -> '/tmp/.cqswaeo8/debug_keystore_PZtS/4Tzk4dpzKiX9AAf1GrhAVi9U7UE1aYEHr6evKo_id_rsa'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/mhoffmann/projects/oss/fdroidserver/fdroid", line 156, in <module>
    main()
  File "/home/mhoffmann/projects/oss/fdroidserver/fdroid", line 132, in main
    mod.main()
  File "/home/mhoffmann/projects/oss/fdroidserver/fdroidserver/nightly.py", line 284, in main
    privkey = _ssh_key_from_debug_keystore()
  File "/home/mhoffmann/projects/oss/fdroidserver/fdroidserver/nightly.py", line 73, in _ssh_key_from_debug_keystore
    shutil.move(privkey, ssh_private_key_file)
  File "/usr/lib/python3.6/shutil.py", line 558, in move
    copy_function(src, real_dst)
  File "/usr/lib/python3.6/shutil.py", line 257, in copy2
    copyfile(src, dst, follow_symlinks=follow_symlinks)
  File "/usr/lib/python3.6/shutil.py", line 121, in copyfile
    with open(dst, 'wb') as fdst:
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/.cqswaeo8/debug_keystore_PZtS/4Tzk4dpzKiX9AAf1GrhAVi9U7UE1aYEHr6evKo_id_rsa'

nightly: prompt user to create a debug.keystore if its not there

#423

nightly: fix QR icon.png generation

update: do not replace Name/Summary from template unless blank

`fdroid nightly` needs this change so it can set the Summary using the
template.

nightly: create app metadata using template of parsed data

Merge branch 'remove-fd-commit' into 'master'

remove fd-commit, no active devs use it, and requires Auto Name/Name

See merge request fdroid/fdroidserver!392

Merge branch 'help_message_fix' into 'master'

metadata: make help for common -W option clearer

See merge request fdroid/fdroidserver!350

metadata: make help for metadata -W option clearer

specify possible choices and provide clearer help text

handle jarsigner/apksigner output cleanly for rational logging

These were both spamming the output with lots of confusing messages, even
when --verbose was not used.  Jarsigner especially has confusing messages,
since it has warnings that do not pertain to APK signatures at all, like
the ones about timestamps and missing Certificate Authority.

closes #405

Merge branch 'syntaxfix' into 'master'

correct "usage" output (--help; see #405)

See merge request fdroid/fdroidserver!403

correct "usage" output (--help; see #405)

makebuildserver: fix join() syntax error, it needs a list/tuple

If only there was a way to test this without taking hours to run...

fixes 964ef996a01ceac8d6735668f2c9fd9119512346

Merge branch 'update-platform-27_r01' into 'master'

makebuildserver: update SHA-256 for platform-27_r01.zip

See merge request fdroid/fdroidserver!401

remove fd-commit, no active devs use it, and requires Auto Name/Name

fd-commit and checkupdates both require that there are two name fields,
AutoName: and Name:.  This is only used for the commit messages.  Since the
current devs do it manually, we can remove the fd-commit shell script, then
focus on checkupdates when revamping AutoName/Name.

https://botbot.me/freenode/fdroid-dev/msg/82539152

makebuildserver: update SHA-256 for platform-27_r01.zip

Someone forgot to call this _r02.zip:
-ro.​build.​version.​incremental=4402310
+ro.​build.​version.​incremental=4458339

https://verification.f-droid.org/build-metadata/platform-27_r01.html

!364

Merge branch 'gitlab-ci-testing-xenial-fedora' into 'master'

gitlab CI runs on  Debian/testing,  Ubuntu/xenial,  Fedora

See merge request fdroid/fdroidserver!398

gitlab-ci: move sdist test run to new fedora job

A full run of the test suite takes quite a bit of time.  This removes one
of the 3 runs from the main 'tests' job, and puts it into the Fedora job.
That test run is mostly to make sure the setup.py and source tarball are
correctly, so that doesn't affect merge requests very often.

This also tests `pip install --user`, which was not really being tested
before.

init: fix test for aapt when no aapt has been found

Just give a proper error message rather than this stack trace:

Traceback (most recent call last):
  File "/home/hans/code/fdroid/server/fdroid", line 156, in <module>
    main()
  File "/home/hans/code/fdroid/server/fdroid", line 132, in main
    mod.main()
  File "/export/share/code/fdroid/server/fdroidserver/init.py", line 148, in main
    if os.path.isfile(aapt):
  File "/usr/lib/python3.5/genericpath.py", line 30, in isfile
    st = os.stat(path)

makebuildserver: make copy_caches_from_host do rsync like `fdroid build`

This rsync hung because of an SSH unknown key prompt.  Since this is just
the vm host sshing to the vm guest, it is not essential to check the host
keys.

setup requires Babel aka python3-babel to compile translations

https://forum.f-droid.org/t/f-droid-server-building-error/1670

gitlab-ci: add `pip install` test on Arch Linux

gitlab-ci: add test runs on Ubuntu, Debian/testing, Fedora

common.testCase: fix find_sdk_tools when aapt is installed in /usr/bin

The testlogic was broken when having both aapt in /usr/bin and also as
part of the android sdk.

hooks/pre-commit: make ruby and dash tests optional

These are only used for checking syntax in buildserver/Vagrantfile.
Not requiring ruby makes doing CI tests on lots of distros easier
and faster. dash is an 'essential' package on Debian derivs, so
those tests will always be run somewhere.

common: aapt 24.0.0 (v0.2-2964546) is now required

Without a recent aapt, the <uses-permission-sdk-23> tag will not be found.

Merge branch 'lint-fixes' into 'master'

Lint fixes, plus changing the standard link format in descriptions

See merge request fdroid/fdroidserver!397

Merge branch 'rsync_improvements' into 'master'

Rsync improvements

See merge request fdroid/fdroidserver!400

lint: greatly expand the list of link shorteners to ban

Since we are now getting credit for fighting trackers, might as well step
up the fight!

gleaned from these sources:
* https://bit.do/list-of-url-shorteners.php
* https://www.hashtags.org/featured/list-of-url-shorteners/
* http://l-lists.com/en/lists/gvaoif.html

lint: enforce HTTPS and shortener ban in descriptions as well

lint: switch links to plain URLS rather than mediawiki syntax

fdroidclient#1000

lint: add more VCS HTTPS checks

I manually checked that these work with HTTPS. fdroiddata!2710 should fix
all of these issues.

build: write out full rsync options

Also put target host:dir on one line to make it more readable

build: better logging output on rsync failures

Save rsync error output and combine that with the command invocation
into an FDroidException which can be logged to the wiki.

This additionally sets -q for rsync to only print errors.

Merge branch 'nightly-fixes' into 'master'

more `fdroid nightly` polishing

See merge request fdroid/fdroidserver!399

fix `hg pull`, was stupid mistake in 7bba20c6626152abded6b1cd6bef4f72dcf865b6

fdroid/fdroidserver!396

jenkins-setup-build-environment: delete libvirt images before test run

profitbricks-build7-amd64 was running out of disk space when running this
job...

nightly: use shutil.move() only so all ops work across filesystems

https://gitlab.com/fdroid/fdroidserver/merge_requests/377#note_49998712

shutil.move() in apk_strip_signature() to work across filesystems

os.rename() only works if source and destination are on the same file
system, shutil.move() works across file systems.

OSError: [Errno 18] Invalid cross-device link: '/builds/eighthave/fdroidclient/app/build/outputs/apk/app-debug.apk' -> '/tmp/tmp966vh75f/tmp.apk'

nightly: only use read_config to load final, generated config.py

This needs to use the config loading routine to find Java `keytool`, but
since it doesn't need to fully load the config, isolate that usage in the
function.  Then read_config() is only ever called once, as is it meant to
be used, once the config.py is generated.

Using `from . import common; common.config = foo` will not always work,
due to some oddities to how the `from` imports work. So the full module
has to be imported in order to make sure its always properly set.

nightly: resign APKs with provided debug.keystore

Rather than needing to run a command before and after the build, in order
to first install the debug.keystore, then after to fetch and publish the
APK, this makes `fdroid nightly` just resign the APK with the provided
debug.keystore.  Then `fdroid nightly` can be run as the final step in a CI
build, and still ensure that the APKs are always signed by the provided
debug.keystore.

add common.sign_apk() for nighly as test for using in publish

Since the MD5 migration was quite a bit of work, it makes sense to start
on moving away from SHA1 as much as possible while it is easy to do. SHA256
will only work in APK signatures on android-18 (4.3) or newer.  So if an
APK has a minSdkVersion of 18 or newer, then sign with SHA256.

https://issuetracker.google.com/issues/36956587
https://android-review.googlesource.com/c/platform/libcore/+/44491

Merge branch 'CVE-2017-1000117' into 'master'

block all SSH connections for VCS, for usabililty and security

See merge request fdroid/fdroidserver!396

block all SSH connections for VCS, for usabililty and security

If we allow SSH, then we'd have to manage known_hosts.

All VCS and submodule URLs should use HTTPS.  SSH URLs have security vulns:
https://blogs.msdn.microsoft.com/devops/2017/08/15/git-vulnerability-with-submodules/
https://www.theregister.co.uk/2017/08/13/ssh_flaw_in_git_mercurial_svn/
CVE-2017-1000117

I did a manual scan of the setup on jenkins.debian.net to see if I could
find any suspicious URLs.  Looks good so far.  This is what I used:

find . -type f -print0 |xargs -0 grep -Eo 'ssh[:+][svn/]+...................'
find . -type f -print0 |xargs -0 grep -Eo 'ssh://-[^ "]+'

Also, some ssh://_ URLs in submodules might still work, because of the URL
rewriting in fdbfb4d1.  But https://-oProxyCommand=pwnme does not really do
anything, unlike ssh://-oProxyCommand=pwnme

Merge branch 'submodules_ucm' into 'master'

checkupdates: don't fail when we can't init submodules

Closes #231

See merge request fdroid/fdroidserver!395

checkupdates: don't fail when we can't init submodules

Later revisions might have removed the submodules so we want to keep
going when there are no submodules present.
We still abort when there is an error initializing submodules.

Fixes fdroid/fdroidserver#231

Merge branch 'git_clone_fix' into 'master'

GitFetchFDroidPopen: don't change cwd when cloning

See merge request fdroid/fdroidserver!393

GitFetchFDroidPopen: don't change cwd per default

Fix for ca24aa4ca85da123df613f7105249605764f1321.
For git clone we don't want to change cwd because clone actually
creates the repo dir.

stop `git clone` from hanging at prompts

Forgot this in fdbfb4d1a2b4f97ff0e1b93739fee2f0c5652e63 !378

reviewed in person with @bubu @uniqx

Merge branch 'log_git' into 'master'

build: log vcs tools version on every build attempt

See merge request fdroid/fdroidserver!391

build: log vcs tools version on every build attempt

Merge branch 'metadataFlavours' into 'master'

Add flavour to metadata

See merge request fdroid/fdroidserver!370

build: hard exit on success to avoid hanging

Something is preventing `fdroid build --all` from exiting after a long
run.  @bubu, @uniqx and I think it is because of the use of
AsynchronousFileReader, somehow it's thread does not exit. So the
workaround for now is to just try a hard exit instead of waiting for
things to finish cleanly with `sys.exit(0)`.

https://jenkins.debian.net/job/reproducible_fdroid_build_apps/94/console

Merge branch 'no_sleep' into 'master'

vmtools: remove old vagrant workaround

See merge request fdroid/fdroidserver!380

Merge branch 'sort-fdroid-build-all' into 'master'

sort `fdroid build --all` by most recent first

See merge request fdroid/fdroidserver!390

add flavour to metadata