switch import test to custom, small test app

The test project should be moved to https://gitlab.com/fdroid/ci-test-app

convert comments above functions to python docstrings

This is how to write per-function comments.
https://www.python.org/dev/peps/pep-0257/

properly parse build metadata list types like gradle=

Something like `gradle: yes` in YAML will be parsed as a boolean, since
'yes' is officially defined as a boolean true in YAML.  For metadata fields
that need to be lists, this needs to be converted.  Same goes for a single
string like `gradle: customFlavor`.

include version, commit, and android tools versions in local log

This includes more info to help track down problems with reproducible
builds, like the specific version being built, and which exact versions of
the Android SDK and NDK were used.

log versions of all installed Android SDK/NDK components

Any variation in the Android tools used to build an APK can cause the build
to be unreproducible.  To help troubleshoot these times, this posts the
installed versions of the Android SDK and NDK components to the lastbuild
log, for the long term record.

refs #148

Merge branch 'makebs' into 'master'

makebs updates

See merge request !185

makebs: add gradle 3.2

makebs: update to support repo r40

all: make newer pycodestyle happy

Apparently the "two empty lines" rule is now stricter.

Merge branch 'node' into 'master'

buildserver: install nodejs

Install nodejs to allow webapps to be build (in the future...).

Ref: https://gitlab.com/fdroid/fdroidserver/issues/60

See merge request !183

buildserver: install nodejs

Merge branch 'build-FPE-update-zip' into 'master'

Build Privileged Extension OTA update.zip using `fdroid build`

This allows `fdroid build` to build the OTA update ZIP file for F-Droid Privileged Extension, so that the official releases can be built and distributed via the normal F-Droid channels.   This is related to #233

Ultimately the client will also have to be updated to allow it to handle the non-APK files.

See merge request !181

wp-fdroid: show GPG Signature link for source tarballs

Now that source tarballs can be GPG-signed, the website should also display
a link to fetch them.

gpg-sign all valid files in the repo, including source tarballs

This makes sure there is a GPG signature on any file that is included in
the repo, including APKs, OBB, source tarballs, media files, OTA update
ZIPs, etc.  Having a GPG signature is more important on non-APK files since
they mostly do not have any signature mechanism of their own.

This also adds basic tests of adding non-APK/OBB files to a repo with
`fdroid update`.

closes #232

allow arbitrary build products, not only APKs

This makes it so that the final build product can be specified in output=
and it'll work no matter if its an APK or not.  This was developed around
the case of building the OTA update.zip for the Privileged Extension. It
should work for any build process in theory but it has not yet been tested.

https://gitlab.com/fdroid/privileged-extension/issues/9

get_release_filename() to handle any file type, not just APKs

In order to support non-APK files that are built by `fdroid build`, this
function that names the file releases needs to be generic.

use versionName unmodified as specified

The versionName is defined as a string or string resource that can be any
arbitrary data.  fdroid should not second guess the developer here, and
should just use the versionName unmodified.  For anything that needs to
compare different versions of apps, versionCode should always be used since
that's what Android uses.

https://developer.android.com/guide/topics/manifest/manifest-element.html#vname

update buildserver scripts in sdist tarball manifest

This was overlooked in previous work on ./makebuildserver

Merge branch 'support-media-files' into 'master'

Support media files

This is the first step in supporting adding artibitrary files to fdroid repos, targeted add supporting media files and flashable _update.zip_ files like used to install the Privileged Extension.  This reuses the existing metadata fields to keep compatibilty with older versions, but that means that lots of names are confusingly named since they refer to aspects of an APK rather than a generic file.  We can address that later when we refactor the whole index metadata.

See merge request !177

Merge branch 'master' into 'master'

Scanner: handle utf8 errors more gracefully

Don't throw an error without any info which file caused it.

Fixes #226

See merge request !180

reuse os.stat() result when checking for non-APK files

This should make things a bit more efficient when running on lots of files,
unless python was already caching the result...

support adding arbitrary files to a repo

This adds the most basic level of support for including arbitrary files in
an F-Droid repository.  This is useful for things like including videos,
ebooks, update.zip files for ROM updates, and more.  The aim is to have
this as generic as possible to keep it flexible for unforeseen uses.

Code-wise, this is really just a first effort.  This area of code has not
been touched in a very long time, and the repo parsing is done in a giant
function that is not easy to break apart.  It should be broken up to more
cleanly support arbitrary files.

Also remove the TODO line, we've decided to keep the old permission
format for now, at least until there is a major overhaul of the index
data format.  And the issue tracker the proper place for TODOs.

create addElementIfInApk() function for clean up common operation

There are currently a couple different ways this is done in the code, this
commit changes all of them to be like addElementNonEmpty().

Scanner: handle utf8 errors more gracefully

Fixes #226

remove unused 'apps' argument from update.scan_apks()

support all valid versionCode values, i.e. Java Integer values

versionCode can be any Java Integer value, from Integer.MAX_VALUE
(2147483648) to Integer.MIN_VALUE (-2147483647)

Merge branch 'texinfo' into 'master'

CI: use new docker image with texinfo

docs/gendocs.sh uses makeinfo.

See merge request !179

CI: use new docker image with texinfo

docs/gendocs.sh uses makeinfo.

Merge branch 'updates' into 'master'

makebs and CI updates

See merge request !178

Bump ci images and default build-tools

makebs: bump m2repo, add api25 and build-tools 25

Merge branch 'build-tools' into 'master'

makebs: add build-tools 24.0.3

See merge request !175

Merge branch 'fixes-on-the-way-to-kvm' into 'master'

buildserver fixes on the way to KVM

Here are a couple of relatively basic fixes I found while working on the KVM support (merge request coming soon).

See merge request !174

makebs: add build-tools 24.0.3

buildserver: only auto-detect KVM in ./makebuildserver

Having a second, different KVM auto-detect routine in Vagrantfile will only
confuse things.  This also removes the direct call to the systemd utility.

buildserver: run dir check as very first thing

No point in running any other code if the script is just going to bail
out with an error.  This assumes that ./makebuildserver is only ever
run from a git clone of fdroidserver.git.

buildserver: use py3's pathlib to generate cache file URL

This should handle edge cases better, like odd characters in the path, etc.

jenkins-build-makebuildserver: remove errant blank line

Merge branch 'master' into 'master'

Add qt sdk support

Qt SDK extraction on the VM

See merge request !172

Add qt sdk support

Merge branch 'checkupdates-crash' into 'master'

checkupdates: avoid crash with --auto and None CVC

As reported by @CiaranG.

See merge request !173

checkupdates: avoid crash with --auto and None CVC

Reproducible via `fdroid checkupdates --auto subreddit.android.appstore`
at fdroiddata HEAD (e76449ab).

WARNING: ...subreddit.android.appstore : Couldn't find package ID
CRITICAL: Unknown exception found!
Traceback (most recent call last):
  File "/home/mvdan/.bin/fdroid", line 147, in <module>
    main()
  File "/home/mvdan/.bin/fdroid", line 124, in main
    mod.main()
  File "/home/mvdan/git/fsr/fdroidserver/checkupdates.py", line 571, in main
    checkupdates_app(app)
  File "/home/mvdan/git/fsr/fdroidserver/checkupdates.py", line 469, in checkupdates_app
    if int(build.vercode) >= int(app.CurrentVersionCode):
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'

Merge branch 'fix-post-kvm' into 'master'

Fix post KVM

A couple of fixes to the KVM support that was just merged, as reported by @CiaranG

See merge request !171

buildserver: bochs can also be used with KVM

jenkins.debian.net is being detected as 'bochs' rather than 'qemu'.

buildserver: only check cache permissions when using libvirt

VirtualBox runs as the same user as `fdroid`, so the cache does not need to
be accessible by the world.  On libvirt, libvirtd runs the VMs as its own
user, so in that case, the cache dirs must have permissions to let that
user access them.

buildserver: wipe snapshot from libvirt store on --clean

Merge branch 'buildserver-qemu-kvm' into 'master'

buildserver running in qemu/kvm to support KVM on KVM

jenkins.debian.net runs in QEMU/KVM instances, so in order to run the F-Droid buildserver there, it needs to work inside of a KVM guest.  The best way I found to do that is to create QEMU/KVM instances via KVM's "nested" virtualization support.  This collection of commits enables using QEMU/KVM as the buildserver when `./makebuildserver` detects that it is running inside of KVM.  Otherwise, the old behavior is default: running in VirtualBox.

I have run these tests inside of ubuntu/16.04 on bare metal, which uses VirtualBox, and ubuntu/16.04 KVM guest, which uses QEMU/KVM.  It'll also run on the Guardian Project jenkins box, which is Debian/jessie.

@mvdan @CiaranG @krt

See merge request !168

Merge branch 'master' into 'master'

makebs: add gradle 3.1

See merge request !170

makebs: add gradle 3.1

Merge branch 'vagrant' into 'master'

docs: update vagrant link

As pointed out in https://f-droid.org/forums/topic/documentation-bug-fix-report/#post-21839 , the link to the vagrant doc is 404. I'd assume that this is the correct link, but please verify this before merge.

See merge request !169

docs: update vagrant link

buildserver: only include latest m2 when provisioning

I think the `android update sdk` tool is installing all of the m2 files
that are present in the temp cache, and it seems to do it in order of
newest to oldest.  Well done, and I thought that tool couldn't get any
worse.  So only include the latest version of android_m2repository*.zip in
the temp cache.

buildserver: ensure dirs to mount cache exist in guest VM instance

It seems that the 9p synced folder setup is not as flexible and easy as the
VirtualBox one, so we have to do more little things like this.

buildserver: fix jenkins build to support QEMU/KVM

buildserver: retry apt-get downloads 20 times

Try harder before failing the whole buildserver setup.

buildserver: auto-detect and use libvirt's QEMU+KVM

For running in QEMU/KVM guests like on jenkins.debian.net, this sets up the
whole process automatically.  This only really covers the case where this
is running in a KVM guest, and the original case of running VirtualBox on
bare metal.  It could be extended to cover more cases if someone wanted to.

buildserver: make sure cachedir is accessible to VM instance

It seems that KVM/QEMU's 9p sharing is more sensitive to file perms.  If
~/.cache is 0700, then ~/.cache/fdroidserver cannot be mounted in the guest

buildserver: support optionally using qemu+kvm

This makes it possible to run the full build process in a KVM virtual
machine, like jenkins.debian.net.

closes #190

buildserver: ignore android sdk repos of proprietary bits

The Android SDK by default includes some Google repositories of their
proprietary SDKs.  We of course do not want that stuff ever.  We also do
not need the emulator images since this process does not currently install
or run an emulator.

example file for public read only S3 bucket policy

This is the locked down S3 policy as created by Benetech for their Secure
App Generator project.

skip `fdroid import` test if gitlab is not available

This prevents CI build failures when gitlab is deploying or has other
issues that might cause a 500.

Merge branch 'gradle-wrapper' into 'master'

Make the gradle wrapper smarter

@eighthave PTAL

This will help with issues like https://gitlab.com/fdroid/fdroiddata/issues/515

See merge request !166

Merge branch 'makebs-updates' into 'master'

Makebs updates

See merge request !167

makebs: bump support repo to 38

makebs: bump tools to 25.2.2

gradle: support gradle-wrapper.properties version

Brings our wrapper closer to gradlew's functionality.

Updates #98.

gradle: delay calculating some versions

Simplifies the wrapper script.

Merge branch 'control-errors-warnings' into 'master'

make metadata exceptions optional based on CLI flag

In many cases, there are times where metadata errors need to be ignored, or
at least not stop the command from running.  For example, there will
inevitably be new metadata fields added, in which case a packaged version
of fdroidserver will throw errors on each one.  This adds a standard -W
flag to customize the response: ignore, default, or error.

* by default, the errors are still errors
* `fdroid readmeta -W` will just print errors
* `fdroid readmeta -Wignore` will not even print errors

https://gitlab.com/fdroid/fdroidserver/issues/150

See merge request !164

Merge branch 'buildserver-fixes-pre-kvm' into 'master'

buildserver fixes pre-KVM

This is a collection of little fixes to the buildserver setup that I did while implementing the QEMU+KVM support.  Since I was running the whole process repeatedly, I had opportunity to find and fix little things like this.

See merge request !165

buildserver: remove Kivy, unused since 2013 and out of date

This is the last thing using Chef, which adds a lot of time to the time it
takes to fully provision the buildserver.  This slows down development on
the things we are actually using, like running all builds on
jenkins.debian.net.

#210 #165

buildserver: download apt package first to increase reliability

This does not have the careful result rechecking that chef has, when it
installs each package in the list one at a time.  So to help with failures
caused by a package failing to download, first try downloading all the
package, then run the install.  The install pass will try to download any
missing packages.

Really, this should use ansible or perhaps chef again since those include
lots of tricks around this stuff.

buildserver: only specify lib*-dev to future proof package list

Using libssl-dev will work on all releases of Debian, but Debian/stretch
does not have libssl1.0.0.

buildserver: test build of Checkey and old F-Droid

The buildserver should still be able to build old versions of apps, and
Checkey is a verified, reproducible build.

buildserver: force a known-good version of chef

This forces the release channel and version of chef-solo to install on the
guest VM.  I was getting really massive, odd stacktraces without specifying
this, and chef is only used for Kivy now anyway.

buildserver: vagrant-cachier conflicts with custom apt cache

The technique where /var/cache/apt is mounted as a shared folder conflicts
with vagrant-cachier's workings.  Therefore, ignore vagrant-cachier if the
user selects ./makebuildserver's custom apt cache.  The shared folder way
has the advantage for CI builds of storing the cache outside of
VAGRANT_HOME, which is set to be in the git project.  That gets wiped by
`git clean -fdx` on each CI build.

make metadata exceptions optional based on CLI flag

In many cases, there are times where metadata errors need to be ignored, or
at least not stop the command from running.  For example, there will
inevitably be new metadata fields added, in which case a packaged version
of fdroidserver will throw errors on each one.  This adds a standard -W
flag to customize the response: ignore, default, or error.

* by default, the errors are still errors
* `fdroid readmeta -W` will just print errors
* `fdroid readmeta -Wignore` will not even print errors

https://gitlab.com/fdroid/fdroidserver/issues/150

Bump to 0.7.0

Merge branch 'updates' into 'master'

all: bump to build-tools 24.0.2

Update the docker image to include it there too.

See merge request !163

all: bump to build-tools 24.0.2

Update the docker image to include it there too.

Merge branch 'buildserver-fixes' into 'master'

buildserver fixes

updates to the Android SDK packages used by `./makebuildserver`

See merge request !162

update to platform-24_r02 in ./makebuildserver

add build-tools_r24.0.2-linux.zip to ./makebuildserver

new build-tools_r24.0.1.zip sha256, Google keeps changing it

I validated this versus the Google repository XML downloaded from two
separate paths from:
https://dl.google.com/android/repository/repository-12.xml

Using their SHA1:
84f18c392919a074fcbb9b1d967984e6b2fef8b4

Merge branch 'patch-1' into 'master'

Add buildserver lxml requirement for pEp

See merge request !161

Add buildserver lxml requirement for pEp

Merge branch 'fix-push-requests' into 'master'

Fix push requests

Two bug fixes found in the process of implementing the client side of the push requests in https://gitlab.com/fdroid/fdroidclient/merge_requests/386

This is related to !156.

See merge request !160

make build reproducible by fixing sort order in docs

From Debian https://bugs.debian.org/835463
 Description: Make the build reproducible
 Author: Chris Lamb <lamby@debian.org>
 Last-Update: 2016-08-26

rename server request from "delete" to "uninstall"

This matches the Android API's current Intent action for this, rather than
the deprecated one:

https://gitlab.com/fdroid/fdroidclient/blob/v0.101-alpha5/app/src/main/java/org/fdroid/fdroid/installer/DefaultInstallerActivity.java#L147
https://developer.android.com/reference/android/content/Intent.html#ACTION_UNINSTALL_PACKAGE
https://developer.android.com/reference/android/content/Intent.html#ACTION_DELETE

sanitize mirror URLs to prevent path segments from being removed

urllib.parse.urljoin() will strip off the last path segment before joining
if that last path segment does not end with /.  That's a "feature" to make
it easy to replace file names.  Here it was stripping off the essential
'fdroid' segment, making URLs like:

https://foo.com/repo

when they should be

https://foo.com/fdroid/repo

Merge branch 'ci-bump' into 'master'

CI: bump docker image

See merge request !159

CI: bump docker image

makebs: add gradle 3.0

makebs: bump m2repository to r36 (24.2.0)

makebs: bump tools to r25.2.1

gradle: plugins 2.2 and 2.1.3 require 2.14.1

Merge branch 'push-install' into 'master'

set up install/delete lists for "push" commands from server

It is now possible for the server operator to specify lists of apps that must be installed or deleted on the client (aka "push installs).  If
the user has opted in, or the device is already setup to respond to these requests, then fdroidclient will automatically install/delete
the packageNames listed.  This is protected by the same signing key as the app index metadata.

It generates single XML elements with the data set in the attributes. This keeps the XML compact and easily extensible, e.g. for adding versionCode, signingKey, etc as attributes:

```xml
    <install packageName="com.fsck.k9"/>
    <install packageName="at.bitfire.davdroid"/>
    <delete packageName="com.facebook.orca"/>
```

See merge request !156

set up install/delete lists for "push" commands from server

It is now possible for the server operator to specify lists of apps that
must be installed or deleted on the client (aka "push installs).  If
the user has opted in, or the device is already setup to respond to
these requests, then fdroidclient will automatically install/delete
the packageNames listed.  This is protected by the same signing key
as the app index metadata.

It generates single XML elements with the data set in the attributes. This
keeps the XML compact and easily extensible, e.g. for adding versionCode,
signingKey, etc as attributes:

    <install packageName="com.fsck.k9"/>
    <install packageName="at.bitfire.davdroid"/>
    <delete packageName="com.facebook.orca"/>

Copyright: 2016 Blue Jay Wireless
Signed-off-by: Hans-Christoph Steiner <hans@eds.org>
closes #177

Merge branch 'ndk11' into 'master'

Add ndk r11c

NDK11 is required by some apps (some versions of VLC) which will not build with r10e or r12b. As always, please test this before merging: I havent added a NDK before.

See merge request !155

makebs: add automake

Version 1.14 is needed for k9 and some other apps.

Add ndk r11c