Merge branch 'updates' into 'master'

makebs and CI updates

See merge request !178

Bump ci images and default build-tools

makebs: bump m2repo, add api25 and build-tools 25

Merge branch 'build-tools' into 'master'

makebs: add build-tools 24.0.3

See merge request !175

Merge branch 'fixes-on-the-way-to-kvm' into 'master'

buildserver fixes on the way to KVM

Here are a couple of relatively basic fixes I found while working on the KVM support (merge request coming soon).

See merge request !174

makebs: add build-tools 24.0.3

buildserver: only auto-detect KVM in ./makebuildserver

Having a second, different KVM auto-detect routine in Vagrantfile will only
confuse things.  This also removes the direct call to the systemd utility.

buildserver: run dir check as very first thing

No point in running any other code if the script is just going to bail
out with an error.  This assumes that ./makebuildserver is only ever
run from a git clone of fdroidserver.git.

buildserver: use py3's pathlib to generate cache file URL

This should handle edge cases better, like odd characters in the path, etc.

jenkins-build-makebuildserver: remove errant blank line

Merge branch 'master' into 'master'

Add qt sdk support

Qt SDK extraction on the VM

See merge request !172

Add qt sdk support

Merge branch 'checkupdates-crash' into 'master'

checkupdates: avoid crash with --auto and None CVC

As reported by @CiaranG.

See merge request !173

checkupdates: avoid crash with --auto and None CVC

Reproducible via `fdroid checkupdates --auto subreddit.android.appstore`
at fdroiddata HEAD (e76449ab).

WARNING: ...subreddit.android.appstore : Couldn't find package ID
CRITICAL: Unknown exception found!
Traceback (most recent call last):
  File "/home/mvdan/.bin/fdroid", line 147, in <module>
    main()
  File "/home/mvdan/.bin/fdroid", line 124, in main
    mod.main()
  File "/home/mvdan/git/fsr/fdroidserver/checkupdates.py", line 571, in main
    checkupdates_app(app)
  File "/home/mvdan/git/fsr/fdroidserver/checkupdates.py", line 469, in checkupdates_app
    if int(build.vercode) >= int(app.CurrentVersionCode):
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'

Merge branch 'fix-post-kvm' into 'master'

Fix post KVM

A couple of fixes to the KVM support that was just merged, as reported by @CiaranG

See merge request !171

buildserver: bochs can also be used with KVM

jenkins.debian.net is being detected as 'bochs' rather than 'qemu'.

buildserver: only check cache permissions when using libvirt

VirtualBox runs as the same user as `fdroid`, so the cache does not need to
be accessible by the world.  On libvirt, libvirtd runs the VMs as its own
user, so in that case, the cache dirs must have permissions to let that
user access them.

buildserver: wipe snapshot from libvirt store on --clean

Merge branch 'buildserver-qemu-kvm' into 'master'

buildserver running in qemu/kvm to support KVM on KVM

jenkins.debian.net runs in QEMU/KVM instances, so in order to run the F-Droid buildserver there, it needs to work inside of a KVM guest.  The best way I found to do that is to create QEMU/KVM instances via KVM's "nested" virtualization support.  This collection of commits enables using QEMU/KVM as the buildserver when `./makebuildserver` detects that it is running inside of KVM.  Otherwise, the old behavior is default: running in VirtualBox.

I have run these tests inside of ubuntu/16.04 on bare metal, which uses VirtualBox, and ubuntu/16.04 KVM guest, which uses QEMU/KVM.  It'll also run on the Guardian Project jenkins box, which is Debian/jessie.

@mvdan @CiaranG @krt

See merge request !168

Merge branch 'master' into 'master'

makebs: add gradle 3.1

See merge request !170

makebs: add gradle 3.1

Merge branch 'vagrant' into 'master'

docs: update vagrant link

As pointed out in https://f-droid.org/forums/topic/documentation-bug-fix-report/#post-21839 , the link to the vagrant doc is 404. I'd assume that this is the correct link, but please verify this before merge.

See merge request !169

docs: update vagrant link

buildserver: only include latest m2 when provisioning

I think the `android update sdk` tool is installing all of the m2 files
that are present in the temp cache, and it seems to do it in order of
newest to oldest.  Well done, and I thought that tool couldn't get any
worse.  So only include the latest version of android_m2repository*.zip in
the temp cache.

buildserver: ensure dirs to mount cache exist in guest VM instance

It seems that the 9p synced folder setup is not as flexible and easy as the
VirtualBox one, so we have to do more little things like this.

buildserver: fix jenkins build to support QEMU/KVM

buildserver: retry apt-get downloads 20 times

Try harder before failing the whole buildserver setup.

buildserver: auto-detect and use libvirt's QEMU+KVM

For running in QEMU/KVM guests like on jenkins.debian.net, this sets up the
whole process automatically.  This only really covers the case where this
is running in a KVM guest, and the original case of running VirtualBox on
bare metal.  It could be extended to cover more cases if someone wanted to.

buildserver: make sure cachedir is accessible to VM instance

It seems that KVM/QEMU's 9p sharing is more sensitive to file perms.  If
~/.cache is 0700, then ~/.cache/fdroidserver cannot be mounted in the guest

buildserver: support optionally using qemu+kvm

This makes it possible to run the full build process in a KVM virtual
machine, like jenkins.debian.net.

closes #190

buildserver: ignore android sdk repos of proprietary bits

The Android SDK by default includes some Google repositories of their
proprietary SDKs.  We of course do not want that stuff ever.  We also do
not need the emulator images since this process does not currently install
or run an emulator.

example file for public read only S3 bucket policy

This is the locked down S3 policy as created by Benetech for their Secure
App Generator project.

skip `fdroid import` test if gitlab is not available

This prevents CI build failures when gitlab is deploying or has other
issues that might cause a 500.

Merge branch 'gradle-wrapper' into 'master'

Make the gradle wrapper smarter

@eighthave PTAL

This will help with issues like https://gitlab.com/fdroid/fdroiddata/issues/515

See merge request !166

Merge branch 'makebs-updates' into 'master'

Makebs updates

See merge request !167

makebs: bump support repo to 38

makebs: bump tools to 25.2.2

gradle: support gradle-wrapper.properties version

Brings our wrapper closer to gradlew's functionality.

Updates #98.

gradle: delay calculating some versions

Simplifies the wrapper script.

Merge branch 'control-errors-warnings' into 'master'

make metadata exceptions optional based on CLI flag

In many cases, there are times where metadata errors need to be ignored, or
at least not stop the command from running.  For example, there will
inevitably be new metadata fields added, in which case a packaged version
of fdroidserver will throw errors on each one.  This adds a standard -W
flag to customize the response: ignore, default, or error.

* by default, the errors are still errors
* `fdroid readmeta -W` will just print errors
* `fdroid readmeta -Wignore` will not even print errors

https://gitlab.com/fdroid/fdroidserver/issues/150

See merge request !164

Merge branch 'buildserver-fixes-pre-kvm' into 'master'

buildserver fixes pre-KVM

This is a collection of little fixes to the buildserver setup that I did while implementing the QEMU+KVM support.  Since I was running the whole process repeatedly, I had opportunity to find and fix little things like this.

See merge request !165

buildserver: remove Kivy, unused since 2013 and out of date

This is the last thing using Chef, which adds a lot of time to the time it
takes to fully provision the buildserver.  This slows down development on
the things we are actually using, like running all builds on
jenkins.debian.net.

#210 #165

buildserver: download apt package first to increase reliability

This does not have the careful result rechecking that chef has, when it
installs each package in the list one at a time.  So to help with failures
caused by a package failing to download, first try downloading all the
package, then run the install.  The install pass will try to download any
missing packages.

Really, this should use ansible or perhaps chef again since those include
lots of tricks around this stuff.

buildserver: only specify lib*-dev to future proof package list

Using libssl-dev will work on all releases of Debian, but Debian/stretch
does not have libssl1.0.0.

buildserver: test build of Checkey and old F-Droid

The buildserver should still be able to build old versions of apps, and
Checkey is a verified, reproducible build.

buildserver: force a known-good version of chef

This forces the release channel and version of chef-solo to install on the
guest VM.  I was getting really massive, odd stacktraces without specifying
this, and chef is only used for Kivy now anyway.

buildserver: vagrant-cachier conflicts with custom apt cache

The technique where /var/cache/apt is mounted as a shared folder conflicts
with vagrant-cachier's workings.  Therefore, ignore vagrant-cachier if the
user selects ./makebuildserver's custom apt cache.  The shared folder way
has the advantage for CI builds of storing the cache outside of
VAGRANT_HOME, which is set to be in the git project.  That gets wiped by
`git clean -fdx` on each CI build.

make metadata exceptions optional based on CLI flag

In many cases, there are times where metadata errors need to be ignored, or
at least not stop the command from running.  For example, there will
inevitably be new metadata fields added, in which case a packaged version
of fdroidserver will throw errors on each one.  This adds a standard -W
flag to customize the response: ignore, default, or error.

* by default, the errors are still errors
* `fdroid readmeta -W` will just print errors
* `fdroid readmeta -Wignore` will not even print errors

https://gitlab.com/fdroid/fdroidserver/issues/150

Bump to 0.7.0

Merge branch 'updates' into 'master'

all: bump to build-tools 24.0.2

Update the docker image to include it there too.

See merge request !163

all: bump to build-tools 24.0.2

Update the docker image to include it there too.

Merge branch 'buildserver-fixes' into 'master'

buildserver fixes

updates to the Android SDK packages used by `./makebuildserver`

See merge request !162

update to platform-24_r02 in ./makebuildserver

add build-tools_r24.0.2-linux.zip to ./makebuildserver

new build-tools_r24.0.1.zip sha256, Google keeps changing it

I validated this versus the Google repository XML downloaded from two
separate paths from:
https://dl.google.com/android/repository/repository-12.xml

Using their SHA1:
84f18c392919a074fcbb9b1d967984e6b2fef8b4

Merge branch 'patch-1' into 'master'

Add buildserver lxml requirement for pEp

See merge request !161

Add buildserver lxml requirement for pEp

Merge branch 'fix-push-requests' into 'master'

Fix push requests

Two bug fixes found in the process of implementing the client side of the push requests in https://gitlab.com/fdroid/fdroidclient/merge_requests/386

This is related to !156.

See merge request !160

make build reproducible by fixing sort order in docs

From Debian https://bugs.debian.org/835463
 Description: Make the build reproducible
 Author: Chris Lamb <lamby@debian.org>
 Last-Update: 2016-08-26

rename server request from "delete" to "uninstall"

This matches the Android API's current Intent action for this, rather than
the deprecated one:

https://gitlab.com/fdroid/fdroidclient/blob/v0.101-alpha5/app/src/main/java/org/fdroid/fdroid/installer/DefaultInstallerActivity.java#L147
https://developer.android.com/reference/android/content/Intent.html#ACTION_UNINSTALL_PACKAGE
https://developer.android.com/reference/android/content/Intent.html#ACTION_DELETE

sanitize mirror URLs to prevent path segments from being removed

urllib.parse.urljoin() will strip off the last path segment before joining
if that last path segment does not end with /.  That's a "feature" to make
it easy to replace file names.  Here it was stripping off the essential
'fdroid' segment, making URLs like:

https://foo.com/repo

when they should be

https://foo.com/fdroid/repo

Merge branch 'ci-bump' into 'master'

CI: bump docker image

See merge request !159

CI: bump docker image

makebs: add gradle 3.0

makebs: bump m2repository to r36 (24.2.0)

makebs: bump tools to r25.2.1

gradle: plugins 2.2 and 2.1.3 require 2.14.1

Merge branch 'push-install' into 'master'

set up install/delete lists for "push" commands from server

It is now possible for the server operator to specify lists of apps that must be installed or deleted on the client (aka "push installs).  If
the user has opted in, or the device is already setup to respond to these requests, then fdroidclient will automatically install/delete
the packageNames listed.  This is protected by the same signing key as the app index metadata.

It generates single XML elements with the data set in the attributes. This keeps the XML compact and easily extensible, e.g. for adding versionCode, signingKey, etc as attributes:

```xml
    <install packageName="com.fsck.k9"/>
    <install packageName="at.bitfire.davdroid"/>
    <delete packageName="com.facebook.orca"/>
```

See merge request !156

set up install/delete lists for "push" commands from server

It is now possible for the server operator to specify lists of apps that
must be installed or deleted on the client (aka "push installs).  If
the user has opted in, or the device is already setup to respond to
these requests, then fdroidclient will automatically install/delete
the packageNames listed.  This is protected by the same signing key
as the app index metadata.

It generates single XML elements with the data set in the attributes. This
keeps the XML compact and easily extensible, e.g. for adding versionCode,
signingKey, etc as attributes:

    <install packageName="com.fsck.k9"/>
    <install packageName="at.bitfire.davdroid"/>
    <delete packageName="com.facebook.orca"/>

Copyright: 2016 Blue Jay Wireless
Signed-off-by: Hans-Christoph Steiner <hans@eds.org>
closes #177

Merge branch 'ndk11' into 'master'

Add ndk r11c

NDK11 is required by some apps (some versions of VLC) which will not build with r10e or r12b. As always, please test this before merging: I havent added a NDK before.

See merge request !155

makebs: add automake

Version 1.14 is needed for k9 and some other apps.

Add ndk r11c

Merge branch 'gradle-2.14.1' into 'master'

Add gradle 2.14.1

I hope verything is doen correctly, didnt add any gradle versions since moving from chef.. (or at all?)

See merge request !154

Add gradle 2.14.1

Merge branch 'java-home-lookup' into 'master'

Fix JDK lookup

Fix two cases when JDK path lookup could fail (found those issues on my Fedora 24 box).

See merge request !153

Merge branch 'permission-parsing' into 'master'

Parse maxSdkVersion and -23 permission tags

Parse maxSdkVersion and uses-permission-sdk-23 tags and insert them into the index.

AndroidManifest:
```xml
    <uses-permission android:name="android.permission.READ_CALENDAR" />

    <uses-permission
        android:name="android.permission.WRITE_EXTERNAL_STORAGE"
        android:maxSdkVersion="18" />

    <uses-permission-sdk-23 android:name="android.permission.ACCESS_FINE_LOCATION" />
```

new index format:
```xml
<package>
            <version>1.0</version>
            <versioncode>1</versioncode>
            <apkname>maxmin.apk</apkname>
            <hash type="sha256">526eb6d643050c3fae42fb6c001c704006046db52e98998b21f7646ecae3dae5
            </hash>
            <sig>893fc1f22301c902d05c938b29d21648</sig>
            <size>8681</size>
            <sdkver>14</sdkver>
            <targetSdkVersion>24</targetSdkVersion>
            <added>2016-08-01</added>
            <permissions>READ_EXTERNAL_STORAGE,READ_CALENDAR,WRITE_EXTERNAL_STORAGE</permissions>
                <uses-permission name="android.permission.WRITE_EXTERNAL_STORAGE"
                    maxSdkVersion="18" />
                <uses-permission name="android.permission.READ_CALENDAR" />
                <uses-permission name="android.permission.READ_EXTERNAL_STORAGE" />
                <uses-permission-sdk-23 name="android.permission.ACCESS_FINE_LOCATION" />
</package>
```

old format:
```xml
<permissions>READ_CALENDAR,ACCESS_FINE_LOCATION,WRITE_EXTERNAL_STORAGE</permissions>
```

This generates both formats for backward compatibility with old clients.

Also increase version of index format.

This is a proposal for the issues discussed in https://gitlab.com/fdroid/fdroidclient/issues/704

@eighthave @mvdan

See merge request !150

Parse maxSdkVersion and -23 permission tags

Parse maxSdkVersion and uses-permission-sdk-23
tags and insert them into the index, e.g.,
<package>
 <permissions>READ_EXTERNAL_STORAGE,READ_CALENDAR,WRITE_EXTERNAL_STORAGE</permissions>
  <uses-permission name="android.permission.WRITE_EXTERNAL_STORAGE"
   maxSdkVersion="18" />
  <uses-permission name="android.permission.READ_CALENDAR" />
  <uses-permission name="android.permission.READ_EXTERNAL_STORAGE" />
  <uses-permission-sdk-23 name="android.permission.ACCESS_FINE_LOCATION" />
</package>

Also increase version of index format

Check javac existence when looking for JDK

Empty JDK directories can remain from previous JDK installations. For
example in RHEL/Fedora when RPM upgrades a package it can leave modified
files (usually configs) and, consequently, their directories. So we could
end up selecting a bad JDK path.

Merge branch 'fix-ndk' into 'master'

Re-add NDK r12b and fix build-tools 24.0.1

See merge request !152

Fix JAVA_HOME environment variable handling

Append JAVA_HOME to pathlist as a string, not as a list of characters.

makebs: work around build-tools 24.0.1 version bug

The zip contains 24.0.0 as the version, which means our magic was
installing 24.0.0 twice and skipping 24.0.1.

all: switch to build-tools 24.0.1 as default

Re-add NDK r12b, now fixed.

Revert "all: add NDK r12b and set it as default"

This reverts commit 82d09560c63ea282222b319437494ad6837be026.

It doesn't work - the setup scripts are expecting a ".bin" file (which
is apparently a 7z archive), but what's actually got is a ".zip".

Conflicts:
buildserver/provision-android-ndk

Catch another case of invalid wiki page names

Merge branch 'bump-ci' into 'master'

CI: bump docker image

See merge request !151

CI: bump docker image

Merge branch 'pep' into 'master'

bs: add sqlite3 and asn1c

Ref: https://gitlab.com/fdroid/fdroiddata/merge_requests/1557

See merge request !149

common: extra checks for NDK in local.props

The previous commit fixed it in local setups, this fixes it in broken
buildservers too and makes it more reliable.

makebs: fix config crash

Without this, running makebuildserver from a clean master results in the
following:

 $ ./makebuildserver
Traceback (most recent call last):
  File "./makebuildserver", line 74, in <module>
    del(config['__builtins__'])  # added by compile/exec
KeyError: '__builtins__'

This is because a clean checkout has no config, thus exec is never
actually ran.

wp-fdroid: add 7.0 (24) to the versions list

common: don't insert $ANDROID_NDK to local.props

See the comment.

Updates #171.

makebs: update android support repo

makebs: add build-tools-24.0.1

Fixes #196.

makebs: "fix" platform v24 zip for r02

Google replaced the r01 zip instead of adding the r02 one. Oh well.

bs: add sqlite3 and asn1c

makebs: revert platform-tools change in 2227cc6d

Amusingly, the commit changed more than just this so a simple git revert
is not possible.

The problem is that the zip is replaced with each point release (24.0.1
at the time of writing) and there is no way to get a URL to a single,
non-changing version. Hence any caching or checksums are completely
worthless and will break every few weeks.

Merge branch 'ndk-r12' into 'master'

NDK r12

See merge request !147

Merge branch 'ndk-error' into 'master'

build: error properly if an invalid ndk is used

See merge request !146

Merge branch 'patch-2' into 'master'

Server manual phrasing matches client. "beta" -> "unstable"

Fixes #193

See merge request !148