Switch all headers to python3

Merge branch 'jenkins-makebs' into 'master'

Jenkins makebs improvements

See merge request !105

jenkins: build a variety of apps

jenkins: only build one version per app

Use a specific vercode instead of --latest since we want this to be as
stable as possible.

jenkins: update fdroiddata if existing

Also, when cloning, no need to specify the branch and only download that
one. We already have only a single branch. And forcing master isn't
necessary.

build: don't remove wrapper dir gradle/

The point of removing these was to make sure that gradlew wasn't used,
and that our gradle was used instead. Removing the scripts already
accomplishes this.

Removing gradle/ should be harmless, but some apps like I2P re-use this
directory to also hold other stuff that is actually needed. So be safer
and don't remove it at all.

lint: Also warn about gitlab links missing /issues

README: Use new CI badge url

Merge branch 'import' into 'master'

import: Fix usage of .git suffix for gitlab urls

See merge request !107

import: use .git suffix only for repo-url

README: Fix CI badge

The old /ci link no longer works. Use the builds page instead.

CI: Install missing gcc and python-dev packages

lint: error on `fdroid import` disable line

CI: No longer needed to install any deps

All the deps come installed in the image now. This saves up a little
time (especially the apt-get update) and makes the CI script much
simpler.

CI: Use our own image

Merge branch 'p1' into 'master'

Fix pubkey extraction on update

Replacement of !86.

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS. Fixes #133.

I didn't actually run the test suite (it looks like there are some preparations to be done for that), but I checked the commands from `test_fdroid_popen_stderr_redirect` in ipython.

See merge request !103

Merge branch 'faster-ci' into 'master'

CI: Install Android SDK only if necessary

See merge request !106

CI: Install Android SDK only if necessary

common: make jdk detection more strict

We weren't using ^ and $, so stuff like java-8-openjdk-i386 would match
both the Arch and the Debian regexes. A list with one regex per line in
the same format is also easier to read and maintain.

This might be why java8 isn't being detected properly on our Debian
stable buildserver.

config.buildserver.py: use new java_paths keys

build: don't error on .fdroid* files in fdroiddata

This avoids the following incorrect error:

fdroidserver.common.FDroidException: Only one local metadata file allowed! Found: .fdroid.keystorepass.txt .fdroid.keypass.txt

Merge branch 'scanner-repos' into 'master'

Allow commonsware and gradle plugin repos

This is in a MR because I'm uneasy about adding a semi-random AWS url to the list. But seems like the commonsware guy only publishes jars there, which doesn't make any sense to me.

Any idea @eighthave?

See merge request !102

docs: add missing maven repos

Merge branch 'p2' into 'master'

Fix update crash in case of unset dates in APK; add an option to use APK's entry date

I encountered an error when I tried to add [TrackID APK](https://play.google.com/store/apps/details?id=com.sonyericsson.trackid) (files in the APK don't have dates set): as far as I can remember `datetime(*manifest.date_time)` was raising `ValueError`.

Also add an option to use date from APK as this APK's entry date (may be useful in case of a simple binary repo): `fdroid update --use-date-from-apk`.

I should have split this commit, but I hope this would be OK too.

See merge request !104

Add '--use-date-from-apk' option to bash-completion

Add an option to use dates from APK

Fix update crash in case of unset dates in APK

setup.py: fix missing comma in classifiers

`python setup.py release` alias for making official releases

Bump to 0.6.0

Add FDroidPopen usage test

Fix pubkey extraction on update

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS

Change can't update category name - closes #80

Allow commonsware and gradle plugin repos

Merge branch 'debian-import-freeze' into 'master'

Debian import freeze

These are the issues as discussed in today's meeting.  More in the commit messages, and mostly, in the related issues.

See merge request !101

make "Current Version Code" default to most recent APK

closes #36 https://gitlab.com/fdroid/fdroidserver/issues/36

added 'mirrors' option to config for giving official mirror URLs

serverwebroot has long supported uploading to multiple servers, this bit of
metadata communicates those official mirrors to the client so that it can
automatically do something useful with that information.

closes #14 https://gitlab.com/fdroid/fdroidserver/issues/14

use utf-8 as default encoding for config.py

This makes it easy to add all languages to the description.

Merge branch 'full-bsd-osx-port' into 'master'

Full BSD/OSX port

This finishes up the OSX port by getting the full test suite running on OSX.  It also sets up an OSX CI job travis-ci.org, run as part of the github mirror here: https://github.com/f-droid/fdroidserver  You can see those CI builds here: https://travis-ci.org/f-droid/fdroidserver

This should translate entirely to *BSD since OSX's user land is merged with FreeBSD.

See merge request !100

travis-ci: make pip install deps based on setup.py

PEP8 fix E225 missing whitespace around operator

travis-ci: run test suite on OSX and GNU/Linux

init: check if examples/ exists in layout before using the path

There is definitely some odd stuff that happens in all these paths, so
let's just check that examples/ exists, and move on from there.

pre-commit: make pyflakes optional to support older platforms

Travis-CI defaults to Ubuntu/precise, which has a very old version of
pyflakes that throws false positives.

support BSD and GNU sed in tests

run-tests: use OSX/BSD compatible `mktemp -d`

-d requires an arg on BSD

only test ./gendocs on GNU/Linux

This helps with getting the tests running on OSX and other platforms.

complete-ci-tests: exit with error if setup is not correct

Forgot to remove the output= debug prints

pre-commit: fix multiple file issue

When using -z, you should always quote. If not, stuff like this happens:

.git/hooks/pre-commit: line 10: [: too many arguments

output= is now a glob path and can do gradle

Add gradle 2.11

gradle wrapper script: add plugin 1.5

Merge branch 'master' into 'master'

a couple fixes

these are three fixes, one related to my previous merge request, as discussed with @mvdan in IRC

See merge request !99

fix PEP9 E713 test for membership should be 'not in'

fix errors in pre-commit hook when run in test suite

build: check that metadata is present before creating tmp dirs

Before, `fdroid build` would create some subdirs, then fail when it could
not read the metadata via metadata.read_metadata().  This checks before
whether there is any metadata available, and warns the user accordingly.

common: do not crash if the java_paths are not what is expected

Many commands work without the JDK installed, and it is also possible that
someone is using only JDK 8 or 9.

common: add regexp for arch oracle paths

common: fix JDK detection on latest arch

Merge branch 'auto-detect-java-homes' into 'master'

Auto detect java homes

There are a wide variety of possible JDKs (OpenJDK, Oracle, OSX, etc.) as well as standard paths for the JDK.  This includes code to look in standard paths for various platforms and enumerate the installed JDKs (e.g. 6, 7, 8, 9).  That is then used for `JAVA[6-9]_HOME` env vars and the path for `jarsigner` and `keytool`.

See merge request !98

use jarsigner and keytool from same JDK as is being set in JAVA7_HOME

Using the same JDK throughout should prevent weird bugs where a setup might
use Java8's jarsigner and Java7's keytool.  This also allows the user to
set java_paths and have jarsigner and keytool used from that specified JDK.

This incorporates almost all of the patch that is in the Debian package
that forces fdroidserver to use the default JDK on that Debian release.

closes #93 https://gitlab.com/fdroid/fdroidserver/issues/93

automatically detect various installed JDKs and set JAVA[6-9]_HOME

This checks for which JDKs are installed in common locations, then sets the
JAVA[6-9]_HOME env vars needed by some build environments.

makebuildserver: add workaround to Ubuntu/trusty's old paramiko

Ubuntu trusty 14.04's paramiko does not work with jessie's openssh's
default settings, so they need to be tweaked in order to provide working
ssh to the instance.

https://stackoverflow.com/questions/7286929/paramiko-incompatible-ssh-peer-no-acceptable-kex-algorithm/32691055#32691055

Merge branch 'jmastr/use_tag_if_version_name_is_unknown' into 'master'

use tag if version name is unknown

If we don't find the version name neither in the AndroidManifest.xml nor
in the build.grade file, we fallback to the tag the user specified to
search for.

That way we have a better version name than 'Unknown'.

See merge request !97

use tag if version name is unknown

If we don't find the version name neither in the AndroidManifest.xml nor
in the build.grade file, we fallback to the tag the user specified to
search for.

That way we have a better version name than 'Unknown'.

Merge branch 'prevo' into 'master'

Add libexpat1-dev and libglib2.0-dev to the default recipe

These are needed to build the PrevoDB srcdep of
uk.co.busydoingnothing.prevo.

See merge request !96

Add libexpat1-dev and libglib2.0-dev to the default recipe

These are needed to build the PrevoDB srcdep of
uk.co.busydoingnothing.prevo.

Merge branch 'jenkins-makebuildserver-works' into 'master'

Jenkins ./makebuildserver works!

These commits get `./makebuildserver` running in a Jenkins job. It builds the whole setup from scratch every time, including the vagrant and virtualbox setups.

Also, this modifies the git pre-commit hook to only run on the files being committed when called by git.

See merge request !95

test ./makebuildserver by running a build in jenkins

script to run ./makebuildserver on Jenkins instances

This is being used to run it on both Guardian Project's and Debian's
Jenkins instances.

makebuildserver: default memory to 1024MB, so it runs on normal machines

4 gigs is still a common amount of RAM these days for laptops, if the VM
takes almost all of that, it makes the machine drag to almost a halt. Most
apps build fine in 1gig of RAM, indeed that's the default for most CI
instances, like travis-ci and gitlab-ci.

allow setting up an apt package cache for the build server setup

This creates a cache folder which will store the apt cache from the VM.

makebuildserver: make chef find the custom cache locations

make git pre-commit hook only test files to be committed

Right now, the git pre-commit hook is pretty annoying to work with when
development since it tests every single file.  That means notes, incomplete
stuff, etc. will be run through the tests.  So all of the files need to be
clean in order to commit even a single trivial fix.  This commit changes it
so that the pre-commit hook is only run on the files staged to be committed.

lint: also check for trailing spaces in names

I was wrong - we don't check for trailing whitespaces on lines. That
would have to happen at parse time, not in the linter, so it would slow
things down and would become an error, not a warning. Not really worth
it.

Merge branch 'authorregex' into 'master'

lint: check whitespaces in "Author Name"

See merge request !94

lint: check whitespaces in "Author Name"

Merge branch 'licenses' into 'master'

wp-fdroid: Linkify more licenses

See merge request !90

Merge branch 'patch-1' into 'master'

Support 'gpgkey' option as announced in sample config.

See merge request !93

Support 'gpgkey' option as announced in sample config.

Tidy up/fix some vagrant issues

1. It is packaged in modern versions of distros, update docs accordingly
2. 1.1 is hopelessly outdated - support 1.4 onwards
3. Check the version properly, and write a better config (previously it
   wrote the 1.1 config for 1.1 and 1.3+
4. Ensure that the default share from later versions is not present when
   building, it's only required for provisioning.

Handle with invalid manifests better

In other words, don't blow up and kill a whole checkupdates run just
because one version of one package has some invalid xml.

Merge branch 'makebuildserver-jenkins-fixes' into 'master'

Makebuildserver jenkins fixes

more stuff related to the Debian jenkins build

See merge request !92

makebuildserver: settable vm boot timeout, plus longer default

On slow machines or VMs like the Debian jenkins box, the VM boot timeout
needs to be a lot longer, otherwise vagrant times out before setting up
the VM.

makebuildserver: explicitly set debian_mirror by default

There needs to be a default, otherwise it crashes.  I should have included
this in 8d66742dd7feec77aa30382bfb38da83f2b3e5a4

Merge branch 'makebuildserver-caching-fixes' into 'master'

./makebuildserver CI fixes

These are fixes for caching and flexible config related to the work of getting `./makebuildserver` running on Debian's and Guardian Project's Jenkins boxes.  @mvdan and I have been working with h01lger to get that going, here's the latest build log: https://jenkins.debian.net/view/reproducible/job/reproducible_setup_fdroid_build_environment_profitbricks3/lastBuild/console

See merge request !91

make all apt repos in build server use the configured debian mirror

makebuildserver: set debian mirror in config file only

Setting it in the config file was not working, and right now, all of the
options are in the config file and not as command line flags, so remove
--debian-mirror to keep that consistent.

makebuildserver: use jessie32.box from cache, if present

scanner: Allow clojars.org maven repository

See https://github.com/inorichi/tachiyomi/issues/46.

wp-fdroid: Linkify more licenses

Merge branch 'master' into 'master'

Reproducibly build documentation

The two commits fix reproducibility problems detected by the Debian CI:

https://reproducible.debian.net/rb-pkg/unstable/amd64/fdroidserver.html

See merge request !84

Merge branch 'makebuildserver-for-debian-jenkins' into 'master'

Makebuildserver for debian jenkins

@mvdan and I worked out a plan with Holger, the Debian Developer running the reproducible builds jenkins build farm.  The idea is for that to just run `./makebuildserver` in the jenkins script.  Then we'll make sure that it works.  This also makes it easy for anyone to set up and run an FDroid build instance, which is important for things like the verification server and for people to be able to run reproducible builds on their own machine.

This does change some of the defaults, but they can all be overridden in the `makebs.config.py` for f-droid.org.

More comments in the commits.

See merge request !89

makebuildserver: delete cached files with zero size

If download fails to connect, it'll make a zero size file.  Then the next
run on ./makebuildserver will fail because the checksum will not be right.

makebuildserver: cache defaults to ~/.cache/fdroidserver

This also provides a config option to override that default.  ~/.cache is
a standard location on GNU/Linux machines for cached content.  It is also
good to have the cache outside of the git repo in case `git clean -fdx` is
run, which would delete all files in the directory that are not part of the
git repo, including buildserver/cache/

makebuildserver: set defaults in script so it can run without config

This makes it so that ./makebuildserver will run without any config file,
using the defaults that are embedded in the script itself.  This is like
how `fdroid` works.

makebuildserver: set default Debian mirror to http.debian.net

This host automatically detects which is the closest mirror, then uses that
one.  It does so dynamically, so it'll work on machines that move too. Now
that we are pushing more people to run F-Droid build servers, the defaults
should take those use cases into account.

name makebuildserver config the same as the script

This keeps the numbers of names down to a minimum, and since the config
is placed right next to the script, this keeps tab completion working
nicely when the config file is in place.

The old file name is still supported.

run-tests: verbose output for `fdroid update` to aid debugging

I'm stumped by this stacktrace, hopefully debug logging will help:

Unknown exception found!
Traceback (most recent call last):
  File "./fdroidserver-0.4.0/fdroid", line 141, in <module>
    main()
  File "./fdroidserver-0.4.0/fdroid", line 119, in main
    mod.main()
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 1146, in main
    apks, cachechanged = scan_apks(apps, apkcache, repodirs[0], knownapks)
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 543, in scan_apks
    thisinfo['sig'] = getsig(os.path.join(os.getcwd(), apkfile))
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 361, in getsig
    with zipfile.ZipFile(apkpath, 'r') as apk:
  File "/usr/lib/python2.7/zipfile.py", line 770, in __init__
    self._RealGetContents()
  File "/usr/lib/python2.7/zipfile.py", line 857, in _RealGetContents
    x._decodeExtra()
  File "/usr/lib/python2.7/zipfile.py", line 388, in _decodeExtra
    tp, ln = unpack('<HH', extra[:4])
struct.error: unpack requires a string argument of length 4