Port to python3's configparser

lint: remove sets usage

common: update base64 encoding of bytes

Port all imports to python3

update: replace ord() with bytearray

Make pre-commit hook pass after python3 switch

Run 2to3 on makebuildserver

Mostly just print conversion.

pre-commit: port to python3

Remove import workarounds for Python2

Remove code that worked around python2 unicode

Get readmeta and rewritemeta running under python3

Replace basestring with str

Replace iteritems() with items()

Replace execfile with open+compile+exec

Switch to io.StringIO

Fix imports in Python 3

Since common and metadata import each other, we must import via
"fdroidserver.*".

Switch all headers to python3

Merge branch 'jenkins-makebs' into 'master'

Jenkins makebs improvements

See merge request !105

jenkins: build a variety of apps

jenkins: only build one version per app

Use a specific vercode instead of --latest since we want this to be as
stable as possible.

jenkins: update fdroiddata if existing

Also, when cloning, no need to specify the branch and only download that
one. We already have only a single branch. And forcing master isn't
necessary.

build: don't remove wrapper dir gradle/

The point of removing these was to make sure that gradlew wasn't used,
and that our gradle was used instead. Removing the scripts already
accomplishes this.

Removing gradle/ should be harmless, but some apps like I2P re-use this
directory to also hold other stuff that is actually needed. So be safer
and don't remove it at all.

lint: Also warn about gitlab links missing /issues

README: Use new CI badge url

Merge branch 'import' into 'master'

import: Fix usage of .git suffix for gitlab urls

See merge request !107

import: use .git suffix only for repo-url

README: Fix CI badge

The old /ci link no longer works. Use the builds page instead.

CI: Install missing gcc and python-dev packages

lint: error on `fdroid import` disable line

CI: No longer needed to install any deps

All the deps come installed in the image now. This saves up a little
time (especially the apt-get update) and makes the CI script much
simpler.

CI: Use our own image

Merge branch 'p1' into 'master'

Fix pubkey extraction on update

Replacement of !86.

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS. Fixes #133.

I didn't actually run the test suite (it looks like there are some preparations to be done for that), but I checked the commands from `test_fdroid_popen_stderr_redirect` in ipython.

See merge request !103

Merge branch 'faster-ci' into 'master'

CI: Install Android SDK only if necessary

See merge request !106

CI: Install Android SDK only if necessary

common: make jdk detection more strict

We weren't using ^ and $, so stuff like java-8-openjdk-i386 would match
both the Arch and the Debian regexes. A list with one regex per line in
the same format is also easier to read and maintain.

This might be why java8 isn't being detected properly on our Debian
stable buildserver.

config.buildserver.py: use new java_paths keys

build: don't error on .fdroid* files in fdroiddata

This avoids the following incorrect error:

fdroidserver.common.FDroidException: Only one local metadata file allowed! Found: .fdroid.keystorepass.txt .fdroid.keypass.txt

Merge branch 'scanner-repos' into 'master'

Allow commonsware and gradle plugin repos

This is in a MR because I'm uneasy about adding a semi-random AWS url to the list. But seems like the commonsware guy only publishes jars there, which doesn't make any sense to me.

Any idea @eighthave?

See merge request !102

docs: add missing maven repos

Merge branch 'p2' into 'master'

Fix update crash in case of unset dates in APK; add an option to use APK's entry date

I encountered an error when I tried to add [TrackID APK](https://play.google.com/store/apps/details?id=com.sonyericsson.trackid) (files in the APK don't have dates set): as far as I can remember `datetime(*manifest.date_time)` was raising `ValueError`.

Also add an option to use date from APK as this APK's entry date (may be useful in case of a simple binary repo): `fdroid update --use-date-from-apk`.

I should have split this commit, but I hope this would be OK too.

See merge request !104

Add '--use-date-from-apk' option to bash-completion

Add an option to use dates from APK

Fix update crash in case of unset dates in APK

setup.py: fix missing comma in classifiers

`python setup.py release` alias for making official releases

Bump to 0.6.0

Add FDroidPopen usage test

Fix pubkey extraction on update

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS

Change can't update category name - closes #80

Allow commonsware and gradle plugin repos

Merge branch 'debian-import-freeze' into 'master'

Debian import freeze

These are the issues as discussed in today's meeting.  More in the commit messages, and mostly, in the related issues.

See merge request !101

make "Current Version Code" default to most recent APK

closes #36 https://gitlab.com/fdroid/fdroidserver/issues/36

added 'mirrors' option to config for giving official mirror URLs

serverwebroot has long supported uploading to multiple servers, this bit of
metadata communicates those official mirrors to the client so that it can
automatically do something useful with that information.

closes #14 https://gitlab.com/fdroid/fdroidserver/issues/14

use utf-8 as default encoding for config.py

This makes it easy to add all languages to the description.

Merge branch 'full-bsd-osx-port' into 'master'

Full BSD/OSX port

This finishes up the OSX port by getting the full test suite running on OSX.  It also sets up an OSX CI job travis-ci.org, run as part of the github mirror here: https://github.com/f-droid/fdroidserver  You can see those CI builds here: https://travis-ci.org/f-droid/fdroidserver

This should translate entirely to *BSD since OSX's user land is merged with FreeBSD.

See merge request !100

travis-ci: make pip install deps based on setup.py

PEP8 fix E225 missing whitespace around operator

travis-ci: run test suite on OSX and GNU/Linux

init: check if examples/ exists in layout before using the path

There is definitely some odd stuff that happens in all these paths, so
let's just check that examples/ exists, and move on from there.

pre-commit: make pyflakes optional to support older platforms

Travis-CI defaults to Ubuntu/precise, which has a very old version of
pyflakes that throws false positives.

support BSD and GNU sed in tests

run-tests: use OSX/BSD compatible `mktemp -d`

-d requires an arg on BSD

only test ./gendocs on GNU/Linux

This helps with getting the tests running on OSX and other platforms.

complete-ci-tests: exit with error if setup is not correct

Forgot to remove the output= debug prints

pre-commit: fix multiple file issue

When using -z, you should always quote. If not, stuff like this happens:

.git/hooks/pre-commit: line 10: [: too many arguments

output= is now a glob path and can do gradle

Add gradle 2.11

gradle wrapper script: add plugin 1.5

Merge branch 'master' into 'master'

a couple fixes

these are three fixes, one related to my previous merge request, as discussed with @mvdan in IRC

See merge request !99

fix PEP9 E713 test for membership should be 'not in'

fix errors in pre-commit hook when run in test suite

build: check that metadata is present before creating tmp dirs

Before, `fdroid build` would create some subdirs, then fail when it could
not read the metadata via metadata.read_metadata().  This checks before
whether there is any metadata available, and warns the user accordingly.

common: do not crash if the java_paths are not what is expected

Many commands work without the JDK installed, and it is also possible that
someone is using only JDK 8 or 9.

common: add regexp for arch oracle paths

common: fix JDK detection on latest arch

Merge branch 'auto-detect-java-homes' into 'master'

Auto detect java homes

There are a wide variety of possible JDKs (OpenJDK, Oracle, OSX, etc.) as well as standard paths for the JDK.  This includes code to look in standard paths for various platforms and enumerate the installed JDKs (e.g. 6, 7, 8, 9).  That is then used for `JAVA[6-9]_HOME` env vars and the path for `jarsigner` and `keytool`.

See merge request !98

use jarsigner and keytool from same JDK as is being set in JAVA7_HOME

Using the same JDK throughout should prevent weird bugs where a setup might
use Java8's jarsigner and Java7's keytool.  This also allows the user to
set java_paths and have jarsigner and keytool used from that specified JDK.

This incorporates almost all of the patch that is in the Debian package
that forces fdroidserver to use the default JDK on that Debian release.

closes #93 https://gitlab.com/fdroid/fdroidserver/issues/93

automatically detect various installed JDKs and set JAVA[6-9]_HOME

This checks for which JDKs are installed in common locations, then sets the
JAVA[6-9]_HOME env vars needed by some build environments.

makebuildserver: add workaround to Ubuntu/trusty's old paramiko

Ubuntu trusty 14.04's paramiko does not work with jessie's openssh's
default settings, so they need to be tweaked in order to provide working
ssh to the instance.

https://stackoverflow.com/questions/7286929/paramiko-incompatible-ssh-peer-no-acceptable-kex-algorithm/32691055#32691055

Merge branch 'jmastr/use_tag_if_version_name_is_unknown' into 'master'

use tag if version name is unknown

If we don't find the version name neither in the AndroidManifest.xml nor
in the build.grade file, we fallback to the tag the user specified to
search for.

That way we have a better version name than 'Unknown'.

See merge request !97

use tag if version name is unknown

If we don't find the version name neither in the AndroidManifest.xml nor
in the build.grade file, we fallback to the tag the user specified to
search for.

That way we have a better version name than 'Unknown'.

Merge branch 'prevo' into 'master'

Add libexpat1-dev and libglib2.0-dev to the default recipe

These are needed to build the PrevoDB srcdep of
uk.co.busydoingnothing.prevo.

See merge request !96

Add libexpat1-dev and libglib2.0-dev to the default recipe

These are needed to build the PrevoDB srcdep of
uk.co.busydoingnothing.prevo.

Merge branch 'jenkins-makebuildserver-works' into 'master'

Jenkins ./makebuildserver works!

These commits get `./makebuildserver` running in a Jenkins job. It builds the whole setup from scratch every time, including the vagrant and virtualbox setups.

Also, this modifies the git pre-commit hook to only run on the files being committed when called by git.

See merge request !95

test ./makebuildserver by running a build in jenkins

script to run ./makebuildserver on Jenkins instances

This is being used to run it on both Guardian Project's and Debian's
Jenkins instances.

makebuildserver: default memory to 1024MB, so it runs on normal machines

4 gigs is still a common amount of RAM these days for laptops, if the VM
takes almost all of that, it makes the machine drag to almost a halt. Most
apps build fine in 1gig of RAM, indeed that's the default for most CI
instances, like travis-ci and gitlab-ci.

allow setting up an apt package cache for the build server setup

This creates a cache folder which will store the apt cache from the VM.

makebuildserver: make chef find the custom cache locations

make git pre-commit hook only test files to be committed

Right now, the git pre-commit hook is pretty annoying to work with when
development since it tests every single file.  That means notes, incomplete
stuff, etc. will be run through the tests.  So all of the files need to be
clean in order to commit even a single trivial fix.  This commit changes it
so that the pre-commit hook is only run on the files staged to be committed.

lint: also check for trailing spaces in names

I was wrong - we don't check for trailing whitespaces on lines. That
would have to happen at parse time, not in the linter, so it would slow
things down and would become an error, not a warning. Not really worth
it.

Merge branch 'authorregex' into 'master'

lint: check whitespaces in "Author Name"

See merge request !94

lint: check whitespaces in "Author Name"

Merge branch 'licenses' into 'master'

wp-fdroid: Linkify more licenses

See merge request !90

Merge branch 'patch-1' into 'master'

Support 'gpgkey' option as announced in sample config.

See merge request !93

Support 'gpgkey' option as announced in sample config.

Tidy up/fix some vagrant issues

1. It is packaged in modern versions of distros, update docs accordingly
2. 1.1 is hopelessly outdated - support 1.4 onwards
3. Check the version properly, and write a better config (previously it
   wrote the 1.1 config for 1.1 and 1.3+
4. Ensure that the default share from later versions is not present when
   building, it's only required for provisioning.

Handle with invalid manifests better

In other words, don't blow up and kill a whole checkupdates run just
because one version of one package has some invalid xml.

Merge branch 'makebuildserver-jenkins-fixes' into 'master'

Makebuildserver jenkins fixes

more stuff related to the Debian jenkins build

See merge request !92