Merge branch 'py3' into 'master'

Python 3

I tried to keep commits separate, so if anything causes trouble, it can be reverted or changed easily.

* pre-commit hooks pass
* all tests pass
* My use of `build`, `checkupdates`, `lint`, `import`, `publish` and `update` work as usual
* 2to3 does not report anything useful anymore (only useless parentheses and list() encapsulation of iterators)
* rewritemeta works exactly as usual

CC @eighthave

See merge request !88

Merge branch 'checkupdates-speedup' into 'master'

checkupdates: sort tags by date in one go

This greatly speeds up checkupdates when UCM:Tags is used on git
repositories, especially on ones with lots of tags. The old method ran a
command per tag. The new method runs a single command and doesn't
require any sorting.

Test runs show that `fdroid checkupdates org.adaway` is down from ~13s
to ~10s on my laptop.

See merge request !109

README: It's virtualenv that we want

virtualenv is the Debian package that holds the executables.

CI: Use pip install to grab all deps

metadata: always open metadata files in UTF-8

For some reason, Python uses whatever encoding the system is using via a
locale. Since CI uses an ascii locale, stuff breaks. I can't find a way
to make all of fdroidserver ignore the locale and just use UTF-8, so for
now force it where it's bothering CI.

Fix issue related to creating fdroidvcs file

gitignore: ignore all test-generated tmp dirs

Fix detection of pyflakes3 found in Debian

metadata: slightly speed up post_metadata_parse

Iterating over all the fields and checking which are modified is slower
than just iterating over the modified ones.

metadata: Sorting builds twice is not necessary

Undo utf-8 text wrap workaround

This was added to fix unicode support in Python2. No longer needed in
Python3.

Switch README and docs to indicate python 3

pep8: start obeying E226

We nearly did already anyway.

pep8: Don't ignore rules we already obey

import: switch to python3 urllib

update test: replace decode('hex') with unhexlify

metadata test: load pickle in bytes, not str

Fix python headers in some source files

These were missing the python2 header, so they went under my radar when
doing the switch go python3.

tests: switch to python3

update: fix encoding issues with the xml index

update: get output bytes, not str, from keytool

common: Introduce FDroidPopenBytes

* We can now get the output bytes directly if desired
* FDroidPopen remains with str output
* Ouptut is now buffered efficiently with a BytesIO instead of
  concatenating strings

Replace iterkeys() with keys()

update: replace encode('hex') with hexlify

publish: fix hashing of strings

init: fix writing into file

Replace md5 with hashlib.md5

common: fix str fetching from manifest xml

Port urllib and HTMLParser imports to python3

Replace remaining file() usage

FDroidPopen: return str again

In the future we might want to instead return bytes, but for now the
easiest for the port to python3 is to continue to return str.

Replace itervalues() with values()

Port to python3's configparser

lint: remove sets usage

common: update base64 encoding of bytes

Port all imports to python3

update: replace ord() with bytearray

Make pre-commit hook pass after python3 switch

Run 2to3 on makebuildserver

Mostly just print conversion.

pre-commit: port to python3

Remove import workarounds for Python2

Remove code that worked around python2 unicode

Get readmeta and rewritemeta running under python3

Replace basestring with str

Replace iteritems() with items()

Replace execfile with open+compile+exec

Switch to io.StringIO

Fix imports in Python 3

Since common and metadata import each other, we must import via
"fdroidserver.*".

Switch all headers to python3

Merge branch 'jenkins-makebs' into 'master'

Jenkins makebs improvements

See merge request !105

jenkins: build a variety of apps

jenkins: only build one version per app

Use a specific vercode instead of --latest since we want this to be as
stable as possible.

jenkins: update fdroiddata if existing

Also, when cloning, no need to specify the branch and only download that
one. We already have only a single branch. And forcing master isn't
necessary.

checkupdates: sort tags by date in one go

This greatly speeds up checkupdates when UCM:Tags is used on git
repositories, especially on ones with lots of tags. The old method ran a
command per tag. The new method runs a single command and doesn't
require any sorting.

Test runs show that `fdroid checkupdates org.adaway` is down from ~13s
to ~10s on my laptop.

build: don't remove wrapper dir gradle/

The point of removing these was to make sure that gradlew wasn't used,
and that our gradle was used instead. Removing the scripts already
accomplishes this.

Removing gradle/ should be harmless, but some apps like I2P re-use this
directory to also hold other stuff that is actually needed. So be safer
and don't remove it at all.

lint: Also warn about gitlab links missing /issues

README: Use new CI badge url

Merge branch 'import' into 'master'

import: Fix usage of .git suffix for gitlab urls

See merge request !107

import: use .git suffix only for repo-url

README: Fix CI badge

The old /ci link no longer works. Use the builds page instead.

CI: Install missing gcc and python-dev packages

lint: error on `fdroid import` disable line

CI: No longer needed to install any deps

All the deps come installed in the image now. This saves up a little
time (especially the apt-get update) and makes the CI script much
simpler.

CI: Use our own image

Merge branch 'p1' into 'master'

Fix pubkey extraction on update

Replacement of !86.

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS. Fixes #133.

I didn't actually run the test suite (it looks like there are some preparations to be done for that), but I checked the commands from `test_fdroid_popen_stderr_redirect` in ipython.

See merge request !103

Merge branch 'faster-ci' into 'master'

CI: Install Android SDK only if necessary

See merge request !106

CI: Install Android SDK only if necessary

common: make jdk detection more strict

We weren't using ^ and $, so stuff like java-8-openjdk-i386 would match
both the Arch and the Debian regexes. A list with one regex per line in
the same format is also easier to read and maintain.

This might be why java8 isn't being detected properly on our Debian
stable buildserver.

config.buildserver.py: use new java_paths keys

build: don't error on .fdroid* files in fdroiddata

This avoids the following incorrect error:

fdroidserver.common.FDroidException: Only one local metadata file allowed! Found: .fdroid.keystorepass.txt .fdroid.keypass.txt

Merge branch 'scanner-repos' into 'master'

Allow commonsware and gradle plugin repos

This is in a MR because I'm uneasy about adding a semi-random AWS url to the list. But seems like the commonsware guy only publishes jars there, which doesn't make any sense to me.

Any idea @eighthave?

See merge request !102

docs: add missing maven repos

Merge branch 'p2' into 'master'

Fix update crash in case of unset dates in APK; add an option to use APK's entry date

I encountered an error when I tried to add [TrackID APK](https://play.google.com/store/apps/details?id=com.sonyericsson.trackid) (files in the APK don't have dates set): as far as I can remember `datetime(*manifest.date_time)` was raising `ValueError`.

Also add an option to use date from APK as this APK's entry date (may be useful in case of a simple binary repo): `fdroid update --use-date-from-apk`.

I should have split this commit, but I hope this would be OK too.

See merge request !104

Add '--use-date-from-apk' option to bash-completion

Add an option to use dates from APK

Fix update crash in case of unset dates in APK

setup.py: fix missing comma in classifiers

`python setup.py release` alias for making official releases

Bump to 0.6.0

Add FDroidPopen usage test

Fix pubkey extraction on update

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS

Change can't update category name - closes #80

Allow commonsware and gradle plugin repos

Merge branch 'debian-import-freeze' into 'master'

Debian import freeze

These are the issues as discussed in today's meeting.  More in the commit messages, and mostly, in the related issues.

See merge request !101

make "Current Version Code" default to most recent APK

closes #36 https://gitlab.com/fdroid/fdroidserver/issues/36

added 'mirrors' option to config for giving official mirror URLs

serverwebroot has long supported uploading to multiple servers, this bit of
metadata communicates those official mirrors to the client so that it can
automatically do something useful with that information.

closes #14 https://gitlab.com/fdroid/fdroidserver/issues/14

use utf-8 as default encoding for config.py

This makes it easy to add all languages to the description.

Merge branch 'full-bsd-osx-port' into 'master'

Full BSD/OSX port

This finishes up the OSX port by getting the full test suite running on OSX.  It also sets up an OSX CI job travis-ci.org, run as part of the github mirror here: https://github.com/f-droid/fdroidserver  You can see those CI builds here: https://travis-ci.org/f-droid/fdroidserver

This should translate entirely to *BSD since OSX's user land is merged with FreeBSD.

See merge request !100

travis-ci: make pip install deps based on setup.py

PEP8 fix E225 missing whitespace around operator

travis-ci: run test suite on OSX and GNU/Linux

init: check if examples/ exists in layout before using the path

There is definitely some odd stuff that happens in all these paths, so
let's just check that examples/ exists, and move on from there.

pre-commit: make pyflakes optional to support older platforms

Travis-CI defaults to Ubuntu/precise, which has a very old version of
pyflakes that throws false positives.

support BSD and GNU sed in tests

run-tests: use OSX/BSD compatible `mktemp -d`

-d requires an arg on BSD

only test ./gendocs on GNU/Linux

This helps with getting the tests running on OSX and other platforms.

complete-ci-tests: exit with error if setup is not correct

Forgot to remove the output= debug prints

pre-commit: fix multiple file issue

When using -z, you should always quote. If not, stuff like this happens:

.git/hooks/pre-commit: line 10: [: too many arguments

output= is now a glob path and can do gradle