gitignore: ignore all test-generated tmp dirs

Fix detection of pyflakes3 found in Debian

metadata: slightly speed up post_metadata_parse

Iterating over all the fields and checking which are modified is slower
than just iterating over the modified ones.

metadata: Sorting builds twice is not necessary

Undo utf-8 text wrap workaround

This was added to fix unicode support in Python2. No longer needed in
Python3.

Switch README and docs to indicate python 3

pep8: start obeying E226

We nearly did already anyway.

pep8: Don't ignore rules we already obey

import: switch to python3 urllib

update test: replace decode('hex') with unhexlify

metadata test: load pickle in bytes, not str

Fix python headers in some source files

These were missing the python2 header, so they went under my radar when
doing the switch go python3.

tests: switch to python3

update: fix encoding issues with the xml index

update: get output bytes, not str, from keytool

common: Introduce FDroidPopenBytes

* We can now get the output bytes directly if desired
* FDroidPopen remains with str output
* Ouptut is now buffered efficiently with a BytesIO instead of
  concatenating strings

Replace iterkeys() with keys()

update: replace encode('hex') with hexlify

publish: fix hashing of strings

init: fix writing into file

Replace md5 with hashlib.md5

common: fix str fetching from manifest xml

Port urllib and HTMLParser imports to python3

Replace remaining file() usage

FDroidPopen: return str again

In the future we might want to instead return bytes, but for now the
easiest for the port to python3 is to continue to return str.

Replace itervalues() with values()

Port to python3's configparser

lint: remove sets usage

common: update base64 encoding of bytes

Port all imports to python3

update: replace ord() with bytearray

Make pre-commit hook pass after python3 switch

Run 2to3 on makebuildserver

Mostly just print conversion.

pre-commit: port to python3

Remove import workarounds for Python2

Remove code that worked around python2 unicode

Get readmeta and rewritemeta running under python3

Replace basestring with str

Replace iteritems() with items()

Replace execfile with open+compile+exec

Switch to io.StringIO

Fix imports in Python 3

Since common and metadata import each other, we must import via
"fdroidserver.*".

Switch all headers to python3

Merge branch 'jenkins-makebs' into 'master'

Jenkins makebs improvements

See merge request !105

jenkins: build a variety of apps

jenkins: only build one version per app

Use a specific vercode instead of --latest since we want this to be as
stable as possible.

jenkins: update fdroiddata if existing

Also, when cloning, no need to specify the branch and only download that
one. We already have only a single branch. And forcing master isn't
necessary.

build: don't remove wrapper dir gradle/

The point of removing these was to make sure that gradlew wasn't used,
and that our gradle was used instead. Removing the scripts already
accomplishes this.

Removing gradle/ should be harmless, but some apps like I2P re-use this
directory to also hold other stuff that is actually needed. So be safer
and don't remove it at all.

lint: Also warn about gitlab links missing /issues

README: Use new CI badge url

Merge branch 'import' into 'master'

import: Fix usage of .git suffix for gitlab urls

See merge request !107

import: use .git suffix only for repo-url

README: Fix CI badge

The old /ci link no longer works. Use the builds page instead.

CI: Install missing gcc and python-dev packages

lint: error on `fdroid import` disable line

CI: No longer needed to install any deps

All the deps come installed in the image now. This saves up a little
time (especially the apt-get update) and makes the CI script much
simpler.

CI: Use our own image

Merge branch 'p1' into 'master'

Fix pubkey extraction on update

Replacement of !86.

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS. Fixes #133.

I didn't actually run the test suite (it looks like there are some preparations to be done for that), but I checked the commands from `test_fdroid_popen_stderr_redirect` in ipython.

See merge request !103

Merge branch 'faster-ci' into 'master'

CI: Install Android SDK only if necessary

See merge request !106

CI: Install Android SDK only if necessary

common: make jdk detection more strict

We weren't using ^ and $, so stuff like java-8-openjdk-i386 would match
both the Arch and the Debian regexes. A list with one regex per line in
the same format is also easier to read and maintain.

This might be why java8 isn't being detected properly on our Debian
stable buildserver.

config.buildserver.py: use new java_paths keys

build: don't error on .fdroid* files in fdroiddata

This avoids the following incorrect error:

fdroidserver.common.FDroidException: Only one local metadata file allowed! Found: .fdroid.keystorepass.txt .fdroid.keypass.txt

Merge branch 'scanner-repos' into 'master'

Allow commonsware and gradle plugin repos

This is in a MR because I'm uneasy about adding a semi-random AWS url to the list. But seems like the commonsware guy only publishes jars there, which doesn't make any sense to me.

Any idea @eighthave?

See merge request !102

docs: add missing maven repos

Merge branch 'p2' into 'master'

Fix update crash in case of unset dates in APK; add an option to use APK's entry date

I encountered an error when I tried to add [TrackID APK](https://play.google.com/store/apps/details?id=com.sonyericsson.trackid) (files in the APK don't have dates set): as far as I can remember `datetime(*manifest.date_time)` was raising `ValueError`.

Also add an option to use date from APK as this APK's entry date (may be useful in case of a simple binary repo): `fdroid update --use-date-from-apk`.

I should have split this commit, but I hope this would be OK too.

See merge request !104

Add '--use-date-from-apk' option to bash-completion

Add an option to use dates from APK

Fix update crash in case of unset dates in APK

setup.py: fix missing comma in classifiers

`python setup.py release` alias for making official releases

Bump to 0.6.0

Add FDroidPopen usage test

Fix pubkey extraction on update

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS

Change can't update category name - closes #80

Allow commonsware and gradle plugin repos

Merge branch 'debian-import-freeze' into 'master'

Debian import freeze

These are the issues as discussed in today's meeting.  More in the commit messages, and mostly, in the related issues.

See merge request !101

make "Current Version Code" default to most recent APK

closes #36 https://gitlab.com/fdroid/fdroidserver/issues/36

added 'mirrors' option to config for giving official mirror URLs

serverwebroot has long supported uploading to multiple servers, this bit of
metadata communicates those official mirrors to the client so that it can
automatically do something useful with that information.

closes #14 https://gitlab.com/fdroid/fdroidserver/issues/14

use utf-8 as default encoding for config.py

This makes it easy to add all languages to the description.

Merge branch 'full-bsd-osx-port' into 'master'

Full BSD/OSX port

This finishes up the OSX port by getting the full test suite running on OSX.  It also sets up an OSX CI job travis-ci.org, run as part of the github mirror here: https://github.com/f-droid/fdroidserver  You can see those CI builds here: https://travis-ci.org/f-droid/fdroidserver

This should translate entirely to *BSD since OSX's user land is merged with FreeBSD.

See merge request !100

travis-ci: make pip install deps based on setup.py

PEP8 fix E225 missing whitespace around operator

travis-ci: run test suite on OSX and GNU/Linux

init: check if examples/ exists in layout before using the path

There is definitely some odd stuff that happens in all these paths, so
let's just check that examples/ exists, and move on from there.

pre-commit: make pyflakes optional to support older platforms

Travis-CI defaults to Ubuntu/precise, which has a very old version of
pyflakes that throws false positives.

support BSD and GNU sed in tests

run-tests: use OSX/BSD compatible `mktemp -d`

-d requires an arg on BSD

only test ./gendocs on GNU/Linux

This helps with getting the tests running on OSX and other platforms.

complete-ci-tests: exit with error if setup is not correct

Forgot to remove the output= debug prints

pre-commit: fix multiple file issue

When using -z, you should always quote. If not, stuff like this happens:

.git/hooks/pre-commit: line 10: [: too many arguments

output= is now a glob path and can do gradle

Add gradle 2.11

gradle wrapper script: add plugin 1.5

Merge branch 'master' into 'master'

a couple fixes

these are three fixes, one related to my previous merge request, as discussed with @mvdan in IRC

See merge request !99

fix PEP9 E713 test for membership should be 'not in'

fix errors in pre-commit hook when run in test suite

build: check that metadata is present before creating tmp dirs

Before, `fdroid build` would create some subdirs, then fail when it could
not read the metadata via metadata.read_metadata().  This checks before
whether there is any metadata available, and warns the user accordingly.

common: do not crash if the java_paths are not what is expected

Many commands work without the JDK installed, and it is also possible that
someone is using only JDK 8 or 9.