Merge branch 'fdroid-build-in-git-repo' into 'master'

run `fdroid build` straight out of an app's git repo

This creates a new metadata file type that is meant to be included in the git repo of the app to be built.  It uses the same formats as `metadata/`, e.g. `.txt`, JSON, XML, YAML.  The filename is instead `.fdroid.(json|txt|xml|yml)`.  This metadata then lets the user run `fdroid build` directly in the git repo of the app, and it will run the build as any other fdroid build.

@mvdan @CiaranG @krt @pserwylo @NicoAlt @parmegv feedback, flames, comments wanted

Given the very raw state of testing Android apps with gitlab-ci, I think this is a great opportunity for fdroidserver to become the standard method for testing Android apps with gitlab-ci, starting with this merge request to provide fdroid metadata embedded in the project.  What still needs to added is something like `fdroid builddepends debian` and `fdroid builddepends android` which reads the metadata and dumps out a list to be fed to `apt-get install` and `android update sdk --no-ui --filter` respectively, so that a *.gitlab-ci.yml* can look like:

```
apt-get -y install fdroidserver
apt-get -y install `fdroid builddepends debian`
echo y | android update sdk --no-ui --all --filter `fdroid builddepends android`
fdroid build
```

Then that would become a template *.gitlab-ci.yml* that should work on most Android apps.

This was marked Work-In-Progress because it depends on !57

See merge request !62

standardize on .yml as the file extension for YAML

Though the YAML people recommend .yaml for the file extension, in Android
land it seems clear that .yml has won out:

* .travis.yml
* .gitlab-ci.yml
* .circle.yml
* Ansible main.yml

import app into fdroid directly from git clone

This adds a new method for `fdroid import` that will generate the fdroidserver
metadata based on a local git repo.  This new mode generates the metadata in
the new .fdroid.yaml format in the git repo itself.  It is intended as a quick
way to get starting building apps using the fdroidserver tools.

rename metadata.write_metadata() to match metadata.parse_*_metadata()

This changes the function name to include the format of the metadata file,
and also changes the order of the args to match the parse_*_metadata()
functions.

document new `fdroid build` behavior with .fdroid.* metadata

build: set default config for .fdroid.* metadata

The default config for .fdroid.* metadata that is included in a git repo is
different than for the standard metadata/ layout because the expectations
are different.  In this case, the most common user will be the app
developer working on the latest update of the app on their own machine.

do not require if config.py if using local metadata

Since you can have a .fdroid.* metadata file included directly in an
app's git repo, it seems annoying to force developers to also include
a blank config.py in order to run `fdroid build` from their git repo.

The next step after this is some kind of global config file for
setting paths and things that need to be customized that would apply
to all git repos, for example, to enable using a buildserver.

This also required moving all of the env setting for FDroidPopen into
a single place so that it is properly setup when using the local
metadata.

refactor env handling for FDroidPopen to support .fdroid.* metadata

The start up sequence of processes that are based on the .fdroid.* metadata
is a bit different, so this ensures that the environment variables get
properly initialized in all cases.

This also creates a single function where the environment is set.  Before
it was being set in multiple places across multiple files.

support .fdroid.* metadata file in source root of app being built

This allows app makers to include a .fdroid.(json|xml|yaml|txt) metadata
file in the root of the git repo of their app, then they can build it using
`fdroid build`.  This is useful for developers who want to maintain the
fdroid build recipe themselves, and run the fdroid build process for their
own builds.

Merge branch 'master' into 'master'

Remove extra blank lines in makebuildserver output

These seem to have appeared during the py3 conversion.

See merge request !114

Remove extra blank lines in makebuildserver output

These seem to have appeared during the py3 conversion.

Merge branch 'ci-image' into 'master'

CI: Bump image, now has -dev and gcc

Also, use a specific tag instead of "latest" to avoid breaking old
tags/commits when updating the image.

See merge request !111

CI: Bump image, now has -dev and gcc

Also, use a specific tag instead of "latest" to avoid breaking old
tags/commits when updating the image.

checkupdates: don't ignore repeated tags

If multiple tags point at the same commit, limiting the regex search to
one tag per line would only catch one tag. This broke org.wikipedia's
update check.

Merge branch 'master' into 'master'

py3 fixes for the buildserver

some fixes to get the buildserver working with the new py3 changes.  I'm assigning it to @mvdan since he did most of the py3 stuff, but @CiaranG will probably be the user of these changes.

See merge request !113

update buildserver debian packages for py3

jenkins-build-makebuildserver: com.amaze.filemanager instead of org.xcsoar

org.xcsoar hosts its own git repo.  Self-hosted git repos can be flaky, and
they are blocked by the Guardian Project jenkins server, so use an app from
github.com instead.

jenkins-build-makebuildserver: throw error if app build fails

fix py3 bug when running `fdroid build` with a buildserver

File "/var/lib/jenkins/workspace/fdroidserver-makebuildserver/fdroidserver/build.py", line 1119, in main
    options.onserver, options.refresh):
  File "/var/lib/jenkins/workspace/fdroidserver-makebuildserver/fdroidserver/build.py", line 954, in trybuild
    build_server(app, build, vcs, build_dir, output_dir, force)
  File "/var/lib/jenkins/workspace/fdroidserver-makebuildserver/fdroidserver/build.py", line 403, in build_server
    output += get
TypeError: Can't convert 'bytes' object to str implicitly

closes #164 https://gitlab.com/fdroid/fdroidserver/issues/164

fix stab at a Cygwin port (aaaahh Windows!)

This gets `fdroid init` and `fdroid readmeta` working on Cygwin.

Merge branch 'master' into 'master'

makebuildserver: buildserverid should always be a string

missed one subprocess issue in !110

See merge request !112

Fix python3 checkupdates crashes

Fix another python3 build crash

makebuildserver: buildserverid should always be a string

Merge branch 'master' into 'master'

post-py3 fixes

This is a collection of fixes related to running on py3 on various platforms.

See merge request !110

not all UNIX `echo` commands support -n

FreeBSD and OSX's does not, for example, and the shell should just treat
the '\n' as white space in the command line.

always parse versions as strings, not bytes

Fixes a couple errors like:
  File "./makebuildserver", line 30, in vagrant
    out += line
  TypeError: Can't convert 'bytes' object to str implicitly

If universal_newlines=False, the default, then Popen will return bytes if
the newlines in the data do not match the system's newlines.  Setting it to
true enables auto-conversion, and then guarantees that the data is always
str.

"If universal_newlines is True, the file objects stdin, stdout and stderr
are opened as text streams in universal newlines mode, as described above
in Frequently Used Arguments, otherwise they are opened as binary streams."
https://docs.python.org/3/library/subprocess.html#subprocess.Popen

travis-ci: move python deps to 3

jenkins-build-makebuildserver: make sure fdroiddata is on master

on the GP jenkins, I got this:

+ git pull
From https://gitlab.com/fdroid/fdroiddata
   1df2d03..621ef4f  master     -> origin/master
You are not currently on a branch. Please specify which
branch you want to merge with. See git-pull(1) for details.

    git pull <remote> <branch>

travis-ci osx: make sure build-tools are always installed

It seems that sometimes build-tools packages will not be installed unless
the --all flag is specified.

Fix python2/makebuildserver breakage

Merge branch 'master' into 'master'

makebuildserver: support running VirtualBox in a VM

For debian.jenkins.net, our test environment is a kvm instance that does not expose the hardware virtualization instructions.  So this auto-detects whether the current machine, virtual or not, supports the hardware virtualization.  If not, it uses VirtualBox's software emulator, which should run everywhere, even in a kvm instance.

See merge request !108

Merge branch 'py3' into 'master'

Python 3

I tried to keep commits separate, so if anything causes trouble, it can be reverted or changed easily.

* pre-commit hooks pass
* all tests pass
* My use of `build`, `checkupdates`, `lint`, `import`, `publish` and `update` work as usual
* 2to3 does not report anything useful anymore (only useless parentheses and list() encapsulation of iterators)
* rewritemeta works exactly as usual

CC @eighthave

See merge request !88

Merge branch 'checkupdates-speedup' into 'master'

checkupdates: sort tags by date in one go

This greatly speeds up checkupdates when UCM:Tags is used on git
repositories, especially on ones with lots of tags. The old method ran a
command per tag. The new method runs a single command and doesn't
require any sorting.

Test runs show that `fdroid checkupdates org.adaway` is down from ~13s
to ~10s on my laptop.

See merge request !109

README: It's virtualenv that we want

virtualenv is the Debian package that holds the executables.

CI: Use pip install to grab all deps

metadata: always open metadata files in UTF-8

For some reason, Python uses whatever encoding the system is using via a
locale. Since CI uses an ascii locale, stuff breaks. I can't find a way
to make all of fdroidserver ignore the locale and just use UTF-8, so for
now force it where it's bothering CI.

Fix issue related to creating fdroidvcs file

gitignore: ignore all test-generated tmp dirs

Fix detection of pyflakes3 found in Debian

metadata: slightly speed up post_metadata_parse

Iterating over all the fields and checking which are modified is slower
than just iterating over the modified ones.

metadata: Sorting builds twice is not necessary

Undo utf-8 text wrap workaround

This was added to fix unicode support in Python2. No longer needed in
Python3.

Switch README and docs to indicate python 3

pep8: start obeying E226

We nearly did already anyway.

pep8: Don't ignore rules we already obey

import: switch to python3 urllib

update test: replace decode('hex') with unhexlify

metadata test: load pickle in bytes, not str

Fix python headers in some source files

These were missing the python2 header, so they went under my radar when
doing the switch go python3.

tests: switch to python3

update: fix encoding issues with the xml index

update: get output bytes, not str, from keytool

common: Introduce FDroidPopenBytes

* We can now get the output bytes directly if desired
* FDroidPopen remains with str output
* Ouptut is now buffered efficiently with a BytesIO instead of
  concatenating strings

Replace iterkeys() with keys()

update: replace encode('hex') with hexlify

publish: fix hashing of strings

init: fix writing into file

Replace md5 with hashlib.md5

common: fix str fetching from manifest xml

Port urllib and HTMLParser imports to python3

Replace remaining file() usage

FDroidPopen: return str again

In the future we might want to instead return bytes, but for now the
easiest for the port to python3 is to continue to return str.

Replace itervalues() with values()

Port to python3's configparser

lint: remove sets usage

common: update base64 encoding of bytes

Port all imports to python3

update: replace ord() with bytearray

Make pre-commit hook pass after python3 switch

Run 2to3 on makebuildserver

Mostly just print conversion.

pre-commit: port to python3

Remove import workarounds for Python2

Remove code that worked around python2 unicode

Get readmeta and rewritemeta running under python3

Replace basestring with str

Replace iteritems() with items()

Replace execfile with open+compile+exec

Switch to io.StringIO

Fix imports in Python 3

Since common and metadata import each other, we must import via
"fdroidserver.*".

Switch all headers to python3

makebuildserver: use VB software virt if hardware is not available

This checks the local CPU settings to see if it has the right virtualizing
CPU instructions, and only uses VirtualBox hardware virtualization on
setups where it is available.  VMs instances usually do not provide these
instructions.  Where the CPU features are not available, it will use VB's
software virtualization.

corrected word order in release alias

Merge branch 'jenkins-makebs' into 'master'

Jenkins makebs improvements

See merge request !105

jenkins: build a variety of apps

jenkins: only build one version per app

Use a specific vercode instead of --latest since we want this to be as
stable as possible.

jenkins: update fdroiddata if existing

Also, when cloning, no need to specify the branch and only download that
one. We already have only a single branch. And forcing master isn't
necessary.

checkupdates: sort tags by date in one go

This greatly speeds up checkupdates when UCM:Tags is used on git
repositories, especially on ones with lots of tags. The old method ran a
command per tag. The new method runs a single command and doesn't
require any sorting.

Test runs show that `fdroid checkupdates org.adaway` is down from ~13s
to ~10s on my laptop.

build: don't remove wrapper dir gradle/

The point of removing these was to make sure that gradlew wasn't used,
and that our gradle was used instead. Removing the scripts already
accomplishes this.

Removing gradle/ should be harmless, but some apps like I2P re-use this
directory to also hold other stuff that is actually needed. So be safer
and don't remove it at all.

lint: Also warn about gitlab links missing /issues

README: Use new CI badge url

Merge branch 'import' into 'master'

import: Fix usage of .git suffix for gitlab urls

See merge request !107

import: use .git suffix only for repo-url

README: Fix CI badge

The old /ci link no longer works. Use the builds page instead.

CI: Install missing gcc and python-dev packages

lint: error on `fdroid import` disable line

CI: No longer needed to install any deps

All the deps come installed in the image now. This saves up a little
time (especially the apt-get update) and makes the CI script much
simpler.

CI: Use our own image

Merge branch 'p1' into 'master'

Fix pubkey extraction on update

Replacement of !86.

Fix pubkey extraction in case of non-empty _JAVA_OPTIONS. Fixes #133.

I didn't actually run the test suite (it looks like there are some preparations to be done for that), but I checked the commands from `test_fdroid_popen_stderr_redirect` in ipython.

See merge request !103

Merge branch 'faster-ci' into 'master'

CI: Install Android SDK only if necessary

See merge request !106