support app metadata in YAML format

YAML is a format that is quite similar to the .txt format, but is a
widespread standard that has editing modes in popular editors.  It is also
easily parsable in python.

The .pickle for testing is a lightly edited version of the real metadata
for org.videolan.vlc:

 * comments were removed

set appid in get_default_app_info_list()

consolidate all post-parse metadata checks

This puts all of the needed post parsing checks on the metadata into a
single method that is used by all parsing methods (.txt, JSON, XML, YAML).
This provides the single place to normalize the internal representation of
the metadata.

It would be good to also change the internal representation to use more Python
bool/int types so that less post parsing is needed for JSON, XML, and YAML.

The SMSSecure test .pickle was changed to account for the use of lstrip()
and rstrip() on all 'script' types.

This also changes the example JSON to use ints for versionCodes

eliminate Boolean metadata type, only 'bool' is needed

No need for a specific metadata type for 'Requires Root'.  Just use 'bool',
then convert on output.  This keeps the internal representation consistent
since all boolean-ish values will be Python bools.  This in turn makes
parsing metadata in various formats easier.  This also makes setting
booleans more tolerant since all these values are valid:

 Yes yes No no True true False false

support app metadata in XML format

While the current text metadata format is good for human readability and
editability, it is difficult to produce and parse using code.  XML is a
widespread standard format for easy automatic parsing and creating, while
having decent human readability.

The .pickle for testing is a lightly edited version of the real metadata
for net.osmand.plus:

* comments were removed
* "NonFreeNet" was added as an AntiFeature

convert internal representation of AntiFeatures to list

The AntiFeatures metadata is a comma-separated list of tags, like
Categories, so it should also be stored internally as a list.  This makes
parsing XML and JSON easier.

The test cases' .pickle files look like they change a lot, but they really
don't, its only the change of default AntiFeatures value from None to []

metadata: store comments in lists since lists are used everywhere else

The only data produced by parsing metadata that was stored as a tuple was
the comments' key/values.  Everywhere else, lists are used.  This changes
the comments to also only use lists to keep the data consistent internally.
That makes it vastly easier to produce the exact same metadata dict when
parsing .txt, JSON, XML, etc.

add test case for JSON parsing, based on parsed .txt metadata

The .pickle was created by dumping the output from parsing the current .txt
metadata for org.adaway.  The JSON started from that pickle dump, but was
then hand edited to be more proper JSON, e.g. using boolean values.

in JSON metadata, convert unicode to str to match the internal format

fdroidserver currently uses plain python 2.x strings rather than unicode
strings, so the parsed JSON should produce the same format as the parsed
.txt metadata.

add test for metadata parsing based on a parse output to a pickle

This is a test to cover future modifications of the .txt metadata parsing.
The pickle file was generated by just dumping the current parsed metadata,
so this test will always succeed if the parsing is not changed.

move metadata post-parse processing to reusable function

add test files to pre-commit hook and fix pep8 errors

support app metadata in JSON format

While the current text metadata format is good for human readability and
editability, it is difficult to produce and parse using code.  JSON is a
widespread standard format for easy automatic parsing and creating, while
having decent human readability.

use common method to set up defaults in metadata dict

This is needed for the upcoming metadata formats: JSON, XML, etc.

metadata: rename parse_metadata() to parse_txt_metadata()

This makes the code clear as support for other metadata formats is added.

Move requests code out of common.py, closes #114

lint: fixed list false positives, no need for utf

lint: warn about duplicate lines

lint: catch more incorrect lists

lint: stop accepting Office as valid category

lint: accept new category Sports & Health

Follow-up to 5a0129d8: also replace file mentions

lint: accept all new categories

lint: new category

lint: Wallpaper is now called Theming

lint: remove Children as valid category

Move scan_source into scanner.py

Not really a common.py thing.

lint: complain about unwrapped descriptions

Simplify some file logic with "with"

stats: better exit message

stats: write known apks in natural order

By using natural instead of alphabetical sorting, we support sorting by
vercodes properly and thus app versions show in the correct order.

Simlify known_apks writing

GitLab CI: Java is required to set up the SDK

Gitlab CI: install SDK

Gitlab CI: run tests too

Add missing -v and -q to readmeta

lint: better footer output logic

lint: warn about unlinkified links

metadata: error on url titles that aren't

lint: complain if link url isn't a url

Moving this check from metadata into lint is perhaps overkill, but at least it
doesn't break fdroid update because of the maintainer notes.

Revert "metadata: complain if link url isn't a url"

I already tried this once. It had to be reverted because Maintainer Notes
often don't obey this. I had forgotten.

This reverts commit 97ba94903e8896ed9c3b2c8980d218141a5fbdb0.

lint: format descriptions too

Like readmeta. This makes it error if any links are badly formatted or wrong.

metadata: complain if link url isn't a url

Merge branch 'native' into 'master'

wp-fdroid: Don't imply 32bit code does not work on 64bit systems

Maybe someone could also check if the client lists app with 32bit code as incompatible with 64bit systems, even if they can run it (arm->arm64, i386->x64, mips->mips64 etc.).

Ref: https://f-droid.org/forums/topic/accordion-and-melodeon-2/

See merge request !68

wp-fdroid: Don't imply 32bit code does not work on 64bit systems

metadata: fix harmless typo

Add build status badge, closes #99

Gitlab CI: Rename static analyzers task to "check"

First try at Gitlab CI integration

Merge branch 'per-app-repos' into 'master'

config option to enable per-app repos for nightly builds

For Guardian Project, we've been running an fdroid repo for the nightly builds for each of our apps: https://dev.guardianproject.info/debug  This is built using a big, hacked up shell script: [update-debug-fdroid-repo](https://github.com/guardianproject/fdroid-repo-tools/blob/master/update-debug-fdroid-repo).  It has proven very useful to us to be able to subscribe to the nightly build for a single app, so this the first step of porting that horrid shell script to `fdroidserver`.

This also helps make the fdroidserver tool suite the single set of tools for all types of builds and releases. That will hopefully drive more free software developers to make f-droid.org the core channel for official releases.

See merge request !66

Ensure makebuildserver provisions on an update

Also force https on bitbucket

Don't use lint to warn about google code

There are just too many. There is a script in fdroiddata to find google code
repos that have moved to github.

standardize on HTTPS for github.com links

fdroid link already checks HTTPS in build metadata, so this should also use
HTTPS.  It makes firewall rules easier when everything is HTTPS.

Merge branch 'caching-for-makebuildserver' into 'master'

two quick kinds of caching for makebuildserver

I've been running `./makebuildserver` on a machine that only connects to the internet via Tor.  That means slow internet and other issues.  These two small changes made it easier to run `./makebuildserver` in this setup.  In combination with !25, this would give good support for working in low bandwidth environments.

See merge request !67

makebuildserver: allow setting apt mirror from command line

On some setups, using a custom apt mirror is essential, so this adds a
command line flag to override the default one:
http://ftp.uk.debian.org/debian/

For example, someone who runs a local mirror for offline and low bandwidth
situations.

This uses a % rather than a .format() to avoid escaping { and }, which have
meaning when using .format().

makebuildserver: allow a list/tuple for baseboxurl to support local copy

config.vm.box_url can be a list/tuple of URLs, which is useful to specific
a locally cached copy.  This is needed on slow connections, so that if it
fails, the download of jessie32.box does not have to start from the
beginning of the file again.

Merge branch 'support-vagrant-cachier' into 'master'

Add optional support for vagrant-cachier plugin

Building the basebox is excruciating for people on slow connections. I'm particularly sensitive to this after living in Central America for awhile :)

This won't affect anyone who hasn't installed the plugin. For those who do, it creates a persistent shared folder for each box (ie. testing23.box) and detects directories to cache between VM builds (apt, gems, pip, chef cache, etc.)

(The only downside is that, for those following server setup does who are not aware what vagrant-cachier does, it might be unexpected that artifacts persist between vagrant destroys.)

See merge request !25

server: switch Amazon AWS S3 upload to streaming mode

This keeps memory usage low because it only has to read a chunk at a time
into memory while before it read the whole file into memory before
uploading it.

This also seems to handle setting the permissions ACL better.

new config option: per-app repos to support nightly build repos

For devs that want to build and distribute nightly builds of their apps
using the fdroid tools.  The core idea here is to make the fdroidserver
tool suite the single set of tools for all types of builds and releases.
That will hopefully drive more free software developers to make f-droid.org
an core channel for official releases.

scan_apks() sets cachechanged, so no tricks needed

lint: warn about /master/ usage

checkupdates: be more verbose with tags

Add support for gradle properties via gradleprops

Rename COPYING to LICENSE

See fdroid/fdroidclient#384

Prepare for sdk level 23

config: bump default build_tools after update in BS

Remove default config settings from the BS

Merge branch 'two-fixes' into 'master'

Two fixes

I pulled two commits out of !57 since it would be good to have them included, and specifically the `buildToolsVersion` issue was just discussed.

The current state of the `buildToolsVersion` replacement is not good.  It will replace this:

```
buildToolsVersion '21.0.1'
```

with this:

```
buildToolsVersion = '21.0.1'
```

That is incorrect, since the first form is more like a function call than a variable assignment.  So most likely that is causing the `buildToolsVersion` to be unset.  The commit here includes a fix that works for both the rare, non-standard variable assignment way, i.e. `buildToolsVersion = '21.0.1'` as well as the standard way: `buildToolsVersion '21.0.1'`.  It also includes tests for both cases.

See merge request !65

build: improve regsub pattern for setting buildToolsVersion

This addresses the discussion in !64
https://gitlab.com/fdroid/fdroidserver/merge_requests/64

Sometimes, buildToolsVersion is a kind of gradle macro call, and other
times it is a variable assignment.  This regsub pattern now handles both of
those cases.

fix syntax error in manual generation and add ./gendocs.sh to the tests

Only do the magic import/except dance once

No need to do it for every file, once per app is enough

lint: also do http warnings on descriptions

lint: better type safety

Warn about url shorteners being used

Warn about misplaced flattr donation links

import: remove support for gitorious

Same as google code.

import: remove google code support

Google code is dead and going read-only. import is just a helper program, and
we don't want to help people add apps from google code anymore. Apps should
move to other hosting sites.

lint: Update Check Name with unchanged app id

Add gradle 2.6 to the buildserver

Update buildserver for android-23

Fix type issue

Also enforce https on urls without path

Specify that CVC 0 means infinity

lint: warn about CVCs that don't make sense

Line numbers start at 1, not 0

Add "Update Check Name:Ignore"

lint: Fix unicode issues in list warnings

lint: don't warn multiple times about lists

lint: warn about incorrect lists

Fix test that broke with c813a3cdbb7e

Add gradle 2.5, fixes #108

Always end config list items with a comma

Fix multiple errors in get_mime_type

Closes #111

Merge branch 'fix-custom-buildToolsVersion' into 'master'

Fix gradle adaptation for custom buildToolsVersion configurations

I have ```build_tools = "22.0.1"``` configured in my config.py, however a recent fdroidserver update broke this. This PR fixes it for me.

See merge request !64

fix gradle adaptation for custom buildToolsVersion configurations

Merge branch 'master' into 'master'

Add configuration for pypi

See: [http://peterdowns.com/posts/first-time-with-pypi.html](http://peterdowns.com/posts/first-time-with-pypi.html)

See merge request !63

Add configuration for pypi

lint: complain about UCMs that haven't been used

Mainly for MRs from people who don't fill the automatic fields

Properly default to NDK r10e