config: bump default build_tools after update in BS

Remove default config settings from the BS

Merge branch 'two-fixes' into 'master'

Two fixes

I pulled two commits out of !57 since it would be good to have them included, and specifically the `buildToolsVersion` issue was just discussed.

The current state of the `buildToolsVersion` replacement is not good.  It will replace this:

```
buildToolsVersion '21.0.1'
```

with this:

```
buildToolsVersion = '21.0.1'
```

That is incorrect, since the first form is more like a function call than a variable assignment.  So most likely that is causing the `buildToolsVersion` to be unset.  The commit here includes a fix that works for both the rare, non-standard variable assignment way, i.e. `buildToolsVersion = '21.0.1'` as well as the standard way: `buildToolsVersion '21.0.1'`.  It also includes tests for both cases.

See merge request !65

build: improve regsub pattern for setting buildToolsVersion

This addresses the discussion in !64
https://gitlab.com/fdroid/fdroidserver/merge_requests/64

Sometimes, buildToolsVersion is a kind of gradle macro call, and other
times it is a variable assignment.  This regsub pattern now handles both of
those cases.

fix syntax error in manual generation and add ./gendocs.sh to the tests

Only do the magic import/except dance once

No need to do it for every file, once per app is enough

lint: also do http warnings on descriptions

lint: better type safety

Warn about url shorteners being used

Warn about misplaced flattr donation links

import: remove support for gitorious

Same as google code.

import: remove google code support

Google code is dead and going read-only. import is just a helper program, and
we don't want to help people add apps from google code anymore. Apps should
move to other hosting sites.

lint: Update Check Name with unchanged app id

Add gradle 2.6 to the buildserver

Update buildserver for android-23

Fix type issue

Also enforce https on urls without path

Specify that CVC 0 means infinity

lint: warn about CVCs that don't make sense

Line numbers start at 1, not 0

Add "Update Check Name:Ignore"

lint: Fix unicode issues in list warnings

lint: don't warn multiple times about lists

lint: warn about incorrect lists

Fix test that broke with c813a3cdbb7e

Add gradle 2.5, fixes #108

Always end config list items with a comma

Fix multiple errors in get_mime_type

Closes #111

Merge branch 'fix-custom-buildToolsVersion' into 'master'

Fix gradle adaptation for custom buildToolsVersion configurations

I have ```build_tools = "22.0.1"``` configured in my config.py, however a recent fdroidserver update broke this. This PR fixes it for me.

See merge request !64

fix gradle adaptation for custom buildToolsVersion configurations

Merge branch 'master' into 'master'

Add configuration for pypi

See: [http://peterdowns.com/posts/first-time-with-pypi.html](http://peterdowns.com/posts/first-time-with-pypi.html)

See merge request !63

Add configuration for pypi

lint: complain about UCMs that haven't been used

Mainly for MRs from people who don't fill the automatic fields

Properly default to NDK r10e

Merge branch 'master' into 'master'

final 0.4.0 fixes

Because `setup.py` is broken because `MANIFEST.in` is still pointing to `README` and not `README.md`, the 0.4.0 tag needs to be deleted.  This merge requests fixes that and two other minor issues.  This has passed multiple runs of the test suite, both on my machine and the jenkins box.

See merge request !61

fix `fdroid rewritemeta` reference in manual

run-tests: fix quoting to prevent spurious execution of `fdroid update`

rename README to README.md in MANIFEST.in

this stops `python setup.py` from failing...

Bump to 0.4.0

Merge branch 'master' into 'master'

Port README to markdown

Also add instructions for Arch-Linux.

You can take a look on it [here](https://gitlab.com/NicoAlt/fdroidserver/blob/master/README.md).

See merge request !60

Correct filename in setup.py

Port README to markdown

Also add instructions for Arch-Linux.

Add automake1.11 for gpg

Merge branch 'master' into 'master'

let setuptools determine the base install path on OSX

This is the last commit from me before the 0.4.0 release.  Its ready to go!

A gentle reminder:
* sign the tag: `git tag -s 0.4.0 -m "tagging release 0.4.0"`
* release tags are `0.4.0` format, not `v0.4.0`
* change the version in `setup.py` to match the tag exactly, char by char

Then I'll post the update to pypi.python.org

See merge request !59

let setuptools determine the base install path on OSX

Instead of trying to guess which absolute path and .egg name
everything will be installed into, just use a relative path and the
setup process will do the right thing (so far, at least).

Add gradle plugin version 1.3 to our wrapper

Merge branch 'update-install' into 'master'

README: ppa only works for Ubuntu based systems

See merge request !58

Merge branch 'bsd-osx-porting-and-tests' into 'master'

BSD/OSX porting and tests

This makes `fdroid init` and `fdroid update` work on BSD/OSX and maybe Cygwin also (I didn't test Cygwin).  It also makes the install process more tolerant, like not requiring `python-magic` to run, while using it if its available.

Some fixes and additional tests are also included.  The commit messages have more info.

See merge request !56

README: ppa only works for Ubuntu based systems

jenkins-build: run test suite from `pip install` using source tarball

Since `python setup.py sdist` provides the actual tarball that will be
installed via `easy_install`, `pip install`, etc. it should also be tested.
The existing `pip install -e $WORKSPACE` tests the .egg-link install format

support egg-link format when installed from git repo

If you run `python setup.py install` from the git repo, then it will be
installed using the .egg-link format, which just points to the git repo.
`fdroid init` needs to handle that when looking for example files to copy.

update install instructions in README

chmod keystore after checking whether it was created

On OSX, when Java is not installed, it'll fail to create the keystore, but
then give an error from chmod failing.  This changes things so that the
missing Java is reported instead.

support installing as a Python .egg

For platforms where easy_install is a good option, like OSX, support
the Python .egg library format.

get MIME types without strictly requiring python-magic

There are two forms of python-magic, one included in libmagic that is
default on Debian, and another Python wrapper for libmagic that is
called 'python-magic' on pypi.  Those both rely on the compiled binary
library libmagic.  For platforms without good package management, fallback
to using the built-in 'mimetypes' library if 'magic' is not available.

This supports OSX, Windows, and BSD.

fix installing via OSX's easy_install

remove non-existant files from the MANIFEST.in

test new common.regsub_file() method that replaces sed calls

use common.regsub_file() instead of Popen(sed)

Python libraries work better in Python than running external commands, and
it also makes the code much more portable.  For example, the GNU and BSD
sed commands have different, and sometimes conflicting, flags.

This also reworks the regexp patterns to be more tightly focused, and not
change the same variable name in comments or elsewhere.

tests: short args for mktemp to support BSD

*BSD and OSX do not have compatible long args

show commented out examples for setting sdk_path and ndk_paths

Instead of just mirroring the defaults in the example config.py, show a
useful example of how they might be set.

run-tests: fix copying of urzip.apk into new repo

run-tests: run `fdroid readmeta` after each --create-metadata

Just another basic check, this time for `fdroid readmeta`.

lint: exit with an error code if any errors are found

Also use OptionParser in readmeta to add -h/--help

Merge branch 'some-compatibility-fixes' of https://gitlab.com/eighthave/fdroidserver

Add --no-refresh to the completion

Merge branch 'no-refresh' of https://gitlab.com/aelmahmoudy/fdroidserver

Be more specific about empty build flags

remove dependency on wget for 'build' and 'verify'

To make the core tools portable to platforms like Mac OS X and Windows,
remove the dependency on wget and instead use Python Requests, which
probably has better performance anyway.

update: warn if APK has a date that is newer than the system clock

If the date in an APK is in the future, that could cause confusion.  If the
system clock is wrong, then the APK will also have a date in the future.
This is most likely on offline signing machines, since they do not have a
time source to sync to.

extend text char limits to match other app stores

We should be compatible with other apps stores unless there is a specific
reason not to be.

* Google Play, Amazon, and iTunes all have 4000 char descriptions

For the summary, we can just bump it up to the same as what Play has
* Google Play allows an 80 char "Short Description"
  https://support.google.com/googleplay/android-developer/answer/113469?hl=en
* Amazon allows a 1200 char "Short Description"
  https://developer.amazon.com/public/support/submitting-your-app/tech-docs/submitting-your-app#Add Metadata and Image Assets

Update recommended base box

Add an option to disable repository refresh

This is useful for testing builds with no internet connection, and the
repositories were already fetched previously

Also find usual suspects in gradle files

Fix update fail when icons are missing

Introduced yesterday, I believe.

Always clean and reset all submodules

Hotfix: Client 0.92 breaks if web/source/tracker are missing

Revert this commit after a few stable releases

Stable clients understand UpstreamNonFree now

Hotfix for 7b68b90569 - don't cal .split() on None

update: never include empty elements in the index

Fix imagemagick (broken in d9bbb507)

Replace some FDroid strings with F-Droid

Update the Android SDK to 24.3.3

Improve xml string extracting support

* Shield ourselves from newlines that would break metadata files
* Properly use string resources for version names

Replace NDK r10d with r10e

Add gradle 2.4

Bump build-tools to 22.0.1

lint: start warning about invalid categories

Bump index version to 13: <changelog> added

update: don't always place the changelog element

It's not that common, so often it'd just be <changelog/>

lint: take forcevercode into account for UCM warnings

lint: get rid of -p/--pedantic

Only one check was left, and it's of little use anyway.

lint: complain about useless Name: fields

Always make sure that we don't encode None

Apparently, we can have a non-nil element that has a nil text.

lint: Move the UCM:Tags warning out of pedantic

It's much more reliable now

lint: Improve UCM:Tags warning

If the vercode is higher than CVC, then we're probably only following stable
versions or something like that

lint: don't be pedantic about downloading code

We don't really control this if run via a script, which happens more often.

lint: don't assume trailing slashes in urls are redundant

Merge branch 'graphviz' into 'master'

Add graphviz to buildserver

Add graphviz to buildserver. Like inkscape and imagemagick it is used to "build" images from "source code".

See merge request !53