Merge branch 'docs' into 'master'

docs: Add information on binary verification

I added a section about `Binaries:` metadata field. However, my information might be wrong or outdated, since I barely used it by now. Maybe even this field was left out on purpose...

See merge request !83

Merge branch 'summarylength' into 'master'

docs: Adjust summary length

See merge request !85

docs: Adjust summary length

Open metadata files in only one place

Also get rid of the useless get_default_app_info func.

lint: optionally check format

lint: fix issue found by older version of pyflakes

checkupdates: fix --auto build copy

Also, remove origlines which hasn't been used in some time.

stats: fix a few dict accesses left over

import: fix get_default_app_info usage

Closes #129

scanner: remove jni check

buildjni=no is the default. Moreover, some apps now run ndk-build via
gradle, so this was just in the way.

Set all list defaults to an actual list

Iterating over the defaults will crash otherwise. Update pickle files.

Fix tests by not checking private attributes

All attrs starting with '_' (e.g. _foo or __bar) are used internally, so
not very relevant for the metadata test anyway.

Also skip unmodified fields in the regex checks

Now it's close to 1s.

Keep track of what attrs were modified in apps/builds

This allows us to run checks and fix types only on those that were
really modified. On our fdroiddata repo, with 2k apps with many unset
fields and flags, this reduces readmeta runtime from ~1.3s to ~1.1s.

Actually check that bools are valid

The metadata check was omitting booleans and lists, as it was only
taking strings. Fix this.

Remove need for rstrip() of txt description

metadata: write strings directly to txt file

Rename metafieldtype to fieldtype

For consistency with flagtype. Also less redundant.

Use dicts for field/flag types

Some more readability/performance tweaks

* Use set() instead of dict()
* No 'if foo: True else: False'
* Don't check for invalid fields twice

Use constants for field/flag types

Avoids typos, such as one I just found which was 'strsng' isntead of
'string'. The static analyzer can catch those if they are constants.
Comparing ints is also faster than strings, which adds up in readmeta.

Avoid conflicting func/var names

Make text formatting faster via StringIO

Avoid concatenating strings over and over. Also, the wiki formatting
wasn't necessary at all since it was just joining lines.

Represent multiline fields as str, not list

Only keep lists in metadata files in the json format, since they don't
support multiline strings that are readable.

This makes the internal code easier, and a bit faster.

Fix tests

Some more txt parsing tweaks after profiling

Remove duplicate build_flags check

It's already checked in set_flag

Remove gradle=main

It was only supported in txt metadata, and was unused in fdroiddata
anyway.

Properly close all metadata files once read

Never use exit/log in metadata

Speed up metadata reading

Total time for `fdroid readmeta` went down from ~1.6s to ~1.4s on my
machine.

Simplify post_metadata_parse usage

metadata: properly store nums as strs and bools as bools

Pre-compile more regexes

lint: warn about target= in gradle builds

Fix default update= on ant builds

Rework build into a class

This simplifies usage, goes from

    build['flag']
to
    build.flag

Also makes static analyzers able to detect invalid attributes as the set
is now limited in the class definition.

As a bonus, setting of the default field values is now done in the
constructor, not separately and manually.

While at it, unify "build", "thisbuild", "info", "thisinfo", etc into
just "build".

gradle script: properly iterate over known versions

Add documentation to new App class

Rework app into a class

This simplifies usage, goes from

app['Foo']
to
app.Foo

Also makes static analyzers able to detect invalid attributes as the set
is now limited in the class definition.

As a bonus, setting of the default field values is now done in the
constructor, not separately and manually.

Handle duplicate apps in a much cleaner way

Don't log and exit in an inner metadata function. Handle it at a higher
level and do a proper exception. This also avoids unnecessary passing of
apps all around.

lint: more versatile /HEAD warning

Now catches many more github/gitlab/bitbucket links

lint: catch links at the beginning too

lint: also catch gitlab master links

update: remove icons when removing disabled builds

They were just left there forever.

update: move apk icons to and from archive too

They all were stuck in repo/ for this reason. This resulted in apps that
were only in the archive to seem like they didn't have icons, when in
fact they did but were in the wrong dir.

update: lower apps without apks logs to debug

If you run 'fdroid update', 6k+ warning messages are output. This is
definitely wrong. They can still be shown if one enables -v.

Don't use paramiko with DEBUG

It outputs way, way too much info. Thousands of lines only when copying
the files over, which is not useful at all.

Fix ndk always being reinstalled

Add gradle 2.9 to the BS

Install build-tools from the cache too

Download platforms via makebuildserver

Add qt5 to the buildserver

fdroidbuild-general: split packages in lines

This improves readability, but more importantly makes changes in git a
lot easier to track.

import: don't crash due to missing id

Fixes #129

Don't crash if AM.xml has no application element

Don't crash if no auto name is found

build: don't treat FDroidExceptions as unknown

common: error if any glob paths are unused

Like rm=foo and foo doesn't exist.

checkupdates: find new subdirs for autonames too

The same method used for Tags and RepoManifest.

scanner: don't warn about ignored files

Bump to 0.5.0

install: filter out log messages better

scanner: Ignore certain binary executable files

These were warnings, so the behaviour doesn't really change.

scanner: ignore .DS_Store files

They are binary and sometimes executable, so they trigger false
positives.

Fix buildserver debian stable java paths

Root required to set default java

Fix 'set default java'

Bump build-tools to 23.0.2

If we're using a jessie buildserver, we need backports (for java 8)

Install Java 1.8 alongside 1.7 for retrolambda

Fixes #103.

Fix example config default

run-tests: Don't set -x until option parsing is done

run-tests: Don't show echo_header commands

tests: allow running ./tests/run-tests

checkupdates: check packages in AM.xml files too

scanner: allow apache.org maven repo

Since it has the same free software and source code publishing
requirements that oss.sonatype and maven.org repos have.

checkupdates: work around multiple package ids

If there are multiple package ids in a build.gradle file and the first
one we don't want, checkupdates would get stuck. Make it ignore any
package id that we don't want so that it can get past that.

checkupdates: better "no tags" messages

checkupdates: no need to sort tags if len()<=5

Also fix local.prop files before subdir

If subdir=foo/bar and there is a foo/local.properties file, it would not
get treated.

checkupdates: don't blindly accept subdir

This is unnecessary because dirs_with_manifest will pick it up anyway.
But the problem manifested because we weren't checking the package id
here.

checkupdates: compare CVs as ints, not strs

Add an extra strip() to work around tostring issue

In cases like this xml code:

<string name="app_name">"OpenKeychain"</string>
<!-- title -->
<string name="title_encrypt_text">"Encrypt"</string>

tostring() returns trailing whitespaces (including newlines). Which
aren't removed until the very end, after we try to remove enclosing
quotes. So strip right after tostring() too, since we never really care
about whitespaces anyway.

checkupdates: never auto-update to older versions

common: Compile more regexes only once

Don't double check package name

checkupdates: don't ignore root directory

checkupdates: Make RepoManifest change subdir too

checkupdates: let Tags detect subdir changes

Up until now, this was done only if no overall version could be found. But in
tags, we would get stuck with an old version from an old tag and not see
subdir changes in new tags.

Be consistent about root_dir/build_dir naming

Fix a small indentation issue

Fix gradle-2.8 checksum

I once again did the -all.zip hash, not the -bin.zip one.

lint: fix unlinkified links regex

It was incorrectly matching:

foo [http://bar

and not matching:

http://foo (start of line)

update: fix for 0fa6aac2881

For some reason, my up to date pyflakes didn't catch this.

Also replace git@gitlab.com submodule urls

Add gradle 2.8

Bump sdk to 24.4.1

tests: we now replace "buildToolsVersion var" too

See d706cfa7d8a

Typo fix for 91daacb8896e796