name makebuildserver config the same as the script

This keeps the numbers of names down to a minimum, and since the config
is placed right next to the script, this keeps tab completion working
nicely when the config file is in place.

The old file name is still supported.

run-tests: verbose output for `fdroid update` to aid debugging

I'm stumped by this stacktrace, hopefully debug logging will help:

Unknown exception found!
Traceback (most recent call last):
  File "./fdroidserver-0.4.0/fdroid", line 141, in <module>
    main()
  File "./fdroidserver-0.4.0/fdroid", line 119, in main
    mod.main()
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 1146, in main
    apks, cachechanged = scan_apks(apps, apkcache, repodirs[0], knownapks)
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 543, in scan_apks
    thisinfo['sig'] = getsig(os.path.join(os.getcwd(), apkfile))
  File "<http://localhost:18080/job/fdroidserver/ws/.testfiles/tmp.9hr9NiSmZs/fdroidserver-0.4.0/fdroidserver/update.py",> line 361, in getsig
    with zipfile.ZipFile(apkpath, 'r') as apk:
  File "/usr/lib/python2.7/zipfile.py", line 770, in __init__
    self._RealGetContents()
  File "/usr/lib/python2.7/zipfile.py", line 857, in _RealGetContents
    x._decodeExtra()
  File "/usr/lib/python2.7/zipfile.py", line 388, in _decodeExtra
    tp, ln = unpack('<HH', extra[:4])
struct.error: unpack requires a string argument of length 4

Apparently Python cannot handle Unicode

I really hope I can revert this in the near future. Having to mutilate
my name just so that pip will work is a terrible workaround.

For better or worse, this only affects scripts defined in setup.py.

stats: use a stable sort that doesn't randomize

Since we only sorted by count, ignoring the string, it meant that items
with the same count might be arranged in different manners. Hence the
`stats` behaviour was not predictable at all. Now it sorts first by
count, then by string.

build: don't add extra clean tasks

It is a good idea in theory, especially for extra tasks specified by the
user. But in practice, tasks specified by developers often don't have a
clean counterpart. So this just breaks the build.

metadata: fix text wrapping on unicode characters

We were passing the utf-8 encoded string to textwrap, which took the
bytes as characters. Hence multi-byte unicode characters (in utf-8)
would count as multiple columns, which is clearly wrong.

fdroid: python2 doesn't like print()

It just prints "()", which is stupid.

Add Gradle 2.10 to the BS

metadata: Always use regex to verify values

Lists can be made into regexes very easily. Major code simplification.
Also no need to construct sets to avoid iterating over lists.

Remove redundant AntiFeatures bool check

Merge branch 'master' into 'master'

Add Author Name and Author Email fields. (Closes: #90)

Adds the two new fields as discussed in issue #90. Both are optional.

Mind that the Wiki template needs to be extended before merging.

See merge request !87

Add Author Name and Author Email fields. (Closes: #90)

lint: warn about spaces in summaries too

README: Note that Python 2.7.7+ is supported

gradle: stop trying to patch outputFile

This often breaks since we're just removing a single line. Instead, use
a much more reliable way of finding output apks.

handle Queue

Octal numbers 0600 to 0o600

except named exception handling

Change print-function to have brackets

Add NonFreeAssets anti-feature

Small gradle wrapper fix

It broke on cases like:

if (gradle.gradleVersion >= "2.2") {

gradle: Completely get rid of gradlepluginver

We can support multiple output dirs without having to detect/infer the
plugin version. Much simpler and more robust too.

gradle: Never add lintOptions workaround

This breaks on newer plugin versions. Instead of complicating this logic
even further to support them, upstream devs should instead use gradle
configs that actually work.

If their build fails because of lint, it's theirs to fix, not ours.

Fix issues spotted by older pyflakes

Merge branch 'docs' into 'master'

docs: Add information on binary verification

I added a section about `Binaries:` metadata field. However, my information might be wrong or outdated, since I barely used it by now. Maybe even this field was left out on purpose...

See merge request !83

Merge branch 'summarylength' into 'master'

docs: Adjust summary length

See merge request !85

docs: Adjust summary length

Open metadata files in only one place

Also get rid of the useless get_default_app_info func.

lint: optionally check format

lint: fix issue found by older version of pyflakes

checkupdates: fix --auto build copy

Also, remove origlines which hasn't been used in some time.

stats: fix a few dict accesses left over

import: fix get_default_app_info usage

Closes #129

scanner: remove jni check

buildjni=no is the default. Moreover, some apps now run ndk-build via
gradle, so this was just in the way.

Set all list defaults to an actual list

Iterating over the defaults will crash otherwise. Update pickle files.

Fix tests by not checking private attributes

All attrs starting with '_' (e.g. _foo or __bar) are used internally, so
not very relevant for the metadata test anyway.

Also skip unmodified fields in the regex checks

Now it's close to 1s.

Keep track of what attrs were modified in apps/builds

This allows us to run checks and fix types only on those that were
really modified. On our fdroiddata repo, with 2k apps with many unset
fields and flags, this reduces readmeta runtime from ~1.3s to ~1.1s.

Actually check that bools are valid

The metadata check was omitting booleans and lists, as it was only
taking strings. Fix this.

Remove need for rstrip() of txt description

metadata: write strings directly to txt file

Rename metafieldtype to fieldtype

For consistency with flagtype. Also less redundant.

Use dicts for field/flag types

Some more readability/performance tweaks

* Use set() instead of dict()
* No 'if foo: True else: False'
* Don't check for invalid fields twice

Use constants for field/flag types

Avoids typos, such as one I just found which was 'strsng' isntead of
'string'. The static analyzer can catch those if they are constants.
Comparing ints is also faster than strings, which adds up in readmeta.

Avoid conflicting func/var names

Make text formatting faster via StringIO

Avoid concatenating strings over and over. Also, the wiki formatting
wasn't necessary at all since it was just joining lines.

Represent multiline fields as str, not list

Only keep lists in metadata files in the json format, since they don't
support multiline strings that are readable.

This makes the internal code easier, and a bit faster.

Fix tests

Some more txt parsing tweaks after profiling

Remove duplicate build_flags check

It's already checked in set_flag

Remove gradle=main

It was only supported in txt metadata, and was unused in fdroiddata
anyway.

Properly close all metadata files once read

Never use exit/log in metadata

Speed up metadata reading

Total time for `fdroid readmeta` went down from ~1.6s to ~1.4s on my
machine.

Simplify post_metadata_parse usage

metadata: properly store nums as strs and bools as bools

Pre-compile more regexes

lint: warn about target= in gradle builds

Fix default update= on ant builds

Rework build into a class

This simplifies usage, goes from

    build['flag']
to
    build.flag

Also makes static analyzers able to detect invalid attributes as the set
is now limited in the class definition.

As a bonus, setting of the default field values is now done in the
constructor, not separately and manually.

While at it, unify "build", "thisbuild", "info", "thisinfo", etc into
just "build".

gradle script: properly iterate over known versions

Add documentation to new App class

Rework app into a class

This simplifies usage, goes from

app['Foo']
to
app.Foo

Also makes static analyzers able to detect invalid attributes as the set
is now limited in the class definition.

As a bonus, setting of the default field values is now done in the
constructor, not separately and manually.

Handle duplicate apps in a much cleaner way

Don't log and exit in an inner metadata function. Handle it at a higher
level and do a proper exception. This also avoids unnecessary passing of
apps all around.

lint: more versatile /HEAD warning

Now catches many more github/gitlab/bitbucket links

lint: catch links at the beginning too

lint: also catch gitlab master links

update: remove icons when removing disabled builds

They were just left there forever.

update: move apk icons to and from archive too

They all were stuck in repo/ for this reason. This resulted in apps that
were only in the archive to seem like they didn't have icons, when in
fact they did but were in the wrong dir.

update: lower apps without apks logs to debug

If you run 'fdroid update', 6k+ warning messages are output. This is
definitely wrong. They can still be shown if one enables -v.

Don't use paramiko with DEBUG

It outputs way, way too much info. Thousands of lines only when copying
the files over, which is not useful at all.

Fix ndk always being reinstalled

Add gradle 2.9 to the BS

Install build-tools from the cache too

Download platforms via makebuildserver

Add qt5 to the buildserver

fdroidbuild-general: split packages in lines

This improves readability, but more importantly makes changes in git a
lot easier to track.

import: don't crash due to missing id

Fixes #129

Don't crash if AM.xml has no application element

Don't crash if no auto name is found

build: don't treat FDroidExceptions as unknown

common: error if any glob paths are unused

Like rm=foo and foo doesn't exist.

checkupdates: find new subdirs for autonames too

The same method used for Tags and RepoManifest.

scanner: don't warn about ignored files

Bump to 0.5.0

install: filter out log messages better

scanner: Ignore certain binary executable files

These were warnings, so the behaviour doesn't really change.

scanner: ignore .DS_Store files

They are binary and sometimes executable, so they trigger false
positives.

Fix buildserver debian stable java paths

Root required to set default java

Fix 'set default java'

Bump build-tools to 23.0.2

If we're using a jessie buildserver, we need backports (for java 8)

Install Java 1.8 alongside 1.7 for retrolambda

Fixes #103.

Fix example config default

run-tests: Don't set -x until option parsing is done

run-tests: Don't show echo_header commands

tests: allow running ./tests/run-tests

checkupdates: check packages in AM.xml files too