common: Compile more regexes only once

Don't double check package name

checkupdates: don't ignore root directory

checkupdates: Make RepoManifest change subdir too

checkupdates: let Tags detect subdir changes

Up until now, this was done only if no overall version could be found. But in
tags, we would get stuck with an old version from an old tag and not see
subdir changes in new tags.

Be consistent about root_dir/build_dir naming

Fix a small indentation issue

Fix gradle-2.8 checksum

I once again did the -all.zip hash, not the -bin.zip one.

lint: fix unlinkified links regex

It was incorrectly matching:

foo [http://bar

and not matching:

http://foo (start of line)

update: fix for 0fa6aac2881

For some reason, my up to date pyflakes didn't catch this.

Also replace git@gitlab.com submodule urls

Add gradle 2.8

Bump sdk to 24.4.1

tests: we now replace "buildToolsVersion var" too

See d706cfa7d8a

Typo fix for 91daacb8896e796

common: don't crash if an sdk binary is not found

Remove densities getter

scanner: allow sonatype groups/public repo

See http://central.sonatype.org/pages/ossrh-guide.html

scanner: escape urls

Fix build-tools patching when it uses variables

Like:

buildToolsVersion FOO_VERSION

tests: Comment values are lists, not strings

Since there can be multiple lines.

Fix shasum for gradle 2.7 (see a229afe1)

tests: adapt to new comments dict

tests: close files

scanner: ignore gradle comment lines

Useful to detect:

maven {
// foo
url "http://foo.bar"
}

Remove unwanted files in a more consistent way

scanner: error on unknown maven repos

This finds maven repos of the format:

maven {
url 'http://foo.bar'
}

And checks if the repository is one that we allow. As usual, scanignore can be
used, or the list modified, if there are exceptions or more repositories to
allow.

Fix moving of gpg sigs between repo and archive

buildserver: Add gradle 2.7

Always use the same logging format

This helps differentiate errors, warnings and regular messages.

extension simplifications

write_metadata fixes

Final touches to yaml writing

Now it writes and reads properly.

bash-completion: add appid support for all formats

More improvements to yaml writing

Don't leave an empty line at the end

Add basic yaml metadata writing

Rename write_metadata to specify txt

Simplify format parsing logic

scanner: don't error on partially used globs

This meant that using something like `scanignore=*` would error if there were
ignores happening in some directories/files, but not all.

Fixes #110

Rework path glob expansion

Slightly simplifies the whole thing and lets us map what each resulting path
comes from. This will be useful to fix #110 later on.

import: fix issue tracker links

Don't use exists() on symlinks

If they are broken, exists() will return false. islink() will return true in
both cases.

Smarter archive policy apk moving

* Move apks back from the archive repo (e.g. if builds are disabled thus the
  number of apks on the main repo decreases)
* Also move apk signatures back and forth

checkupdates: Ignore xml tags in string content

This allows us to fetch strings like the following:

<string name="app_name">foo <xliff:g>bar</xliff:g></string>

Up until now, using .text would only return "foo ", but if we use .tostring()
with the text method, it converts everything into plain text for us resulting
in "foo bar".

Fetch string contents in a safer way

Fix for bb2cbd527b

Increase wiki error detail length limit

8k is too small, e.g. when make -jN errors or when there are a lot of scanner
errors and warnings. 16k should be better. Also, use "[...]" to make it
obvious that the output is truncated.

fdroid: don't treat MetaDataException as unknown

Up until now, if it was thrown, fdroid would crash with a full stacktrace as
if the program had stopped unexpectedly. Now it just prints the metadata
error, as intended.

rewritemeta: add -l option to list files

Make write_metadata take a writer

This will let rewritemeta report format issues without writing to disk.

Replace MD5withRSA with SHA1withRSA. Fixes #26.

Looks to me like we were using SHA1withRSA all along. Tested that everything
still works with a test repo.

As Hans reports, SHA1withRSA has been the default on Android tools for a long
time and it's supported on all Android versions.

Push a more complete/standard fdroidserver layout to buildserver

checkupdates: ignore gradle comments

build: make sure .gradle/ is removed at clean

Update build status badge to new CI url

scanner: skip symlinks to avoid issues

If they resolve to a missing file, we don't care about them. If they resolve
to an existing file, we'll scan that file anyway.

scanner: don't crash on unused gradle files

gradle: don't strip out comments

This was never intended. Comments can help sed usage, and can still be useful
in source tarballs.

Merge branch 'asynchronous_reader' into 'master'

Add asynchronous filereader, fix python3 lockups

with the current implementation of AsynchronousFileReader with Python 3 FDroidPopen deadlocks with 100% CPU-utilization

The code is from https://github.com/soxofaan/asynchronousfilereader

I hope the MIT-Licence makes no problems

See merge request !80

Merge branch 'docs' into 'master'

docs: Add list of trusted maven repos

See merge request !81

docs: Add list of trusted maven repos

Merge branch 'master' into 'master'

Added support for gradle flavor specific dependencies in usual suspects check

When you have flavor specific dependencies in your project, you specify them in the build.gradle file with a prefixed *compile* command:

```
compile 'normal dependency'
myflavorCompile 'only for myflavor'
```

The usual suspects check just searches for some often used library names in the whole build.gradle file. I added another condition, so dependencies for not build flavors are not checked.

See merge request !77

Add asynchronous filereader, fix python3 lockups

Added support for gradle flavor specific dependencies in usual suspects check.

Remove Dogecoin donation support

Not nearly as popular as bitcoin and litecoin. To the point where it hadn't
been used yet.

Bump index version to 14 to mark its removal.

metadata: fix html paragraph tag regression

Spotted in fdroid/fdroidclient#422

scanner: use a blacklist instead of a whitelist

This is much closer to what we did before with mimetypes. Using a whitelist
turns out to be a bad idea since repositories seem to be randomly filled with
executable images and documents, which trigger the scanner.

In an ideal world the scanner would complain about all of those. For now, just
warn about the possibility of them being hidden binaries.

scanner: also ignore ttf and otf files

scanner: improve usual suspect output

Merge branch 'fix_licence_setup' into 'master'

Update Licence in setup.py to AGPLv3

See merge request !79

Update Licence in setup.py to AGPLv3

import: fix import -u from fdroiddata

Have -u take precedence over .git checking to fix import -u being run from
fdroiddata.

Deduplicate statsdir

Replace some hard-coded paths with os.path.join

import: do set root_dir if running from a repo

Merge branch 'dont-use-sudo-brew' into 'master'

Don't recommend using sudo with Homebrew

Homebrew [doesn't recommend using `sudo`][1], so update the README to reflect that.

 [1]: https://github.com/Homebrew/homebrew/blob/master/share/doc/homebrew/FAQ.md#why-does-homebrew-say-sudo-is-bad-

See merge request !78

scanner: avoid checking if usual files are binary

Rewrite scanner logic

Initially, the scanner used libmagic which used magic numbers in the file's
content to detect what kind of file it appears to be. Since that library isn't
available on all systems, we added support for two other libraries, mimetypes
amongst them.

The issue with mimetypes is that it only uses the file's extension, not its
actual content. So this ends in variable behaviour depending on what system
you're using fdroidserver on. For example, an executable binary without
extension would be ignored if mimetypes was being used.

We now drop all libraries - mimetypes too as it depends on the system's
mime.types file - and instead check extensions ourselves. On top of that, do
a simple binary content check to find binary executables that don't have an
extension.

The new in-house code without any dependencies doesn't add any new checks, so
no builds should break. The current checks still work:

 % fdroid scanner app.openconnect:1029
[...]
Found executable binary at assets/raw/armeabi/curl
Found executable binary at assets/raw/mips/curl
Found executable binary at assets/raw/x86/curl
Found JAR file at lib/XposedBridgeApi-54.jar
Found JAR file at libs/acra-4.5.0.jar
Found JAR file at libs/openconnect-wrapper.jar
Found JAR file at libs/stoken-wrapper.jar
Found shared library at libs/armeabi/libopenconnect.so
Found shared library at libs/armeabi/libstoken.so
Found shared library at libs/mips/libopenconnect.so
Found shared library at libs/mips/libstoken.so
Found shared library at libs/x86/libopenconnect.so
Found shared library at libs/x86/libstoken.so

scanner: support apps using srclib repo type

Don't recommend using sudo with Homebrew

all: deduplicate -v/-q setup

lint: small cleanup

lint: catch more duplicate links

checkupdates: Avoid variable/string names as CV

Allow slashes in tags

The wikipedia app uses them, for example.

metadata: don't break words nor on hyphens

lint: add dumb support for multiline links

lint: move regex closer to usage

metadata: allow links spanning multiple lines

This allows for nicer text wrapping.

lint: remove now obsolete description checks

Wrap descriptions to 80 chars

metadata: rewrite multiline field writing

Now description text wrapping can be added.

Ensure that builds are always sorted when writing

This might not be true if builds are appended by e.g. checkupdates --auto.
This ensures that we sort them again before writing.

lint: overhaul, cleaner and saner output

lint: move lastbuild into separate function

lint: remove "no recommended build" check

In some cases we do want to not recommend any version. The client should more
or less gracefully handle this.

Merge branch 'import-tweaks-and-tests' into 'master'

Import tweaks and tests

This makes the code for `fdroid import` a bit more flexible and adds tests for the first time.  It also comments out options in `examples/config.py` that just mirror the defaults to make it clear that they are defaults, and help illustrate other options (this is standard procedure in default config files).

More details in the commit messages.

See merge request !76

lint: cleanup, remove stale sites

comment out things that are default values in examples/config.py

Since these are already defaults, there is no need to set them as defaults
in the default config.