makebuildserver: add gradle 4.7

fix scan_apk_androguard when parsing versionName without a dot (e.g. 5)

fixes de35f1b05bb864c2d51b278f933cfd9a39a96b16:

Traceback (most recent call last):
  File "/home/hans/code/fdroid/server/fdroid", line 164, in <module>
    main()
  File "/home/hans/code/fdroid/server/fdroid", line 138, in main
    mod.main()
  File "/export/share/code/fdroid/server/fdroidserver/update.py", line 1932, in main
    apks, cachechanged = process_apks(apkcache, repodirs[0], knownapks, options.use_date_from_apk)
  File "/export/share/code/fdroid/server/fdroidserver/update.py", line 1459, in process_apks
    use_date_from_apk, ada, True)
  File "/export/share/code/fdroid/server/fdroidserver/update.py", line 1332, in process_apk
    apk = scan_apk(apkfile)
  File "/export/share/code/fdroid/server/fdroidserver/update.py", line 1051, in scan_apk
    scan_apk_androguard(apk, apk_file)
  File "/export/share/code/fdroid/server/fdroidserver/update.py", line 1220, in scan_apk_androguard
    res_id = arsc.get_id(apk['packageName'], res_id)[1]
TypeError: 'NoneType' object is not subscriptable

For example https://f-droid.org/archive/com.abitsinc.andr_5.apk:
$ aapt dump badging archive/com.abitsinc.andr_5.apk |head -1
package: name='com.abitsinc.andr' versionCode='5' versionName='5' platformBuildVersionName='2.3.3'

Merge branch 'blank-versionName' into 'master'

handle APKs with a blank versionName

Closes #477, #478, fdroidclient#1416, fdroidclient#1417, and fdroidclient#1418

See merge request fdroid/fdroidserver!492

update: handle APKs with a blank versionName

Instead of just crashing, first try to use the versionName as written in the
build metadata, otherwise just let it be blank.  A blank versionName will
cause fdroidclient < 1.3 to crash.  Blank versionNames are not allowed in
the .txt metadata format, only .yml.

closes #477
closes #478
closes fdroidclient#1416
closes fdroidclient#1417
closes fdroidclient#1418
fdroiddata!3061

update: use only 7 chars of SHA256 for non-APK version name

#460

update index metadata tests for 673a3517d337e9e9de736459c13b0126883b8fba

add test of Android TV "activity banner" graphic

!491

https://developer.android.com/guide/topics/manifest/activity-element.html#banner
https://developer.android.com/training/tv/start/start.html#banner

Merge branch 'patch-1' into 'master'

fdroidserver/update.py: APK_LABEL_ICON_PAT icon pattern should not be greedy

See merge request fdroid/fdroidserver!491

fdroidserver/update.py: APK_LABEL_ICON_PAT icon pattern should not be greedy

Merge branch 'wiki-page-name' into 'master'

Filter another invalid mediawiki page title character

See merge request fdroid/fdroidserver!490

Filter another invalid mediawiki page title character

jenkins-test: remove redundant `fdroid update` test

This test ran before config.py was setup, so it didn't respect the test
setup.  Things like "make_current_version_link = False" are needed so that
the checkupdates tests work like on the official infrastructure.  Also,
./tests/run-tests has many `fdroid update` tests, so having it here just
wastes time.  The tests that are directly in this script are meant to test
the separate build/sign setup.

Merge branch 'mwclient-dep' into 'master'

Replace deprecated mwclient method

See merge request fdroid/fdroidserver!489

Replace deprecated mwclient method

It's functionally the same, just a different name.

Merge branch 'patch-1' into 'master'

Fix a typo in README.md

See merge request fdroid/fdroidserver!488

Fix a typo in README.md

jenkins-test: turn off link generation for checkupdates test

These links will make checkupdates fail since they will make the git repo
dirty.  There is also a mystery "cache/" subdir, but I don't know what is
making that.

Merge branch 'gradle_plugin_3.1' into 'master'

add gradle plugin 3.1 which requires gradle 4.4

See merge request fdroid/fdroidserver!487

add gradle plugin 3.1 which requires gradle 4.4

Merge branch 'java-gentoo' into 'master'

added java selection criteria for gentoo linux

See merge request fdroid/fdroidserver!486

Merge branch 'fix-icon-crash' into 'master'

Fix crash when icon_name is None

See merge request fdroid/fdroidserver!485

added java selection criteria for gentoo linux

Add test for when apk icon src could not be found

An APK (Netflix) was found to have the following icon filename:

    \u2003\u2009\n.xml

This breaks the aapt dump parsing because it iterates line by line and
this filename goes across two lines. Consequently, icon_src will be
None (default value) when it is passed to the icons parser.

Fix crash when icon_name is None

Fixes the following crash:

```
$ fdroid update --create-metadata --rename-apks
WARNING: Using Java's jarsigner, not recommended for verifying APKs! Use apksigner
CRITICAL: Unknown exception found!
Traceback (most recent call last):
  File "/home/jonas/miniconda3/bin/fdroid", line 164, in <module>
    main()
  File "/home/jonas/miniconda3/bin/fdroid", line 138, in main
    mod.main()
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1927, in main
    apks, cachechanged = process_apks(apkcache, repodirs[0], knownapks, options.use_date_from_apk)
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1454, in process_apks
    use_date_from_apk, ada, True)
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1327, in process_apk
    apk = scan_apk(apkfile)
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1056, in scan_apk
    scan_apk_aapt(apk, apk_file)
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1184, in scan_apk_aapt
    apk['icons_src'] = _get_apk_icons_src(apkfile, icon_name)
  File "/home/jonas/miniconda/lib/python3.6/site-packages/fdroidserver/update.py", line 1089, in _get_apk_icons_src
    density_re = re.compile('^res/(.*)/' + icon_name + '\.(png|xml)$')
TypeError: must be str, not NoneType
```

bump to 1.0.3

update: strip all whitespace from buildserverid

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!483

Weblate

Merge branch 'gradle-4.6' into 'master'

makebuildserver: add Gradle 4.6

See merge request fdroid/fdroidserver!482

makebuildserver: add Gradle 4.6

Merge branch 'master' into 'master'

update: handle AndroidManifest XML namespace named other than 'android'

See merge request fdroid/fdroidserver!481

update: handle AndroidManifest XML namespace named other than 'android'

https://stackoverflow.com/questions/5856719/why-do-we-specify-namespace-in-android-xml-file

https://f-droid.org/repo/org.moire.ultrasonic_60.apk has:
xmlns:a="http://schemas.android.com/apk/res/android"

Merge branch 'master' into 'master'

update: handle renameManifestPackage when extracting icons with androguard

See merge request fdroid/fdroidserver!480

update: handle renameManifestPackage when extracting icons with androguard

aapt --rename-manifest-package changes the applicationId for an app without
changing the packageName listed in AndroidManifest.xml under
<application android:package="">

Merge branch 'master' into 'master'

update: support all official DPIs when extracting icons

See merge request fdroid/fdroidserver!479

update: support all official DPIs when extracting icons

https://developer.android.com/training/multiscreen/screendensities.html

Merge branch 'master' into 'master'

two update parsing fixes  when using androguard

See merge request fdroid/fdroidserver!477

update: do not crash on android-26+ XML icon

For example:
res/drawable-v26/icon.xml

Here's the full range of possibilities, we have a lot of work to do:

$ for f in */*.apk; do unzip -l $f |grep -F icon.| grep -Eo 'res/drawable[^/]*'; done | sort -u
res/drawable
res/drawable-anydpi-v21
res/drawable-anydpi-v26
res/drawable-hdpi
res/drawable-hdpi-v11
res/drawable-hdpi-v12
res/drawable-hdpi-v4
res/drawable-hdpi-v5
res/drawable-hdpi-v6
res/drawable-hdpi-v9
res/drawable-large
res/drawable-large-hdpi-v11
res/drawable-large-hdpi-v4
res/drawable-large-ldpi-v4
res/drawable-large-mdpi
res/drawable-large-mdpi-v11
res/drawable-large-v4
res/drawable-large-xhdpi-v11
res/drawable-large-xhdpi-v4
res/drawable-large-xxhdpi-v11
res/drawable-large-xxhdpi-v4
res/drawable-ldpi
res/drawable-ldpi-v11
res/drawable-ldpi-v4
res/drawable-ldpi-v5
res/drawable-ldpi-v6
res/drawable-ldpi-v9
res/drawable-ldrtl-v17
res/drawable-mdpi
res/drawable-mdpi-v11
res/drawable-mdpi-v12
res/drawable-mdpi-v4
res/drawable-mdpi-v5
res/drawable-mdpi-v6
res/drawable-mdpi-v9
res/drawable-nodpi
res/drawable-nodpi-v4
res/drawable-tvdpi-v4
res/drawable-v11
res/drawable-v14
res/drawable-v21
res/drawable-xhdpi
res/drawable-xhdpi-v11
res/drawable-xhdpi-v12
res/drawable-xhdpi-v4
res/drawable-xhdpi-v9
res/drawable-xlarge-hdpi
res/drawable-xlarge-hdpi-v4
res/drawable-xlarge-mdpi
res/drawable-xlarge-mdpi-v4
res/drawable-xlarge-v4
res/drawable-xlarge-xhdpi-v4
res/drawable-xxhdpi
res/drawable-xxhdpi-v11
res/drawable-xxhdpi-v21
res/drawable-xxhdpi-v4
res/drawable-xxhdpi-v9
res/drawable-xxxhdpi
res/drawable-xxxhdpi-v11
res/drawable-xxxhdpi-v4

update: do not crash on APKs without icons when using androguard

update: handle bad XML when using androguard

repo/ch.swift.willi_417101.apk had a C/Java comment in the
AndroidManifest.xml rather than an XML comment:

<uses-sdk android:minSdkVersion="16" android:targetSdkVersion="26">
</uses-sdk>
// Remove permissions introduced by the appsflyer library
<uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION">
</uses-permission>

update: do not crash with androguard when working with apps without icons

For example, SpeedoMeterApp.main_1.apk

Merge branch 'fix_config_doc' into 'master'

Fix misleading java_path example

See merge request fdroid/fdroidserver!478

Fix misleading java_path example

As you can see in fdroidserver/common.py:219
for java_version in ('7', '8', '9'):
the code look for java version without the 1. in front, after getting a
bunch of error message that JDK could't be found, investigating the code
and documentation I discovered my configuration was ignored because of
this and realized the example was wrong

jenkins-test: run checkupdates as final stage of test run

Merge branch 'master' into 'master'

checkupdates: Save app data to correct metadata format

Closes #461

See merge request fdroid/fdroidserver!476

checkupdates: Save app data to correct metadata format

Closes #461

jenkins-test: remove tmp hack now that androguard is available

Does the same thing as 9f553186e8d24559ab8a9ce2745c041fc094dac4 but for
jenkins.debian.net's profitbricks-build7-amd64 setup.

gitlab-ci: make ubuntu_lts job test of fdroid/fdroidserver PPA

Now that androguard is working, there should be no need for a specific aapt
version.  The aapt included in Ubuntu LTS should always work fine when
androguard handles the bulk of the work.

Merge 'fix-scanner' into 'master'

scanner: support Gradle plugin 3.0 syntax for dependencies

fdroid/fdroidserver!475

fix PEP8 formatting issue

fdroidserver/scanner.py:35:34: E241 multiple spaces after ','
fdroidserver/scanner.py:36:35: E241 multiple spaces after ','
fdroidserver/scanner.py:37:30: E241 multiple spaces after ','
fdroidserver/scanner.py:38:41: E241 multiple spaces after ','
fdroidserver/scanner.py:39:30: E241 multiple spaces after ','
fdroidserver/scanner.py:40:38: E241 multiple spaces after ','
fdroidserver/scanner.py:41:38: E241 multiple spaces after ','

scanner: support Gradle plugin 3.0 syntax for dependencies

See https://developer.android.com/studio/build/gradle-plugin-3-0-0-migration.html#new_configurations

travis-ci: build against latest OSX 10.12 and 10.13 images

travis-ci: support old versions of OSX

travis: brew's Python3 is now called just 'python'

https://discourse.brew.sh/t/brew-install-python3-fails/1756

tests: checkupdates now requires a clean git repo state

Merge branch 'checkupdates' into 'master'

tighten up checkupdates

See merge request fdroid/fdroidserver!474

build/checkupdates/update: log current fdroiddata commit to wiki

checkupdates: exit with error if fdroiddata git repo is dirty

One key security property of the F-Droid ecosystem is that the sensitive
code is all stored forever in git repos and source tarballs.  That means
we can easily go back and see if there where exploits and where they came
from.  Therefore, checkupdates should require everything in fdroiddata be
committed to git before running.

This provides --allow-dirty to override that behavior.

Merge branch 'more-security-fixes' into 'master'

More security fixes

See merge request fdroid/fdroidserver!471

VercodeOperation: only allow simple math expresssions and %c

hg: use /bin/false to clarify that it is an executable

SVN: only allow redirects to HTTPS

"SVN follows HTTP 301 redirects to svn+ssh:// URLs. As a result, an
innocent looking HTTP URL can be used to trigger a Command Execution with a
301 redirect."
https://blog.recurity-labs.com/2017-08-10/scm-vulns.html#third-round-svn-and-mercurial

I scanned fdroiddata and found no suspicious redirects.  Here's how:

grep -A1 '^Repo *Type: *git-svn' *.txt *.yml| sed -n 's,.*Repo:\(.*\),\1,p' > /tmp/urls.txt

import requests
with open('/tmp/urls.txt') as fp:
    for line in fp:
        try:
            r = requests.head(line.strip())
            print(r.status_code, line)
        except requests.exceptions.SSLError:
            print('SSLError', line)

Merge branch 'lint_fix' into 'master'

lint: fix update check data https check

See merge request fdroid/fdroidserver!473

lint: fix update check data https check

The urlver field can be '.', this was not considered in
26bfd7fb28163abbf8f599609ce57e2bd10a9eed.

Merge branch 'tighten-up-UpdateCheckData' into 'master'

Tighten up UpdateCheckData

See merge request fdroid/fdroidserver!470

checkupdates: require UpdateCheckData has valid HTTPS URL

lint: require UpdateCheckData to contain only valid HTTPS URLs

lint: tighten up HTTPS checks on URLs

Merge branch 'master' into 'master'

update: make icon extraction less dependent on aapt

Closes fdroid-website#192

See merge request fdroid/fdroidserver!469

lint: ban all dangerous HTML tags

* https://en.wikipedia.org/wiki/HTML_sanitization
* https://asostack.com/enhance-your-google-play-store-description-with-rich-formatting-and-emojis-5f50ff354e5f

update: make icon extraction less dependent on aapt

For androguard, @thezero already developed a way to get all the icons after
only extracting the icon name.  So this uses that for the aapt-based scans
also, to make them less brittle.

This should fix the problem where `fdroid update` was choosing the XML icon
for apps that include one, like NewPipe.

closes fdroid/fdroid-website#192

gitlab-ci: set metadata_v0 test to use 1.0.2 as the baseline

rewritemeta: fix proper_format() so lint works with .yml files

Merge branch 'allow-dashes-and-underscores-in-signature-file-names-when-checking-for-reproducability' into 'master'

allow dashes and underscores in signature file names when checking for reproducability

See merge request fdroid/fdroidserver!468

allow dashes and underscores in signature file names when checking for reproducability

bump to 1.0.2 to placate pypi

I mistakenly uploaded the dist tarball to pypi without the PGP signature.
So I deleted the release, thinking I could reupload it.  It is not possible:
https://github.com/pypa/packaging-problems/issues/74

So this is really just a bump so I can reupload to pypi.

common: tighten up regexs when searching for version name/code and appid

This should have less of a change of matching bad things.
thanks to @stf for the report.  I ran tests comparing the original vs these
new patterns, and it was a 100% match. So at least it didn't make things
worse.

Here's the test script:
#!/usr/bin/env python3

import os
import re

old_vcsearch_g = re.compile(r'''.*[Vv]ersionCode[ =]+["']*([0-9]+)["']*''').search
old_vnsearch_g = re.compile(r'.*[Vv]ersionName *=* *(["\'])((?:(?=(\\?))\3.)*?)\1.*').search
old_psearch_g = re.compile(r'.*(packageName|applicationId) *=* *["\']([^"]+)["\'].*').search
new_vcsearch_g = re.compile(r'''.*[Vv]ersionCode\s*=?\s*["']*([0-9]+)["']*''').search
new_vnsearch_g = re.compile(r'''.*[Vv]ersionName\s*=?\s*(["'])((?:(?=(\\?))\3.)*?)\1.*''').search
new_psearch_g = re.compile(r'''.*(packageName|applicationId)\s*=*\s*["']([^"']+)["'].*''').search

old = re.compile(r'.*(packageName|applicationId) *=* *["\']([^"]+)["\'].*').search
new = re.compile(r'''.*(packageName|applicationId)\s*=*\s*["']([^"']+)["'].*''').search

for root, dirs, files in os.walk('build'):
    for f in files:
        if f.endswith('.gradle'):
            with open(os.path.join(root, f)) as fp:
                for line in fp:
                    for old, new in ((old_vcsearch_g, new_vcsearch_g),
                                     (old_vnsearch_g, new_vnsearch_g),
                                     (old_psearch_g, new_psearch_g)):
                        found_old = old(line)
                        found_new = new(line)
                        oldresult = None
                        newresult = None
                        if found_old or found_new:
                            if found_old:
                                oldresult = found_old.groups()
                                #print('OLD', oldresult)
                            if found_new:
                                newresult = found_new.groups()
                                #print('NEW', newresult)
                            if oldresult != newresult:
                                print('--------------------------------')
                                print(f, oldresult, newresult)

Bump to 1.0.1!

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!467

Weblate

Merge branch 'androguard-fixes' into 'master'

Androguard fixes

See merge request fdroid/fdroidserver!466

signatures: future-proof fetching app ID info from APK

We're not using platformBuildVersionName and it might go away just like it
appeared: with no good reason or announcement.

update: switch to improved androguard detection

gitlab-ci: remove apt-get progress dumps from build log

gitlab-ci: try to download PPA keys until they succeed

This download occasionally fails, so this keeps retrying till it succeeds.
The CI job has a time limit, so no need to figure out an exit condition.

tests: do not automatically run install.TestCase, its troublesome

`fdroid install` is rarely used, if at all, and the test frequently fails
for no reason in gitlab-ci, because it can't start the adb server.

gitlab-ci: test against latest build-tools 27.0.3

gitlab-ci: androguard from Debian/unstable til it stabilizes

make is_apk_and_debuggable() default to using androguard before aapt

init: do not try to find aapt if androguard is available

update: include implied permissions when using androguard

`aapt dump badging` includes these when listing uses-permissions:
https://github.com/androguard/androguard/pull/428

update: 'features' list only includes required features

The F-Droid index 'features' list is not the same as what is in the
AndroidManifest.xml.  It only includes "required" features, for example.

gitlab-ci: switch debian_testing to use androguard

update: fix crash from missing file extension in extracted icon

I missed this in 40fac10ebcd95095741a243ff621b67335cf9e5b, yay tests!

Merge branch 'use-androguard-first' into 'master'

use androguard first

Closes #236

See merge request fdroid/fdroidserver!465

Merge branch 'support-xml-icons' into 'master'

Support XML icons

Closes #392

See merge request fdroid/fdroidserver!464

update: use androguard by default if it is available

closes #236

update: extract and store XML icons

These can then be used by the client.

#344
#392

update: switch to new androguard v3.1 API based on lxml

apkobject.get_android_manifest_xml() used to return a xml.dom.minidom
object, now it returns an lxml.etree.Element object.

update: find alternate PNGs for apps that have an XML app icon

Apps can now use an XML icon, but if the app supports older Android
versions, it'll also contain PNG versions of the same icon.  This finds
those PNGs and uses them instead.

#344
closes #392
fdroiddata#913