Merge branch 'duplicate-apk-processing' into 'master'

APK processing for duplicate versionCodes and renaming

See merge request !280

check signature and OpenSSL after APK has proven valid

If working with a random grabbag of APKs, there can be all sorts of
issues like corrupt entries in the ZIP, bad signatures, signatures that
are invalid since they use MD5, etc.  Moving these two checks later means
that the APKs can be renamed still.

This does change how common.getsig() works.  For years, it returned
None if the signature check failed.  Now that I've started working
with giant APK collections gathered from the wild, I can see that
`fdroid update` needs to be able to first index what's there, then
make decisions based on that information.  So that means separating
the getsig() fingerprint fetching from the APK signature verification.

This is not hugely security sensitive, since the APKs still have to
get past the Android checks, e.g. update signature checks.  Plus the
APK hash is already included in the signed index.

strip file extension from generated name for non-APKs

With a generic file, the file name is the only guaranteed name metadata
field.  So if the name is not specified in the metadata, then the name
is set to the filename.  This changes that so that the file extension is
stripped from that generated name.

use var naming scheme in KnownApks (apk --> apkName)

Everywhere else, the file name of the APK is called apkName.

regexs for getting packageName and versionCode from filenames

This is useful for parsing APK files, which can include packageName,
versionCode, and optionally 7 char signing key ID (i.e. <sig>).
This also can set the packageName and versionCoe for non APK files, so
that it is easy to assign them to metadata files, and to allow for
upgrades by setting the versionCode in the filename.

index.xml cannot handle APKs with the same packageName/versionCode

Really, it is the fdroidclient parser of index.xml that fails, due to the
hardcoded expectation that there will only ever be a single APK for any
given versionCode.  We keep index.xml backwards compatible for old
clients, and use index-v1.json to support new things.  Having multiple
APKs that have the same packageName and versionCode will break the client
v0.103.* since that version uses index-v1.json, but still has the hard-
coded database parsing stuff.

#153

update: add --rename-apks to force APK filenames to fdroid standard

uses the standard package.name_123.apk.  If that exists, it appends the
shasum.  If that exists, then its a duplicate, so its deleted. This should
help @SergeWinters with his 12,000 APKs.

allow APKs with same packageName/versionCode but different signer

There are many APKs out in the wild that claim to be the same app and
version and each other, but they are signed by different keys.  fdroid
should be able to index these, and work with them.   This supports having
the developer's signature via reproducible builds, random collections of
APKs like repomaker, etc.

gitlab-ci: add index v0 metadata parsing test

This test is very handy for making sure the old index.xml v0 format does
not inadvertantly change.

add basic test for `fdroid scanner`

There was no test coverage at all for this command, this is a very basic
test that should prevent things like 2626858450953ac65124765d2cd73d1602846372

Merge branch 'master' into 'master'

Add support for the new Bitbucket look

See merge request !278

Add support for the new Bitbucket look

Merge branch 'makebs' into 'master'

makebs: update to ndk-r14b and build-tools-25.0.3

See merge request !277

Merge branch 'lint-for-newness' into 'master'

`fdroid lint` support for SPDX, l18n, dev signatures

Closes #234

See merge request !269

makebs: update to ndk-r14b and build-tools-25.0.3

make tests pass new lint rules

lint: use only license tags from https://spdx.org/license-list

closes #234

lint: support new per-package subdirs for l18n and dev signatures

Graphics and localized text can now be stored in the package folders,
always in a folder that is named for the locale.  The upstream developer
signature is also now stored, so that the upstream APK can be reproduced
even if they remove their APKs.

#291
fdroiddata!2229
fdroiddata!2224
fdroidclient#15
fdroidserver#174

lint: add popular URL shorteners to the banned list

Merge branch 'master' into 'master'

Don't pass root_dir to scan_source

See merge request !276

Don't pass root_dir to scan_source

Merge branch 'modernize-pylint' into 'master'

modernize pylint

See merge request !252

Merge branch 'linphone-packages' into 'master'

Add required packages for linphone 3.1.0 build

See merge request !274

Add required packages for linphone 3.1.0 build

fix pylink 'dict' has no member 'keystore'

fix pylint unused-argument

update outdated pylint setup

The logilab-astng lib is dead, replaced by python-astroid.  The crazy astng
plugin is no longer needed also.

#281

Merge branch 'python-vagrant-copy-caches' into 'master'

complete staging buildserver setup on jenkins.debian.net using nested KVM instances

See merge request !176

makebuildserver: make config['domain'] local var where its needed

refactored vm related code from build.py to vmtools.py

removed unused buildserver code

leave VirtualBox `vagrant package` as it was originally

We only need Vagrantfile hacks for KVM.

restart builder vm when ssh connection fails

build: delete bad builder/ symlinks

If builder/ is a symlink but is not detected as a directory by
os.path.isdir(), then it is a broken symlink.

wait a sec after suspending

reset buildserver vm if vagrant uuid not present

makebuildserver vbox logmessage fix

use uuid for vbox snapshots again

removed useless vm validity check; attempted to fix vbox support

deal with outdated box images in libvirt storage pool

makebuildserver deal with apt cache lock

build server use up instead or resume; logging

test script for vmtools

revised build server creation

auto-lookup vm provider based on available executables; more fault tolerant vagrant package

fixed reading libvirt box image size

vmtools debug logging for check_output calls

added box handling to vmtools

refactored kvm_package to vmtools

added makebuildserver option for keeping vagrant box

This is very useful for debugging this process, and also for people
who might want to keep a working copy of the box.

fix virsh destroy parameters

use configured vm provider in when calling destroy in makebuildserver

use overhauled mv destroy code in build.py

overhauled and moved destroying builder vm to vmtools.py

fdroid build: added sleep after destroy/undefine

makebuildserver added sleep after destroy/undefine

makebuildserver more robust codepath for vagrant destroy

makebuildserver added failsafe when destroy vagrant vm

makebuildserver use virsh instead of libvirt for forcing domain off

makebuildserver debug logging when initial provisioning fails

overhauled makebuildserver libvirt vm cleanup

makebuildserver debugging log details

makebuildserver prune gloabal vagrant status when purging broken VMs

delete .vagrant dir when cleaning up buildserver vm

jenkins makebuildserver fail if vagrant box was not created

calculate correct size for buildserver-box in makebuildserver

https://gitlab.com/fdroid/fdroidserver/issues/238#note_24000153
"Our hard-coded image size meta-data (1000) is for some interpreted as less
than the size of the box-image by my kvm setup. This makes grub/initrd
refuse to boot. So I've changed the metadata size to 9999 which resulted in
an actually booting vm. I can log in on the builder-vm via virt-manager
and virsh.

auto-reset broken builder vm

scan vm provider again after re-creating builder vm

added some debug listings to jenkins makebuildserver script

delete associated libvirt domain/image when destroying builder vm

build: fixed kvm snapshot support; makebuildserver: setup kvm ssh credentials

added libvirt vm-provider support to build.py

makebuildserver: package up KVM VM as a vagrant box

`vagrant package` does not work with KVM, so we have to hack together our
own until someone implements it (suppose we should do it). This is a hacked
up version based on:
https://github.com/vagrant-libvirt/vagrant-libvirt/blob/d7d440ea8f24f698a93a4c5b9a5149acef469579/tools/create_box.sh

#238

buildserver: make --clean destroy reliably

This prevents v.destroy() from running if Vagrantfile.yaml does not exist,
since that is required for vagrant to run: is the core config including the
name of the box, etc.  Otherwise, it would exit with an error.

This also does complete cleanup when using libvirt.

buildserver: consolidate boxfile export code into one block

This is just for clarity, and moving more code into the main() function.

buildserver: add copy_caches_from_host config option

For people using slow, expensive, and/or flaky internet, liberal use of
caching can make a huge difference.  The restricted environment of the
gpjenkins box has been a good test environment for this (Tor-only,
whitelist of allowed IPs to visit, home internet connection).

buildserver: run_via_vagrant_ssh() to run cmds via python-vagrant

This moves the last vagrant call in a subprocess.

buildserver: move code into main() method to always stop thread

By running the whole program in a main() function, it can be wrapped in
try/finally in order to stop the background display thread.  This is also
done in ./fdroid, its standard practice for Python CLI utilities.

buildserver: display verbose logging in a background tail

buildserver: replace custom code with python-vagrant

I ran into some annoying issues with UTF-8 output in the vagrant logs, and
it was hard to solve.  So I switched to using python-vagrant, which handles
it all for us.  Its been around since 2012, has a number of contributors,
and is still actively maintained, so it seems like a good bet. I also
packaged it for Debian, including a backport in jessie-backports.

On Debian/jessie, do `apt-get install python3-vagrant/jessie-backports`

include class like UNIX `tail -f` for displaying logs

This allows fdroidserver to easily log activity while displaying it at the
same time.

move bulk of reproducible_fdroid_build_apps.sh to jenkins-build

This lets us quickly and frequently test things.

Merge branch 'exceptions' into 'master'

Replace sys.exit() in non-main functions by exceptions

See merge request !273

Replace sys.exit() in non-main functions by exceptions

Also move all exceptions into one module

fix calling vagrant global-status

use stable version of priv ext instead of latest when testing in makebuildserver

jenkins-build-makebuildserver: retry `git fetch` until it works

It seems that gitlab gives 500 errors a bit too frequently, so keep
retrying the `git pull` until it works so that there isn't a error email
sent out over failed pulls.

Merge branch 'indexing-fixes' into 'master'

indexing fixes

Closes #303

See merge request !270

update: find aapt when it is not in the PATH

This is some very messy logic built up since 2010.  This will all go away
once we have a python3 version of androguard available.

The removed imports and `dir(APK)` is to silence pyflakes

closes #303

update: fix fastlane scraping, it uses a subdir called 'images'

https://commons.wikimedia.org/wiki/File:GetChromium_FeatureGraphic_1024x500.png

update: skip packages without metadata in index V1

If a package does not have a matching "app" metadata file, then it should
not be added to the index. index V0 already does this properly.

update: improved logging

the aapt warnings were very verbose, and the other now includes the
file name type for screenshots, rather than the filename twice.

update: allow repo files to use _ in the file names

_ is a valid character for Java package names, so it should also work in
the repo file naming scheme. This makes it so it only splits the file
name based on the last _.

metadata: switch from deprecated cgi.escape to html.escape

cgi.escape is deprecated in Python 3.x and has security issues:
https://bugs.python.org/issue26398

html.escape() differs from cgi.escape() by its defaults to quote=True:

 s = html.escape( """& < " ' >""" )   # s = '&amp; &lt; &quot; &#x27; &gt;'

Merge branch 'cdn-git-mirror' into 'master'

Fix double pushing on remote git-mirror

See merge request !272

fix double pushing on remote

Merge branch 'cdn-git-mirror' into 'master'

Use Gitlab Pages as mirror instead of Raw

Closes #293

See merge request !271

Use gitlab pages as mirror

Merge branch 'hg39' into 'master'

buildserver: use hg 3.9 from backports

See merge request !266

buildserver: use hg 3.9 from backports