Merge branch 'python-vagrant-copy-caches' into 'master'

complete staging buildserver setup on jenkins.debian.net using nested KVM instances

See merge request !176

makebuildserver: make config['domain'] local var where its needed

refactored vm related code from build.py to vmtools.py

removed unused buildserver code

leave VirtualBox `vagrant package` as it was originally

We only need Vagrantfile hacks for KVM.

restart builder vm when ssh connection fails

build: delete bad builder/ symlinks

If builder/ is a symlink but is not detected as a directory by
os.path.isdir(), then it is a broken symlink.

wait a sec after suspending

reset buildserver vm if vagrant uuid not present

makebuildserver vbox logmessage fix

use uuid for vbox snapshots again

removed useless vm validity check; attempted to fix vbox support

deal with outdated box images in libvirt storage pool

makebuildserver deal with apt cache lock

build server use up instead or resume; logging

test script for vmtools

revised build server creation

auto-lookup vm provider based on available executables; more fault tolerant vagrant package

fixed reading libvirt box image size

vmtools debug logging for check_output calls

added box handling to vmtools

refactored kvm_package to vmtools

added makebuildserver option for keeping vagrant box

This is very useful for debugging this process, and also for people
who might want to keep a working copy of the box.

fix virsh destroy parameters

use configured vm provider in when calling destroy in makebuildserver

use overhauled mv destroy code in build.py

overhauled and moved destroying builder vm to vmtools.py

fdroid build: added sleep after destroy/undefine

makebuildserver added sleep after destroy/undefine

makebuildserver more robust codepath for vagrant destroy

makebuildserver added failsafe when destroy vagrant vm

makebuildserver use virsh instead of libvirt for forcing domain off

makebuildserver debug logging when initial provisioning fails

overhauled makebuildserver libvirt vm cleanup

makebuildserver debugging log details

makebuildserver prune gloabal vagrant status when purging broken VMs

delete .vagrant dir when cleaning up buildserver vm

jenkins makebuildserver fail if vagrant box was not created

calculate correct size for buildserver-box in makebuildserver

https://gitlab.com/fdroid/fdroidserver/issues/238#note_24000153
"Our hard-coded image size meta-data (1000) is for some interpreted as less
than the size of the box-image by my kvm setup. This makes grub/initrd
refuse to boot. So I've changed the metadata size to 9999 which resulted in
an actually booting vm. I can log in on the builder-vm via virt-manager
and virsh.

auto-reset broken builder vm

scan vm provider again after re-creating builder vm

added some debug listings to jenkins makebuildserver script

delete associated libvirt domain/image when destroying builder vm

build: fixed kvm snapshot support; makebuildserver: setup kvm ssh credentials

added libvirt vm-provider support to build.py

makebuildserver: package up KVM VM as a vagrant box

`vagrant package` does not work with KVM, so we have to hack together our
own until someone implements it (suppose we should do it). This is a hacked
up version based on:
https://github.com/vagrant-libvirt/vagrant-libvirt/blob/d7d440ea8f24f698a93a4c5b9a5149acef469579/tools/create_box.sh

#238

buildserver: make --clean destroy reliably

This prevents v.destroy() from running if Vagrantfile.yaml does not exist,
since that is required for vagrant to run: is the core config including the
name of the box, etc.  Otherwise, it would exit with an error.

This also does complete cleanup when using libvirt.

buildserver: consolidate boxfile export code into one block

This is just for clarity, and moving more code into the main() function.

buildserver: add copy_caches_from_host config option

For people using slow, expensive, and/or flaky internet, liberal use of
caching can make a huge difference.  The restricted environment of the
gpjenkins box has been a good test environment for this (Tor-only,
whitelist of allowed IPs to visit, home internet connection).

buildserver: run_via_vagrant_ssh() to run cmds via python-vagrant

This moves the last vagrant call in a subprocess.

buildserver: move code into main() method to always stop thread

By running the whole program in a main() function, it can be wrapped in
try/finally in order to stop the background display thread.  This is also
done in ./fdroid, its standard practice for Python CLI utilities.

buildserver: display verbose logging in a background tail

buildserver: replace custom code with python-vagrant

I ran into some annoying issues with UTF-8 output in the vagrant logs, and
it was hard to solve.  So I switched to using python-vagrant, which handles
it all for us.  Its been around since 2012, has a number of contributors,
and is still actively maintained, so it seems like a good bet. I also
packaged it for Debian, including a backport in jessie-backports.

On Debian/jessie, do `apt-get install python3-vagrant/jessie-backports`

include class like UNIX `tail -f` for displaying logs

This allows fdroidserver to easily log activity while displaying it at the
same time.

move bulk of reproducible_fdroid_build_apps.sh to jenkins-build

This lets us quickly and frequently test things.

Merge branch 'exceptions' into 'master'

Replace sys.exit() in non-main functions by exceptions

See merge request !273

Replace sys.exit() in non-main functions by exceptions

Also move all exceptions into one module

fix calling vagrant global-status

use stable version of priv ext instead of latest when testing in makebuildserver

jenkins-build-makebuildserver: retry `git fetch` until it works

It seems that gitlab gives 500 errors a bit too frequently, so keep
retrying the `git pull` until it works so that there isn't a error email
sent out over failed pulls.

Merge branch 'indexing-fixes' into 'master'

indexing fixes

Closes #303

See merge request !270

update: find aapt when it is not in the PATH

This is some very messy logic built up since 2010.  This will all go away
once we have a python3 version of androguard available.

The removed imports and `dir(APK)` is to silence pyflakes

closes #303

update: fix fastlane scraping, it uses a subdir called 'images'

https://commons.wikimedia.org/wiki/File:GetChromium_FeatureGraphic_1024x500.png

update: skip packages without metadata in index V1

If a package does not have a matching "app" metadata file, then it should
not be added to the index. index V0 already does this properly.

update: improved logging

the aapt warnings were very verbose, and the other now includes the
file name type for screenshots, rather than the filename twice.

update: allow repo files to use _ in the file names

_ is a valid character for Java package names, so it should also work in
the repo file naming scheme. This makes it so it only splits the file
name based on the last _.

metadata: switch from deprecated cgi.escape to html.escape

cgi.escape is deprecated in Python 3.x and has security issues:
https://bugs.python.org/issue26398

html.escape() differs from cgi.escape() by its defaults to quote=True:

 s = html.escape( """& < " ' >""" )   # s = '&amp; &lt; &quot; &#x27; &gt;'

Merge branch 'cdn-git-mirror' into 'master'

Fix double pushing on remote git-mirror

See merge request !272

fix double pushing on remote

Merge branch 'cdn-git-mirror' into 'master'

Use Gitlab Pages as mirror instead of Raw

Closes #293

See merge request !271

Use gitlab pages as mirror

Merge branch 'hg39' into 'master'

buildserver: use hg 3.9 from backports

See merge request !266

buildserver: use hg 3.9 from backports

Merge branch 'master' into 'master'

replace aapt with androguard

See merge request !234

Merge branch 'yaml' into 'master'

basic support for YAMLin `fdroid rewritemeta`

Closes #285 and #169

See merge request !260

use androguard if aapt isn't found

Merge branch 'download-index-etag' into 'master'

Support ETag when downloading repository index

See merge request !264

Support ETag when downloading repository index

fix white space trimming when writing .txt format

Some of the internal data format changes somehow broke the white space
trimming when writing out .txt.

closes #285

use pyyaml for rewriting .yml metadata files

This replaces the broken, custom code with the standard YAML lib.

In rewritemeta, do not call app.metadatapath since it will be deleted when
the dict is cleaned up for outputing. metadatapath is only used internally
and should not be written out.

closes #169
refs #290

Merge branch 'libvirt-support' into 'master'

Check for libvirt specific shutoff message

See merge request !262

Merge branch 'pre-0.103-alpha4-rename' into 'master'

downcase all 'localized' key names to match the rest of index-v1

See merge request !261

Check for libvirt specific shutoff message

downcase all 'localized' key names to match the rest of index-v1

This is a little omission.  keys that are used in metadata/*.yml all start
with an UpperCase letter, but in fdroidserver, index-v1.json, and
fdroidclient, it is all camelCase with lowercase first letter. The keys
from the 'localized' section are currently never in metadata/*.yml, so
these keys never get downcase.  This change will break fdroidclient
versions that do not also have this change, but since we're in alpha, that
should be fine.

If support for a 'localized' section is added to metadata/*.yml, then the
keys there should probably be UpperCase CamelCase to match the other keys.

Merge branch 'git-identity-file' into 'master'

Make git server mirror upload honor config['identity_file'] option

See merge request !259

Make git server mirror upload honor config['identity_file'] option

Merge branch '148-no-verify-logs-on-split-build-publish-infrastructure' into 'master'

compare apk with Binaries from metadata right after building

Closes #148

See merge request !247

remove build output when not reproducible

unified method for naming build output

check meld config for manual apk diffs

use verify_apks for checking build output

fix java architecture in buildserver config

compare apk with Binaries from metadata right after building

Merge branch '273-invalid-apk-gets-through-to-publish-stage' into 'master'

throw proper error when download of apks fail

Closes #273

See merge request !258

throw proper error when download of apks fail

Merge branch 'gradleplugin' into 'master'

bs: use only prefixes for gradle kv pairs

See merge request !257

Merge branch 'full-app-store-metadata-scraping' into 'master'

Full app store metadata scraping

Closes #204 and #143

See merge request !253

add basic test for Triple-T Gradle Play Publisher scraping

update: fix glob to actually match all locales

glob != regexp, [A-Z-.@] means one of those chars is required in that
position, so the glob pattern was requiring a least 3 chars.  Locales are
usually just two lower case letters, e.g. vi, de, ar.

support "Author Web Site" as metadata field

Fastlane Supply, Triple-T Gradle Play Publisher, and many app stores
include the possibility to specify a website for the author, as distinct
from the website for the app.

closes #204