buildserver: replace custom code with python-vagrant

I ran into some annoying issues with UTF-8 output in the vagrant logs, and
it was hard to solve.  So I switched to using python-vagrant, which handles
it all for us.  Its been around since 2012, has a number of contributors,
and is still actively maintained, so it seems like a good bet. I also
packaged it for Debian, including a backport in jessie-backports.

On Debian/jessie, do `apt-get install python3-vagrant/jessie-backports`

include class like UNIX `tail -f` for displaying logs

This allows fdroidserver to easily log activity while displaying it at the
same time.

move bulk of reproducible_fdroid_build_apps.sh to jenkins-build

This lets us quickly and frequently test things.

Merge branch 'exceptions' into 'master'

Replace sys.exit() in non-main functions by exceptions

See merge request !273

Replace sys.exit() in non-main functions by exceptions

Also move all exceptions into one module

fix calling vagrant global-status

use stable version of priv ext instead of latest when testing in makebuildserver

jenkins-build-makebuildserver: retry `git fetch` until it works

It seems that gitlab gives 500 errors a bit too frequently, so keep
retrying the `git pull` until it works so that there isn't a error email
sent out over failed pulls.

Merge branch 'indexing-fixes' into 'master'

indexing fixes

Closes #303

See merge request !270

update: find aapt when it is not in the PATH

This is some very messy logic built up since 2010.  This will all go away
once we have a python3 version of androguard available.

The removed imports and `dir(APK)` is to silence pyflakes

closes #303

update: fix fastlane scraping, it uses a subdir called 'images'

https://commons.wikimedia.org/wiki/File:GetChromium_FeatureGraphic_1024x500.png

update: skip packages without metadata in index V1

If a package does not have a matching "app" metadata file, then it should
not be added to the index. index V0 already does this properly.

update: improved logging

the aapt warnings were very verbose, and the other now includes the
file name type for screenshots, rather than the filename twice.

update: allow repo files to use _ in the file names

_ is a valid character for Java package names, so it should also work in
the repo file naming scheme. This makes it so it only splits the file
name based on the last _.

metadata: switch from deprecated cgi.escape to html.escape

cgi.escape is deprecated in Python 3.x and has security issues:
https://bugs.python.org/issue26398

html.escape() differs from cgi.escape() by its defaults to quote=True:

 s = html.escape( """& < " ' >""" )   # s = '&amp; &lt; &quot; &#x27; &gt;'

Merge branch 'cdn-git-mirror' into 'master'

Fix double pushing on remote git-mirror

See merge request !272

fix double pushing on remote

Merge branch 'cdn-git-mirror' into 'master'

Use Gitlab Pages as mirror instead of Raw

Closes #293

See merge request !271

Use gitlab pages as mirror

Merge branch 'hg39' into 'master'

buildserver: use hg 3.9 from backports

See merge request !266

buildserver: use hg 3.9 from backports

Merge branch 'master' into 'master'

replace aapt with androguard

See merge request !234

Merge branch 'yaml' into 'master'

basic support for YAMLin `fdroid rewritemeta`

Closes #285 and #169

See merge request !260

use androguard if aapt isn't found

Merge branch 'download-index-etag' into 'master'

Support ETag when downloading repository index

See merge request !264

Support ETag when downloading repository index

fix white space trimming when writing .txt format

Some of the internal data format changes somehow broke the white space
trimming when writing out .txt.

closes #285

use pyyaml for rewriting .yml metadata files

This replaces the broken, custom code with the standard YAML lib.

In rewritemeta, do not call app.metadatapath since it will be deleted when
the dict is cleaned up for outputing. metadatapath is only used internally
and should not be written out.

closes #169
refs #290

Merge branch 'libvirt-support' into 'master'

Check for libvirt specific shutoff message

See merge request !262

Merge branch 'pre-0.103-alpha4-rename' into 'master'

downcase all 'localized' key names to match the rest of index-v1

See merge request !261

Check for libvirt specific shutoff message

downcase all 'localized' key names to match the rest of index-v1

This is a little omission.  keys that are used in metadata/*.yml all start
with an UpperCase letter, but in fdroidserver, index-v1.json, and
fdroidclient, it is all camelCase with lowercase first letter. The keys
from the 'localized' section are currently never in metadata/*.yml, so
these keys never get downcase.  This change will break fdroidclient
versions that do not also have this change, but since we're in alpha, that
should be fine.

If support for a 'localized' section is added to metadata/*.yml, then the
keys there should probably be UpperCase CamelCase to match the other keys.

Merge branch 'git-identity-file' into 'master'

Make git server mirror upload honor config['identity_file'] option

See merge request !259

Make git server mirror upload honor config['identity_file'] option

Merge branch '148-no-verify-logs-on-split-build-publish-infrastructure' into 'master'

compare apk with Binaries from metadata right after building

Closes #148

See merge request !247

remove build output when not reproducible

unified method for naming build output

check meld config for manual apk diffs

use verify_apks for checking build output

fix java architecture in buildserver config

compare apk with Binaries from metadata right after building

Merge branch '273-invalid-apk-gets-through-to-publish-stage' into 'master'

throw proper error when download of apks fail

Closes #273

See merge request !258

throw proper error when download of apks fail

Merge branch 'gradleplugin' into 'master'

bs: use only prefixes for gradle kv pairs

See merge request !257

Merge branch 'full-app-store-metadata-scraping' into 'master'

Full app store metadata scraping

Closes #204 and #143

See merge request !253

add basic test for Triple-T Gradle Play Publisher scraping

update: fix glob to actually match all locales

glob != regexp, [A-Z-.@] means one of those chars is required in that
position, so the glob pattern was requiring a least 3 chars.  Locales are
usually just two lower case letters, e.g. vi, de, ar.

support "Author Web Site" as metadata field

Fastlane Supply, Triple-T Gradle Play Publisher, and many app stores
include the possibility to specify a website for the author, as distinct
from the website for the app.

closes #204

include Author/Contact info from Triple-T Gradle Play Publisher

This is just the bare minimum, it adds it to the index, but AuthorPhone
and AuthorWebsite are not yet supported by fdroidclient.  AuthorName is.

#204

update: include "What's New" texts when they are available

This uses the "What's New" entry for the CurrentVersionCode and includes it
as the current WhatsNew metadata for the App class.

Things like fastlane supply and Google Play support a "What's New" entry
per-APK, but fdroidclient does not current use anything but the current
version of this data.  Right now, it seems we probably only want to have
the latest WhatsNew in the index to save space.

In theory, we could make the WhatsNew data structure follow the structure
of fastlane/Play, but that would quite a bit of complexity for something
that might never be used.

fdroidclient#910

update: app store metadata from Triple-T gradle play publisher

Since f-droid.org has the source repos, `fdroid update` can just grab files
from the source repo.  This makes `fdroid update` use the metadata that is
laid out in the Triple-T gradle play publisher filesystem layout:

https://github.com/Triple-T/gradle-play-publisher#upload-images
https://github.com/Triple-T/gradle-play-publisher#play-store-metadata

closes #143

update: include localized app store metadata from fastlane

This includes all metadata from the app's source repo following the path
layout specified for the fastlane supply tool:
https://github.com/fastlane/fastlane/blob/1.109.0/supply/README.md#images-and-screenshots

refs #35
closes #143

add char limits for text: Name=30, Video=256, WhatsNew=500

Since this info can come from automated sources, this prevents giant blobs
from being mistakenly stuck in these fields.  It also brings it inline with
the standard lengths other popular app stores use.

https://support.google.com/googleplay/android-developer/answer/113469?hl=en
https://stackoverflow.com/a/20276565

bs: use only prefixes for gradle kv pairs

Merge branch 'gradleplugin' into 'master'

bs: update gradle plugin/version pairs

See merge request !256

bs: update gradle plugin/version pairs

Merge branch 'patch-1' into 'master'

Properly add gradle3.5

See merge request !255

Add gradle 3.5 to the list of available versions

Merge branch 'gradle35' into 'master'

makebs: add gradle 3.5

See merge request !254

makebs: add gradle 3.5

Merge branch 'support-new-features-with-offline' into 'master'

Support new features with offline signing

See merge request !250

PEP8 E305 expected 2 blank lines after class or function definition

Merge branch 'bs_dependency_pyasn1' into 'master'

provision missing pyasn1 dependency to build server

See merge request !251

git mirror test requires git >= 2.3

server: store virustotal JSON locally as reusable data cache

This helps with uploading faster when hitting the public API rating
limiting since it will not hit the API if there is already a matching
response on the local filesystem.  This also provides a source of data for
things like repomaker to diplay to users.

provision missing pyasn1 dependency to build server

server: check virustotal has APK before uploading it

This restructures the virustotal uploading so that first checks whether
virustotal already has the file, and only if not does it upload it.  This
also handles the public API rate limiting, which returns an HTTP 204. This
will now try again until it succeeds, even when rate limited.   Instead of
just getting the list of files from the filesystem, this reads the index-v1
which also already has the SHA256 in there.  virustotal also uses SHA256 as
a unique ID for files.

server: show progress bar when pushing git mirrors

The git mirrors can be really slow to upload, so they need a progress bar.

server: prefer s3cmd over libcloud for syncing

libcloud has been flaky for years, but it is also widely available and is
more pythonic.  So this adds the option for using `s3cmd sync` if it is
available.  `s3cmd sync` acts like rsync for uploading to S3.  So this code
emulates the rsync uploading code in `fdroid server update`.

server: support git mirrors with the offline signing setup

server: rely on rsync to delete files from git-mirror

Instead of each time deleting the whole local git-mirror repo, and
recreating it, this just deletes the .git/ dir, then lets the rsync in
_local_sync() handle deleting anything that should no longer be in the repo.

support git@gitlab.com: style URLs in servergitmirrors

This converts the git@gitlab.com SSH URLs to the proper HTTPS URLs that
fdroidclient can directly use.

server: support btlog on offline signing setups

This is necessary to shuttle the binary transparency log from the offline
machine to the thumb drive, then from the thumb drive to the online box.

server: remove unused --sync-from-local-copy-dir

This option was not hooked up at all, and does not make sense as a command
line argument.  It should just be a config.py item.  In that case, the
presence of config.py marks the current dir as a repo, so there is no
longer a need to test for a dir called repo/ as a safety.  This makes the
setup easier, since sync_from_localcopy() now creates repo/ for the user.

Merge branch 'elimitate-password-files' into 'master'

Eliminate the need for password files

See merge request !249

Eliminate the need for password files

The passwords are now passed as private environment variables to the
processes that need them.

Merge branch 'nail-down-btlog-and-bugfix' into 'master'

Nail down btlog and key bugfix

See merge request !248

server: git push for binary transparency in `fdroid server update`

Since `fdroid server update` is the place where all uploads to servers
happens, it makes sense to also handle the git push for the binary
transparency log here instead of `fdroid btlog`

simplify Android Observatory config

This just keeps the config key name simple and direct.

fix mistake: lists use .append() not .add()

This was a mistake in 5ad3486741cee7d76d251cc27a49e1b4fa7310b9

btlog: fix bug with first run, the etag variable needs to exist

Merge branch 'morebintrans' into 'master'

`fdroid btlog` for anyone to setup a binary transparency log for any repo

See merge request !243

Merge branch 'miscfixes' into 'master'

misc fixes

Closes #268

See merge request !245

btlog: test with `fdroid update` without requiring ssh access

Yay git!  Just use a filesystem git remote instead of ssh.

btlog: if git remote is specified, push commits to that remote

This makes fdroid automatically push the new binary transparency commits if
there is a git_remote specified in either config.py or from a CLI arg.

allow index.TestCase to work when run using any path

move make_binary_transparency_log to btlog

This keeps the code more organized, and reduces the number of things that
are loaded for every command via common.

remove setting git name/email for binary transparency logs

The machine running the steps should include the git config, so that it is
specific to that machines.

support pretty output in JSON and for binary transparency logs

This makes make_index_v1() support `fdroid update --pretty`, then also uses
pretty output for the binary transparency logs, so that the git history has
nice, readable diffs between commits.

`fdroid btlog` external binary transparency logger

This complements the binary transparency logging that happens on the
server side !226.  Anyone can set up an efficient tracker of any
F-Droid repo which stores all index files that it sees.  It uses HEAD
requests and ETag checking to be as efficient as possible, so that
this can be automatically run at a frequent pace.

move make_binary_transparency_log to common for easy reuse

encode filenames as bytes to handle all locale setups

This was failing on environments that did not have any LANG or LC_* locale
variables set.  This is a valid setup, and is common in headless setups, so
it needs to be handled.

This also adds a new pass of the test suite without the locale env vars set
so that this situation is also tests on gitlab-ci, not only gpjenkins.

The error this caused was:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 6-18: ordinal not in range(128)

ignore cache on key name change, instead of crashing

In 6c2cf2ccdd7130a034e50f9bea481351d475a272, the names of some essential
data bits changed.  If those names are not in the tmp/apkcache, then
`fdroid update` shouldn't crash but instead just ignore that cache entry.
tmp/apkcache should be deleted since the metadata version was bumped, but
I guess that does not always happen.

make sure indexes are sorted to minimize diffs between copies

With the binary transparency log stored in git, it makes that more readable
and as small as possible if the index files are fully sorted.  That will
reduce the differences between two copies of an index file to a bare
minimum.

If in the future we implement some kind of binary diff transfer, this will
also help there.

metadata: don't crash if metadata includes blank Categories list

If someone includes just 'Categories:', it shouldn't crash.

buildserver: allow gradle to install new components

Google is making gradle automatically download Android SDK components that
are needed by the build, but not already present.  We need to support that
since it would be a lot of work to fight it.  Plus, since each build starts
from the fresh snapshot, it should not be such a big deal to let each
build install stuff during the process.

closes #268

Merge branch 'invalid-apk-fix' into 'master'

Fix bug when scanning invalid APKs and add a test for it

See merge request !246

Fix bug when scanning invalid APKs and add a test for it

Merge branch 'index-parsing' into 'master'

Download and return repository index

See merge request !240

Merge branch 'local-install' into 'master'

Fix installs with pip --user

See merge request !244