Factor code for scanning a single APK out into its own method.

This allows projects using fdroidserver to scan individual APKs without
needing to re-scan all APKs present in a repository.

Merge branch 'index-v1' into 'master'

app index V1 - support graphics, localization, and more

See merge request !221

signindex: support signing index-v1.jar

This is a bit different than index.jar: instead of their being index.xml
and index_unsigned.jar, the presense of index-v1.json means that there is
unsigned data.  That file is then stuck into a jar and signed by the
signing process.  index-v1.json is never published to the repo.  It is
included in the binary transparency log, if that is enabled.

move update.signjar() to common so it can also be used in signindex

warn and ignore graphics files that have no matching app metadata

If there are graphics files that are in repo/ but there is no metadata for
the associated app, then do not include the graphics in the index. Issue a
warning about this.

copy graphic assets from fdroiddata and app source into repo

This looks for standard graphics assets in two standardized locations, one
in metadata/ subdirs and another in fastlane's standard dirs in the app's
source repo.  When it finds them, it copies them into the repo, where they
will then be included in the index for use by fdroidclient.  The images in
the metadata/ folder of fdroiddata take precendence over the files in the
app's source repo.

So like this for including graphics in fdroiddata:
  metadata/packageName/locale/filename.(png|jpg|jpeg)
for example:
  metadata/org.videolan.vlc/en-US/featureGraphic.png
or
  metadata/info.guardianproject.ripple/zh-CN/phoneScreenshots/screenshot1.png

Including graphics in fdroiddata would be optional. The prefered way to get
graphics into the repo would be for the files to be in the git repo in a
standard location.  This fastlane layout is currently supported:

https://github.com/fastlane/fastlane/blob/1.109.0/supply/README.md#images-and-screenshots

ensure that app.Categories is always a list of strings

This just makes it easier for people writing build recipes.  Rewriting will
output a list of strings as well.

The test index.xml and categories.txt are updated to include the new number
categories, and the changed CurrentVersionCode to 2147483647 (MAX_VALUE)

include graphics and screenshots from repo in V1 index

If the repo has store graphics and/or screenshots, then include those in
the metadata.  This follows the possible graphics for Google Play, and the
file naming scheme of the open source 'fastlane' tool for managing those
files.

https://github.com/fastlane/fastlane/blob/1.109.0/supply/README.md#images-and-screenshots
https://support.google.com/googleplay/android-developer/answer/1078870?
https://android-developers.blogspot.com/2011/10/android-market-featured-image.html

Signed-off-by: Hans-Christoph Steiner <hans@eds.org>

include push install/uninstall requests in index-v1

Since the index-v1 is generated straight from the internal dict, this just
moves the generation earlier, and feeds it into the apps dict.

convert internal dict keys to match fdroidclient's Apk class

This syncs up the field names between the fdroiddata .yml files, the keys
used in the implementation in fdroidserver, the index data format, and the
final data structures in fdroidclient.  This makes it easier for devs to
follow, and makes the Jackson parsing library automatically handle
converting the data from the index file to Java instances.

This bumps the metadata version since the apkcache will have to be
discarded.

Here are the name changes:
* apkname --> apkName
* id --> packageName
* sha256 --> hash
* version --> versionName
* versioncode --> versionCode

tests/repo/index.xml was changed only to bump the metadata version
from 17 to 18.

`fdroid update` uses datetime instances for timestamps

Using datetime instances as the internal format makes it much easier to
convert between the formats needed for index.xml and index-v1.  apkcache
still uses time tuples and known_apks.txt still uses the ISO date.

add index V1 format, a direct translation of internal dict

Python encode/decode libs work directly with dicts, so the internal dict
can just be passed directly to any of these libs (pyyaml, pyjson, msgpack,
simplejson, etc).  This still generates the exact same index.xml as before.

This converts the internal format for the repo timestamp to a datetime
instance, which can be easily converted to UNIX time in seconds for XML
and UNIX time in milliseconds for the new index formats.  UNIX time in
milliseconds is directly serialized into a java.util.Date instance by
Jackson.

break out jar signing into function so it can be reused

The new index format will also need to use jar signing

only set 'No description available' in the old index format

The new index format aims to be a direct representation of the data, then
the clients/website will handle the rest.

Merge branch 'buildserver-auto-install' into 'master'

buildserver auto install

Closes #247

See merge request !229

Merge branch 'metadata_output_vars' into 'master'

metadata output-lines now substitute $$VERSION$$/etc.

Closes #263

See merge request !228

Merge branch 'binary-transparency' into 'master'

new repo-wide config option for a "Binary Transparency" log based on git

See merge request !226

add a simple test of the binary transparency log

This makes sure it gets generated with two commits: README and first log.

update: include git config name/email in binary transparency log

buildserver: support HTTPS Debian mirrors

The ever troublesome gpjenkins box needs to use HTTPS mirrors.  Plus it
improves the security of the buildserver, since there have been CVEs that
HTTPS would protect against:
https://www.debian.org/security/2016/dsa-3733

buildserver: allow gradle/sdkmanager to install into the new m2repository

Google is pushing gradle towards downloading all the SDK components that it
needs, rather than having a preconfigured SDK installed.  The buildserver
strongly supports the old model, with added checksum checking even. We can
still support the old model by pre-configuring the SDK and locking it down
as root. This can then also support the new model by setting the file perms
so that new packages can be auto-installed, but they cannot overwrite any
packages that come pre-installed and pre-verified.

fdroiddata!2096
closes #247

metadata output-lines now substitute $$VERSION$$/etc.

generate HTML diff from verify using diffoscope

If diffoscope is installed, then use it to generate HTML diffs of all
verification builds.

new repo-wide config option for a Binary Transparency Log

A Binary Transparency Log is a append only log of all binaries published by
a repo.  This is useful for people to find whether the binary they have
matches what F-Droid has published, and also makes it more difficult for
the published history to be changed without notice, or for a server to give
specific users custom malware binaries.

https://www.eff.org/deeplinks/2014/02/open-letter-to-tech-companies

Remove whitespace from HTTP update check versions

Catch update check failure and proceed, not bomb out

update: fix crash in debug logging message

buildserver: remove my silly mistake

Should have done this through a merge request... code review!

buildserver: bump to android_m2repository r45

Merge branch 'constraintlayout-license-bullshit' into 'master'

buildserver: support new ConstraintLayout license bullshit

See merge request !225

buildserver: allow gradle to install newer build-tools versions

gradle will now automatically download and install missing bits of the
Android SDK.  While we prefer to have the SDK packages fully verified, we
should allow this behavior on the buildserver to ensure that builds work
even when the buildserver can't be updated.  Since each build starts from a
clean snapshot, this auto-installed build-tools will only be used for the
single build, so it won't affect other apps.

buildserver: support new ConstraintLayout license bullshit

The new ConstraintLayout library in Android Support has some new custom way
of handling the license.  I suspect that they are going to use this new way
with all of the bits that gradle downloads.  We also have to support it for
apps that use it, including soon fdroidclient.

fdroiddata!2094
ci-images!1

Merge branch 'popen-nonutf8' into 'master'

common: don't assume build script output is utf-8

See merge request !224

common: don't assume build script output is utf-8

FDroidPopen is used for running many commands - from git to gradle to
custom commands via flags like build=. When any of these invoke calls to
custom build systems or upstream programs/scripts, it's not safe to
assume that the output will be utf8.

Unfortunately, this currently leads to crashes and failed builds:

ERROR: Could not build app org.kiwix.kiwixmobile due to unknown error: Traceback (most recent call last):
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 1155, in main
    options.onserver, options.refresh):
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 951, in trybuild
    build_local(app, build, vcs, build_dir, output_dir, srclib_dir, extlib_dir, tmp_dir, force, onserver, refresh)
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 648, in build_local
    p = FDroidPopen(['bash', '-x', '-c', cmd], cwd=root_dir)
  File "/home/vagrant/fdroidserver/fdroidserver/common.py", line 1786, in FDroidPopen
    result.output = result.output.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb7 in position 5397290: invalid start byte

One way to fix this would be to use one of the python libraries that
guess an encoding. But a much safer option is to tell the decode method
to ignore non-utf8 bytes, as opposed to crashing on them.

Merge branch 'include-ota-zip-in-index-xml' into 'master'

fix OTA ZIP inclusion in index.xml

See merge request !223

fix source tarball filename for media files

bug from 07ce9488097c1361c1cc1a515773fb73199550bf

include non-APKs that match metadata and fdroid-generated filenames

Since it is now possible to build and include arbitrary files, like OTA
update ZIP files, the update procedure needs to look for non-APK files that
match the packageName_versionCode pattern of fdroid-generated files.

!193
admin#14
privileged-extension#9

update: do not include fdroid-generated tarballs as "media" files

`fdroid build` will generate source tarballs, and now with support for
adding any file to a repo, we need to explicitly ignore the fdroid-
generated source tarballs.  If people want to include source tarballs in a
repo, they still can, as long as that source tarball doesn't use the
`fdroid build` tarball naming scheme.

Merge branch 'gradle341' into 'master'

makebs: add gradle 3.4.1

See merge request !222

makebs: add gradle 3.4.1

Merge branch 'pre-indexv1-fixes' into 'master'

pre index-v1 fixes

See merge request !220

uses-permission maxSdkVersion as int, and enforces int string in XML

This forces <uses-permission maxSdkVersion=""> to be an integer in the
internal dict, and forces it to have no decimal point in XML.  Having it as
an integer in the internal dict means data will pass directly through to
the fdroidclient Apk instance, where it is ultimately an integer.

non-APK files will not have minSdkVersion, so don't force it

fdroidclient should handle no minSdkVersion fine, since it just parses the
text in <sdkver></sdkver> as an int, and uses a default value if there is
an Exception.

update: do not include PGP signatures as "media" files

A .asc or .sig file is a detached PGPG signature, `fdroid gpgsign`
generates them.  It makes no sense for them to be ever treated as a file
for distribution.

This also adds to forgotten forms of index files.

update bash completion commenting to match standards

Merge branch 'master' into 'master'

upload release apk to virustotal

Closes #17

See merge request !218

upload release apk to virustotal

Merge branch 'master' into 'master'

upload release apk to AndroidObservatory

Closes #142

See merge request !217

Merge branch 'master' into 'master'

upload release apk to AndroidObservatory

Closes #142

See merge request !217

upload release apk to AndroidObservatory

Merge branch 'skip-scan' into 'master'

Pass on --skip-scan flag to build server VM when running fdroid build --server.

Closes #130

See merge request !216

Pass on --skip-scan flag to build server VM when running fdroid build --server.

Merge branch 'metadata-fixes-and-tests' into 'master'

metadata fixes and tests

Closes #261

See merge request !215

metadata: port .fdroid.yml handling to App dict subclass

This got overlooked in b7fc7f2228986d0210e221c9ec8ddcc2ad9b93bc, then
caught in the ./makebuildserver tests, where it builds Checkey.

fix bug including media files

'name' is not the full path, so it'll always fail common.is_repo_file()'s
os.path.isfile() check.

Introduced in 56d51fcd6be992c7bbc38431db06817816c1e08e

improve rewritemeta error msg about formats

match versionCode/versionName when set as gradle variable

For example, see org.kontalk:

allprojects {
    ext {
        appVersionCode = 221
        appVersionName = '4.0.1-preview'
    }
}

do not crash if no versionCode is found while parsing

if vercode is None and max_vercode is None, then it gave None as an arg to
the regexp pattern in ignoresearch().

closes #261

fix metadata dump test to run on CI servers

rename lastupdated to lastUpdated to match fdroid client

This lets index-v1 be parsed directly into class instances because the
field/instance var names match exactly.  The original index v0 element
must retain the 'lastupdated' name for backwards compatibility.

Merge branch 'gradle34' into 'master'

makebs: add gradle 3.4

See merge request !214

makebs: add gradle 3.4

Merge branch 'remove-manual' into 'master'

remove TeX manual, it moved to https://gitlab.com/fdroid/fdroid-website

See merge request !209

jenkins-build-makebuildserver: add rudimentary rewritemeta test

This will show if rewritemeta changed anything.  fdroiddata requires all
files to be rewritten with rewritemeta before they are accepted.

remove TeX manual, it moved to https://gitlab.com/fdroid/fdroid-website

The whole TeX manual has been folded into the new Jekyll-based website, so
this is no longer needed at all.

rewritemeta: fix silly bug of using == for =

This was introduced in c0bc3afda9d67a826471df2f387ab1b489df04e0

Merge branch 'make-Build-App-act-like-dicts' into 'master'

make Build and App classes act like dicts

See merge request !210

provide warning if config items will not preserve order

If a group of items are enclosed in {}, then that will be a Python set,
which does not preserve order.  To preserve order, the data must be either
a tuple () or list [].

build: ensure test is running on git commit that this code works with

Since https://gitlab.com/fdroid/ci-test-app is a separate git repo, things
with incompatible changes could get out of sync.  Therefore, this test
should specify which git commit is runs against.

For example, the .fdroid.yml file is still a moving target.  Just now, the
keys had the spaces removed as part of this MR.

normalize Build TYPE_STRING data based on .txt

Unfortunately, things like versionCode must be strings.  That should be
converted to be ints throughout.

normalize Build TYPE_LIST data based on .txt

In the future, we should have better internal datatypes for this stuff,
i.e. instead of gradle: ['yes'] for True, actually use a boolean.  For now,
make the YAML and JSON metadata produce the same internal data as .txt.

add script for mass testing metadata parsing after changes

This requires manually running it.  I suppose it would be possible to
include a snapshot of the dumped internal representation for each release,
then make the tests run automatically against that.  Right now, the dump is
17megs of YAML.  Seems large to include in this git repo.

rename Build fields: version -> versionName, vercode -> versionCode

Since the YAML/JSON/etc. field names are now exactly the same as the field
names used in the internal dict in the Build class, this is a global rename

This keeps with the standard names used in Android:
https://developer.android.com/guide/topics/manifest/manifest-element.html

convert metadata.Build to a subclass of dict

Like with the App class in the commit before, this makes it a lot
easier to work with this data when converting between the internal
formats and external formats like YAML, JSON, MsgPack, protobuf, etc.

The one unfortunate thing here is Build.update. It becomes
dict.update(), which is a method not an attribute.
build.get('update') or build['update'] could be used, but that would
be oddly inconsistent. So instead the field is renamed to
'androidupdate', except for in the .txt v0 metadata files. This better
describes what field does anyway, since it runs `android update`.

Build.update is only referenced in two places right next to each other
for the ant builds, so this change still seems worthwhile.

convert App to subclass of dict to support parsing/dumping libs

Python is heavily based on its core data types, and dict is one of the more
important ones.  Even classes are basically a wrapper around a dict. This
converts metadata.App to be a subclass of dict so it can behave like a dict
when being dumped and loaded.  This makes its drastically easier to use
different data formats for build metadata and for sending data to the
client.  This approach will ultimately mean we no longer have to maintain
custom parsing and dumping code.

This also means then that the YAML/JSON field names will not have spaces in
them, and they will match exactly what it used as the dict keys once the
data is parsed, as well as matching exactly the instance attribute names:

* CurrentVersion: 1.2.6
* app['CurrentVersion'] == '1.2.6'
* app.CurrentVersion == '1.2.6'

Inspired by:
https://goodcode.io/articles/python-dict-object/

make Build class act more like a dict

This makes it a lot easier to work with Build instances with parsing and
dumping libraries, since they expect only core Python types (dict, list,
tuple, str, etc)

sort repo index data to make index.xml generation reproducible

This makes it easy to test that the code is still generating the exact same
index.xml.  It also might help the ZIP compression work better in index.jar

test for original "v0" index XML compatibility

The original index.xml format needs to stay around for backwards
compatibility, but we shouldn't touch it anymore once the new format is in
place.  This is a test to make sure `fdroid update` can still generate the
correct XML.

install_list and uninstall_list should be tuples or lists in order to
ensure that the order is preserved.

These tests also check that the added and lastupdated dates are
working correct, based on the dates in tests/stats/known_apks.txt. I
could see no useful way to test the timestamp, it is just hardcoded
using a regexp search-and-replace.  Running these tests manually might
require deleting tmp/apkcache.

Merge branch 'support-v44' into 'master'

makebs: update support repo to r44, closes fdroid/rfp#49

Closes rfp#49

See merge request !213

Merge branch 'firebase' into 'master'

scanner: add firebase to usual suspect list, closes #259

Closes #259

See merge request !212

makebs: update support repo to r43, closes fdroid/rfp#49

scanner: add firebase to usual suspect list, closes #259

Merge branch 'name' into 'master'

update: add name to skeleton, closes #258

See merge request !211

update: add name to skeleton

Merge branch 'feature/git-mirroring' into 'master'

Add git repo mirroring

Closes #235

See merge request !206

add git repo mirroring

Merge branch 'ossjfrog' into 'master'

scanner: allow oss.jfrog.org/artifactory/oss-snapshot-local

See merge request !208

Merge branch 'build-publish-staging-test' into 'master'

build/publish staging test

See merge request !207

scanner: allow oss.jfrog.org/artifactory/oss-snapshot-local

jenkins-build-makebuildserver: remove VLC as test, its too flaky

Revert "jenkins-build-makebuildserver: include VLC as a test build"

This reverts commit 6debb3ebbf0fdbfeb49f80891fd8ba38cea72cd7.

buildserver: update to latest tools and m2repository

jenkins-build-makebuildserver: handle git update of fdroiddata better

This prevents attempts to merge when there was rebasing, which can fail.

build: include buildserverid in build log for wiki

log Android SDK/NDK component versions on buildserver

ad2b9b99c2a7084e1ef4df06d635c7b63bee89e3 put this in the wrong place, it
was running it on the buildserver host rather than in the buildserver VM
itself, where the builds actually run.

refs #148

build: fix fdroidserverid in build log post on wiki

The carriage return in the fdroidserverid file messes up the wiki format.
This was forgotten in 69d39bb30101e8fdca1d4369cd2fd3b0d8a6fbc1

jenkins-build-makebuildserver: test the whole build/publish workflow

For full deployments like f-droid.org, the building happens on a separate
machine from the signing.  This adds a basic test of that kind of setup.

Merge branch 'supportlib' into 'master'

makebs: bump support repo to r43

See merge request !205

makebs: bump support repo to r43

Merge branch 'fix-build-and-vlc' into 'master'

fix CI, makebuildserver, and VLC build

See merge request !204

jenkins-build-makebuildserver: include VLC as a test build