simplify Android Observatory config

This just keeps the config key name simple and direct.

fix mistake: lists use .append() not .add()

This was a mistake in 5ad3486741cee7d76d251cc27a49e1b4fa7310b9

btlog: fix bug with first run, the etag variable needs to exist

Merge branch 'morebintrans' into 'master'

`fdroid btlog` for anyone to setup a binary transparency log for any repo

See merge request !243

Merge branch 'miscfixes' into 'master'

misc fixes

Closes #268

See merge request !245

btlog: test with `fdroid update` without requiring ssh access

Yay git!  Just use a filesystem git remote instead of ssh.

btlog: if git remote is specified, push commits to that remote

This makes fdroid automatically push the new binary transparency commits if
there is a git_remote specified in either config.py or from a CLI arg.

allow index.TestCase to work when run using any path

move make_binary_transparency_log to btlog

This keeps the code more organized, and reduces the number of things that
are loaded for every command via common.

remove setting git name/email for binary transparency logs

The machine running the steps should include the git config, so that it is
specific to that machines.

support pretty output in JSON and for binary transparency logs

This makes make_index_v1() support `fdroid update --pretty`, then also uses
pretty output for the binary transparency logs, so that the git history has
nice, readable diffs between commits.

`fdroid btlog` external binary transparency logger

This complements the binary transparency logging that happens on the
server side !226.  Anyone can set up an efficient tracker of any
F-Droid repo which stores all index files that it sees.  It uses HEAD
requests and ETag checking to be as efficient as possible, so that
this can be automatically run at a frequent pace.

move make_binary_transparency_log to common for easy reuse

encode filenames as bytes to handle all locale setups

This was failing on environments that did not have any LANG or LC_* locale
variables set.  This is a valid setup, and is common in headless setups, so
it needs to be handled.

This also adds a new pass of the test suite without the locale env vars set
so that this situation is also tests on gitlab-ci, not only gpjenkins.

The error this caused was:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 6-18: ordinal not in range(128)

ignore cache on key name change, instead of crashing

In 6c2cf2ccdd7130a034e50f9bea481351d475a272, the names of some essential
data bits changed.  If those names are not in the tmp/apkcache, then
`fdroid update` shouldn't crash but instead just ignore that cache entry.
tmp/apkcache should be deleted since the metadata version was bumped, but
I guess that does not always happen.

make sure indexes are sorted to minimize diffs between copies

With the binary transparency log stored in git, it makes that more readable
and as small as possible if the index files are fully sorted.  That will
reduce the differences between two copies of an index file to a bare
minimum.

If in the future we implement some kind of binary diff transfer, this will
also help there.

metadata: don't crash if metadata includes blank Categories list

If someone includes just 'Categories:', it shouldn't crash.

buildserver: allow gradle to install new components

Google is making gradle automatically download Android SDK components that
are needed by the build, but not already present.  We need to support that
since it would be a lot of work to fight it.  Plus, since each build starts
from the fresh snapshot, it should not be such a big deal to let each
build install stuff during the process.

closes #268

Merge branch 'invalid-apk-fix' into 'master'

Fix bug when scanning invalid APKs and add a test for it

See merge request !246

Fix bug when scanning invalid APKs and add a test for it

Merge branch 'index-parsing' into 'master'

Download and return repository index

See merge request !240

Merge branch 'local-install' into 'master'

Fix installs with pip --user

See merge request !244

Fix installs with pip --user

Reduce code duplication

by re-using methods for extracting and verifying certificate

Add method for downloading (and verifying) a repository index

This includes some test cases to test the new code.

Merge branch '265-fdroid-init-generates-double-entries-in-config-py' into 'master'

avoid duplicate value assignments in config files

Closes #265

See merge request !241

avoid duplicate value assignments when updating config files

Merge branch 'move-index-methods' into 'master'

Move index methods into dedicated modules

See merge request !239

Re-use config and options from common module in index

Move index related methods to new index module

Move index signing methods into signindex.py

Merge branch 'patch-1' into 'master'

Update support repository.

See merge request !238

Update support repository.

Merge branch 'smaller-methods' into 'master'

Factor out code into smaller methods to be used by repomaker

See merge request !236

Merge branch 'notabug' into 'master'

import: add notabug.org, auto-detect gradle, add options for license and categories

See merge request !237

Merge branch 'build_tools_log' into 'master'

post correct build tool versions to wiki

Closes #267

See merge request !235

Merge branch 'sign-and-verify-update' into 'master'

sign and verify update

See merge request !230

import: add option to specify license and categories, auto-detect build.gradle

import: add notabug.org

Return public key and fingerprint after generating repo signing key

Factor out code from update.main() to individual functions

moved version android tools version log header to corresponding function

fix local var name overloading when iterating build flavours

fix exception handling in dscanner and update.py

Merge remote-tracking branch 'fdroid/master' into build_tools_log

fix exception handling in build.py

prefer apksigner if installed, jarsigner sucks

Google has their own utility for verifying APK signatures on a desktop
machine since Java's jarsigner is bad for the task.  For example, it
acts as if an unsigned APK validates.  And to check whether an APK is
unsigned using jarsigner is difficult.

apksigner also does the v2 signatures, so it will have to be used
eventually anyway.  It is already in Debian/stretch and can be
available in jessie-backports if need be.

https://android.googlesource.com/platform/tools/apksig
https://packages.debian.org/apksigner

set_command_in_config() for finding CLI tools to run

verify: fdroidserverid and buildserverid are part of the sig

There are two SHA1 git commit IDs that fdroidserver includes in the builds
it makes: fdroidserverid and buildserverid.  Originally, these were inserted
into AndroidManifest.xml, but that makes the build not reproducible. So
instead they are included as separate files in the APK's META-INF/ folder.
If those files exist in the signed APK, they will be part of the signature
and need to also be included in the unsigned APK for it to validate.

make `fdroid verify` use common.verify_apks()

This makes the jarsigner the ultimate and only judge of whether two APKs
match.  This is the best tool since APK signatures are jar signatures. This
should be eventually updated to use the official Android APK signing tool
called apksigner.

https://android.googlesource.com/platform/tools/apksig/

verify: ensure only a single signature is in compared APK

The ZIP format allows multiple entries with the exact same filename, and on
top of that, it does not allow deleting or updating entries.  To make the
`fdroid verify` procedure failsafe, it needs to create a new temporary APK
that is made up on the contents of the "unsigned APK" and the signature
from the "signed APK".  Since it would be possible to give a signed APK as
in the unsigned one's position, `fdroid verify` was not able to update the
signature since it was just adding the new signature to the end of the ZIP
file.  When reading a ZIP, the first entry is used.

Merge branch 'supportrepo' into 'master'

makebs: update support repo to r46

See merge request !233

post correct build tool versions to wiki

makebs: update support repo to r46

Merge branch 'ndk14' into 'master'

makebs: add ndk r14

See merge request !231

makebs: add ndk r14

Merge branch 'scan-single-apk' into 'master'

Allow for scanning single APKs

See merge request !227

Factor code for scanning a single APK out into its own method.

This allows projects using fdroidserver to scan individual APKs without
needing to re-scan all APKs present in a repository.

Merge branch 'index-v1' into 'master'

app index V1 - support graphics, localization, and more

See merge request !221

signindex: support signing index-v1.jar

This is a bit different than index.jar: instead of their being index.xml
and index_unsigned.jar, the presense of index-v1.json means that there is
unsigned data.  That file is then stuck into a jar and signed by the
signing process.  index-v1.json is never published to the repo.  It is
included in the binary transparency log, if that is enabled.

move update.signjar() to common so it can also be used in signindex

warn and ignore graphics files that have no matching app metadata

If there are graphics files that are in repo/ but there is no metadata for
the associated app, then do not include the graphics in the index. Issue a
warning about this.

copy graphic assets from fdroiddata and app source into repo

This looks for standard graphics assets in two standardized locations, one
in metadata/ subdirs and another in fastlane's standard dirs in the app's
source repo.  When it finds them, it copies them into the repo, where they
will then be included in the index for use by fdroidclient.  The images in
the metadata/ folder of fdroiddata take precendence over the files in the
app's source repo.

So like this for including graphics in fdroiddata:
  metadata/packageName/locale/filename.(png|jpg|jpeg)
for example:
  metadata/org.videolan.vlc/en-US/featureGraphic.png
or
  metadata/info.guardianproject.ripple/zh-CN/phoneScreenshots/screenshot1.png

Including graphics in fdroiddata would be optional. The prefered way to get
graphics into the repo would be for the files to be in the git repo in a
standard location.  This fastlane layout is currently supported:

https://github.com/fastlane/fastlane/blob/1.109.0/supply/README.md#images-and-screenshots

ensure that app.Categories is always a list of strings

This just makes it easier for people writing build recipes.  Rewriting will
output a list of strings as well.

The test index.xml and categories.txt are updated to include the new number
categories, and the changed CurrentVersionCode to 2147483647 (MAX_VALUE)

include graphics and screenshots from repo in V1 index

If the repo has store graphics and/or screenshots, then include those in
the metadata.  This follows the possible graphics for Google Play, and the
file naming scheme of the open source 'fastlane' tool for managing those
files.

https://github.com/fastlane/fastlane/blob/1.109.0/supply/README.md#images-and-screenshots
https://support.google.com/googleplay/android-developer/answer/1078870?
https://android-developers.blogspot.com/2011/10/android-market-featured-image.html

Signed-off-by: Hans-Christoph Steiner <hans@eds.org>

include push install/uninstall requests in index-v1

Since the index-v1 is generated straight from the internal dict, this just
moves the generation earlier, and feeds it into the apps dict.

convert internal dict keys to match fdroidclient's Apk class

This syncs up the field names between the fdroiddata .yml files, the keys
used in the implementation in fdroidserver, the index data format, and the
final data structures in fdroidclient.  This makes it easier for devs to
follow, and makes the Jackson parsing library automatically handle
converting the data from the index file to Java instances.

This bumps the metadata version since the apkcache will have to be
discarded.

Here are the name changes:
* apkname --> apkName
* id --> packageName
* sha256 --> hash
* version --> versionName
* versioncode --> versionCode

tests/repo/index.xml was changed only to bump the metadata version
from 17 to 18.

`fdroid update` uses datetime instances for timestamps

Using datetime instances as the internal format makes it much easier to
convert between the formats needed for index.xml and index-v1.  apkcache
still uses time tuples and known_apks.txt still uses the ISO date.

add index V1 format, a direct translation of internal dict

Python encode/decode libs work directly with dicts, so the internal dict
can just be passed directly to any of these libs (pyyaml, pyjson, msgpack,
simplejson, etc).  This still generates the exact same index.xml as before.

This converts the internal format for the repo timestamp to a datetime
instance, which can be easily converted to UNIX time in seconds for XML
and UNIX time in milliseconds for the new index formats.  UNIX time in
milliseconds is directly serialized into a java.util.Date instance by
Jackson.

break out jar signing into function so it can be reused

The new index format will also need to use jar signing

only set 'No description available' in the old index format

The new index format aims to be a direct representation of the data, then
the clients/website will handle the rest.

Merge branch 'buildserver-auto-install' into 'master'

buildserver auto install

Closes #247

See merge request !229

Merge branch 'metadata_output_vars' into 'master'

metadata output-lines now substitute $$VERSION$$/etc.

Closes #263

See merge request !228

Merge branch 'binary-transparency' into 'master'

new repo-wide config option for a "Binary Transparency" log based on git

See merge request !226

add a simple test of the binary transparency log

This makes sure it gets generated with two commits: README and first log.

update: include git config name/email in binary transparency log

buildserver: support HTTPS Debian mirrors

The ever troublesome gpjenkins box needs to use HTTPS mirrors.  Plus it
improves the security of the buildserver, since there have been CVEs that
HTTPS would protect against:
https://www.debian.org/security/2016/dsa-3733

buildserver: allow gradle/sdkmanager to install into the new m2repository

Google is pushing gradle towards downloading all the SDK components that it
needs, rather than having a preconfigured SDK installed.  The buildserver
strongly supports the old model, with added checksum checking even. We can
still support the old model by pre-configuring the SDK and locking it down
as root. This can then also support the new model by setting the file perms
so that new packages can be auto-installed, but they cannot overwrite any
packages that come pre-installed and pre-verified.

fdroiddata!2096
closes #247

metadata output-lines now substitute $$VERSION$$/etc.

generate HTML diff from verify using diffoscope

If diffoscope is installed, then use it to generate HTML diffs of all
verification builds.

new repo-wide config option for a Binary Transparency Log

A Binary Transparency Log is a append only log of all binaries published by
a repo.  This is useful for people to find whether the binary they have
matches what F-Droid has published, and also makes it more difficult for
the published history to be changed without notice, or for a server to give
specific users custom malware binaries.

https://www.eff.org/deeplinks/2014/02/open-letter-to-tech-companies

Remove whitespace from HTTP update check versions

Catch update check failure and proceed, not bomb out

update: fix crash in debug logging message

buildserver: remove my silly mistake

Should have done this through a merge request... code review!

buildserver: bump to android_m2repository r45

Merge branch 'constraintlayout-license-bullshit' into 'master'

buildserver: support new ConstraintLayout license bullshit

See merge request !225

buildserver: allow gradle to install newer build-tools versions

gradle will now automatically download and install missing bits of the
Android SDK.  While we prefer to have the SDK packages fully verified, we
should allow this behavior on the buildserver to ensure that builds work
even when the buildserver can't be updated.  Since each build starts from a
clean snapshot, this auto-installed build-tools will only be used for the
single build, so it won't affect other apps.

buildserver: support new ConstraintLayout license bullshit

The new ConstraintLayout library in Android Support has some new custom way
of handling the license.  I suspect that they are going to use this new way
with all of the bits that gradle downloads.  We also have to support it for
apps that use it, including soon fdroidclient.

fdroiddata!2094
ci-images!1

Merge branch 'popen-nonutf8' into 'master'

common: don't assume build script output is utf-8

See merge request !224

common: don't assume build script output is utf-8

FDroidPopen is used for running many commands - from git to gradle to
custom commands via flags like build=. When any of these invoke calls to
custom build systems or upstream programs/scripts, it's not safe to
assume that the output will be utf8.

Unfortunately, this currently leads to crashes and failed builds:

ERROR: Could not build app org.kiwix.kiwixmobile due to unknown error: Traceback (most recent call last):
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 1155, in main
    options.onserver, options.refresh):
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 951, in trybuild
    build_local(app, build, vcs, build_dir, output_dir, srclib_dir, extlib_dir, tmp_dir, force, onserver, refresh)
  File "/home/vagrant/fdroidserver/fdroidserver/build.py", line 648, in build_local
    p = FDroidPopen(['bash', '-x', '-c', cmd], cwd=root_dir)
  File "/home/vagrant/fdroidserver/fdroidserver/common.py", line 1786, in FDroidPopen
    result.output = result.output.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb7 in position 5397290: invalid start byte

One way to fix this would be to use one of the python libraries that
guess an encoding. But a much safer option is to tell the decode method
to ignore non-utf8 bytes, as opposed to crashing on them.

Merge branch 'include-ota-zip-in-index-xml' into 'master'

fix OTA ZIP inclusion in index.xml

See merge request !223

fix source tarball filename for media files

bug from 07ce9488097c1361c1cc1a515773fb73199550bf

include non-APKs that match metadata and fdroid-generated filenames

Since it is now possible to build and include arbitrary files, like OTA
update ZIP files, the update procedure needs to look for non-APK files that
match the packageName_versionCode pattern of fdroid-generated files.

!193
admin#14
privileged-extension#9

update: do not include fdroid-generated tarballs as "media" files

`fdroid build` will generate source tarballs, and now with support for
adding any file to a repo, we need to explicitly ignore the fdroid-
generated source tarballs.  If people want to include source tarballs in a
repo, they still can, as long as that source tarball doesn't use the
`fdroid build` tarball naming scheme.

Merge branch 'gradle341' into 'master'

makebs: add gradle 3.4.1

See merge request !222

makebs: add gradle 3.4.1

Merge branch 'pre-indexv1-fixes' into 'master'

pre index-v1 fixes

See merge request !220

uses-permission maxSdkVersion as int, and enforces int string in XML

This forces <uses-permission maxSdkVersion=""> to be an integer in the
internal dict, and forces it to have no decimal point in XML.  Having it as
an integer in the internal dict means data will pass directly through to
the fdroidclient Apk instance, where it is ultimately an integer.

non-APK files will not have minSdkVersion, so don't force it

fdroidclient should handle no minSdkVersion fine, since it just parses the
text in <sdkver></sdkver> as an int, and uses a default value if there is
an Exception.