metadata: handle empty YAML files without crashing

!311

update: test metadata creation using internal and external templates

There is a hardcoded template in update.py, and there is also the
possibility for the user to create a template.yml.  This tests both of them
and cleans up the related code a bit.

#352 !310

add missing comma in setup.py

Merge branch 'metadata' into 'master'

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Closes #352

See merge request !310

preserve order and formatting on creating Metadata from Yaml template (closes #352)

Bump to 0.8

update pypi "classifiers"

update README to point to https://f-droid.org/docs

update file list in setup.py

Merge branch 'metadata' into 'master'

Updating syntax check for Flattr (see #284)

See merge request !309

Updating syntax check for Flattr (see #284)

Merge branch '0.8-fixes' into 'master'

0.8 fixes

Closes #325, #347, and #309

See merge request !304

remove errant trailing slash added in 7613c18dd80969cec9db0e209611c9ebc3176fed

include all test files in source tarball

gitlab-ci: filter new build fields in metadata_v0 test

update: always include name/summary/desc in index.xml if available

With the new localization support, the name/summary/description in the
metadata file becomes the global override.  So most apps are not going to
have those fields present in their metadata file.  This fixes the index.xml
generation to fall back to the localized versions of those fields when they
are not set in the metadata field.

https://forum.f-droid.org/t/what-has-happend-to-osmand

add new files to MANIFEST.in

They need to be there in order to be included in the source tarball.

wp-droid: move deprecated Wordpress plugin to its own repo

closes #325

verify: if downloading from /repo/ fails, try /archive/

The Builds entries in metadata/ files do not easily say whether a
given APK is in the repo/ or the archive/.  So it should also try to
download the official APK from the archive/ when verifying.

keep .apk file ext when diffoscope'ing Binaries:

rewritemeta: only print file type if its changing

server: report errors pushing to git mirrors

This makes `fdroid server update` fail if pushing to one of the git mirrors
fails.  This is what happens if the other methods fail, e.g. rsync or S3.

closes #347

server: include gitlab raw URLs as git mirrors

gitlab serves raw files from a CDN, so its appropriate to use the raw URL.
@pserwylo @grote and I discussed it and found a reference, but I can't find
that reference now.

Since the client will try the next mirror if one fails, it makes sense to
include both the gitlab raw and gitlab pages URLs to the mirror.  The
gitlab pages deploy process is still a bit flaky anyway.

server: only rm git mirror if the git history is getting too large

git hosts like github, gitlab, bitbucket usually allow 1 gig repos. This
changes the git mirroring behavior to keep the history until the repo hits
1 gig.  Keeping history makes updates a lot faster, since the whole repo
does not need to be pushed on each update.

update: force checkout .gitlab-ci.yml when updating git mirrors

closes #309

server: smooth out btlog transfer for offline signing setups

It turns out it is error prone to `git push` to a non-bare git repo. For
the offline signing machine, the git remote needs to be a regular git repo
in a directory on a thumbdrive so that once the thumbdrive is plugged into
an online machine, that git repo can be transferred to the online machine.

Merge branch 'xmlicons' into 'master'

have fallback for XML icons also consider res/mipmap*

See merge request !307

have fallback for XML icons also consider res/mipmap*

several apps (e.g.
[FastHub](http://apt.qumran.org/fdroid/index/apk/com.fastaccess.github)
and [Monety](http://apt.qumran.org/fdroid/index/apk/open.currency)) have
their ic_launcher.png files not in res/drawable*dpi/, but in
res/mipmap*/ -- so the regex has been adjusted by this patch.

Additionally: if the only icon for a given resolution was an XML without
existing fallback-PNG, it should be considered "non existent" (ie.
"empty_density").

Merge branch 'metadata' into 'master'

adding example metadata template (closes #345)

Closes #345

See merge request !306

using a "real category" as example

adding example metadata template (closes #345)

Merge branch 'metadata' into 'master'

--create-metadata: use yaml.dump() and (if exists) template.yml

See merge request !305

--create-metadata: only set default empty values if not using template.py

enable user to have presets for metadata by using a template.yml (see #345)

make --create-metadata use yaml.dump instead of ruamel (solves #345)

ensure that mirror URLs always include the repodir

Since the mirror URLs are per repo section (repo/archive), the mirror URLs
must include the repodir at the end.  This was missing for servergitmirrors

found by @cde when working on fdroidclient#35

Merge branch 'master' into 'master'

Also search for apk in build/outputs/apk/release

See merge request !303

Also search for apk in build/outputs/apk/release

Merge branch 'metadata' into 'master'

--create-metadata: make sure apk[name] is not empty

See merge request !302

--create-metadata: make sure apk[name] is not empty

Merge branch 'sudo' into 'master'

add new 'sudo=' Build field

Closes #317

See merge request !297

support configing buildserver VM per-build with sudo=

This adds the 'sudo' build field, which is just a script that is run as
root.  For more info, see the issue that this closes:

refs #318
closes #317

Merge branch 'yaml-template' into 'master'

update: remove ruamel requirement, and improve '--create-metadata'

Closes #343

See merge request !300

handle App instance with no Builds when writing YAML

update: update openssl KnownVuln scan to handle all recent versions

Thanks to @bubu for reporting!

update: remove ruamel requirement, and improve '--create-metadata'

If ruamel.yaml is not available, this will fallback to using PyYAML. This
also adds some blank fields to the newly created template to make it easy
for human editors to fill in.

closes #343

Merge branch 'some-data-related-fixed' into 'master'

support manually adding per-Build Anti-Features in metadata, and other fixes

Closes #322 and #331

See merge request !296

update: find PNG when recommended icon is an XML file

APKs can now use XML files for vector graphics like the app icon. `aapt`
returns the XML file by default, and perhaps also androguard.  This
checks if the icon is an XML file, and if so, it tries to find a PNG in
the APK with the same name and density to use instead

closes #322

This should also ultimately make the XML file available as an icon source
as well fdroidclient#1091

update: normalize var name to apkzip

jenkins: document build/sign test flow

buildserver: support any recent NDK version, with stable filenames

Now that the download file name and type seems to have stabilized, I
think we no longer need to manually specify each new added release in
this script to unpack.

closes #331

support manually adding per-build antiFeatures in metadata

For cases like the OpenVPN vuln that was recently announced, it is useful
for fdroiddata maintainers to be able to mark builds that have known
vulnerabilities.

lint: check all build fields against accepted list

This makes sure there are no typoed or wrong build fields in all metadata
files.

Merge branch '343-ruamel-yaml-version-check' into 'master'

check version of ruamel.yaml and raise according error message

See merge request !301

check version of ruamel.yaml and raise according error message

Merge branch 'antifeature' into 'master'

added new AntiFeature: ApplicationDebuggable

See merge request !298

Merge branch 'metadata' into 'master'

create_metadata: do not skip APK files having no name

See merge request !299

create_metadata: do not skip APK files having no name

added new AntiFeature: ApplicationDebuggable

Useful e.g. for "test repositories" to indicate an app was compiled with
"application-debuggable"

gitlab-ci: remove hacks need to support Debian/jessie

Merge branch 'ndk' into 'master'

NDK r14b and r15b

See merge request !293

Merge branch '290-make-rewrite-metadata-respect-key-word-sort-order' into 'master'

Resolve "make `fdroid rewritemeta` respect key-word sort order for YAML files"

Closes #290

See merge request !295

Merge branch '290-make-rewrite-metadata-respect-key-word-sort-order' into 'master'

rewritemeta: respect key-word sort order for YAML files

Closes #290

See merge request !263

moved some yaml test files into a separate forlder to avoid conflicts with other test cases

correct yaml-rewriting for buildozer flag

import ruamel.ymal only when re-writing yaml metadata

rewritemeta yaml: fixed boolen mapping for build flags

use stored metadatapath instead of guessing it

fix indentation

`fdroid update --create-metadata` now outputs YAML format

As part of the push towards using YAML as the main metadata format, this
makes the blank template be a .yml file.

fix building with yml metadata

set required minimum ruamel.yaml version

refactored yaml tests into metadata test case; fixed typo

add ruamel yaml to buildserver depenencies

completed ordered yaml field list

prettify write_yaml metadata

yaml rewrite version code as int

rewrite metadata builds list to yaml

yaml metadata rewrite: correct blank line

add ruamel.yaml to setup.py

fixed pyflakes/pep warings

rewrite to yaml works for app data now (builds still missing)

makebuildserver: add NDK r15b

makebuildserver: fix NDK r14b provisioning

Replace r14 with r14b after a57bff7.

Merge branch 'repo-update-break-down' into 'master'

Break down the update.scan_apk() method into smaller pieces

See merge request !288

Break up the scan_apk() method and rename it to process_apk()

gitlab-ci: switch to new Debian/stretch image

ci-images-server!1

Merge branch 'archive-policy-fix' into 'master'

Archive policy overhaul

Closes #323, #292, and #166

See merge request !291

gitlab-ci: apt upgrade so that tests run with current updates

The MD5 signature stuff was failing in tests because the CI image was
using a quite old version of Java's jarsigner, which had not yet disabled
MD5.

update: invalidate cache if allow_disabled_algorithms changes

Since the cache contains implicitly the result of the jarsigner verify,
if the allow_disabled_algorithms config changes, then the apkcache is
invalid.

update: write cache file if anything has changed it

This fixes a bug introduced in 04db6870 where cachechanged for scan_apks()
was set only by the last call to scan_apk().

tests: make sure apkcache gets created

update: create 'archive/' if needed when moving APKs

Normally, just 'repo/' is created by default, e.g. `fdroid init`. If APKs
are dumped into 'repo/', then have invalid signatures, then they'll be
automatically moved to 'archive/', which therefore needs to exist.

update: allow_disabled_algorithms option to keep MD5 sigs in repo

The new policy is to move APKs with invalid signatures to the archive,
and only add those APKs to the archive's index if they have valid MD5
signatures.

closes #323
closes #292

update: allow deprecated signatures only in the archive

In April 2017, Oracle's jarsigner and Google's apksigner both switched to
considering any APK signature that uses MD5 as unsigned.  Any old build
is likely to have a MD5 signature.  This sets up the archive as the only
place where these "disabled algorithms" are allowed in the repo, and
marks any APK signed by a "disabled algorithm" as having a "known
vulnerability"

This also now automatically moves APKs with invalid signatures to the
archive section.

#323

update: move duplicated code into move_apk_between_sections()

fix "Archive Policy:" field, APKs can move in/out of archive

The original logic was checking keepversions against the len() of ALL the
APKs in the repo/archive.  The correct thing is to check against the
number of APKs available for the given packageName/appid.

closes #166

tests: test moving files to and from the archive

#166

Merge branch 'random-small-fixes' into 'master'

Random small fixes

Closes #222

See merge request !292

init: update docs links for next steps