add ruamel.yaml to setup.py

fixed pyflakes/pep warings

rewrite to yaml works for app data now (builds still missing)

Merge branch 'repo-update-break-down' into 'master'

Break down the update.scan_apk() method into smaller pieces

See merge request !288

Break up the scan_apk() method and rename it to process_apk()

gitlab-ci: switch to new Debian/stretch image

ci-images-server!1

Merge branch 'archive-policy-fix' into 'master'

Archive policy overhaul

Closes #323, #292, and #166

See merge request !291

gitlab-ci: apt upgrade so that tests run with current updates

The MD5 signature stuff was failing in tests because the CI image was
using a quite old version of Java's jarsigner, which had not yet disabled
MD5.

update: invalidate cache if allow_disabled_algorithms changes

Since the cache contains implicitly the result of the jarsigner verify,
if the allow_disabled_algorithms config changes, then the apkcache is
invalid.

update: write cache file if anything has changed it

This fixes a bug introduced in 04db6870 where cachechanged for scan_apks()
was set only by the last call to scan_apk().

tests: make sure apkcache gets created

update: create 'archive/' if needed when moving APKs

Normally, just 'repo/' is created by default, e.g. `fdroid init`. If APKs
are dumped into 'repo/', then have invalid signatures, then they'll be
automatically moved to 'archive/', which therefore needs to exist.

update: allow_disabled_algorithms option to keep MD5 sigs in repo

The new policy is to move APKs with invalid signatures to the archive,
and only add those APKs to the archive's index if they have valid MD5
signatures.

closes #323
closes #292

update: allow deprecated signatures only in the archive

In April 2017, Oracle's jarsigner and Google's apksigner both switched to
considering any APK signature that uses MD5 as unsigned.  Any old build
is likely to have a MD5 signature.  This sets up the archive as the only
place where these "disabled algorithms" are allowed in the repo, and
marks any APK signed by a "disabled algorithm" as having a "known
vulnerability"

This also now automatically moves APKs with invalid signatures to the
archive section.

#323

update: move duplicated code into move_apk_between_sections()

fix "Archive Policy:" field, APKs can move in/out of archive

The original logic was checking keepversions against the len() of ALL the
APKs in the repo/archive.  The correct thing is to check against the
number of APKs available for the given packageName/appid.

closes #166

tests: test moving files to and from the archive

#166

Merge branch 'random-small-fixes' into 'master'

Random small fixes

Closes #222

See merge request !292

init: update docs links for next steps

lint: check file extension for metadata

This helps keep fdroiddata clean, on @krt's request.

closes #222

locale: fix broken source string

scan APKs for signs of "Master Key" exploit

This exploit is old, and was fixed in 4.4.  But it was easy to exploit,
so it is still worth scanning for it.  It is also easy to scan for, since
valid APKs should not have files with duplicate names.  In theory, this
could look for duplicate file names for any file, but this limits the
false positives by only checking names of files related to executing code.

fdroidclient#40

update: move btlog import since btlog.py requires python3-git

To keep the dependencies limited to where they are needed.

gitlab-ci: fix metadata_v0 test to run on the right commits

Checking out master will often mean its testing the wrong commit, since
merge requests rarely are in master.

gitlab-ci: fix metadata_v0 test for new buildozer build flag

Just remove it, since 0.7.0 does not know about that build flag.

Merge branch 'buildozer-build' into 'master'

Added a method to build python/kivy projects using buildozer.

See merge request !290

Test metadata files updated.

gitlab-ci: properly quote colons

gitlab-ci: ignore blank Description in metadata_v0 test

We'll eventually be moving to having the internal representation use a
'' or None when there is no Description, so no use in fixing this.

build.py corrected

Added a method to build python/kivy projects using buildozer.

Merge branch 'vagrantfile-box' into 'master'

Copy initial buildserver CPU/memory configuration to final box Vagrantfile

See merge request !279

Merge branch 'gradle4' into 'master'

makebs: add gradle4.0

See merge request !289

Merge branch 'googlemaven' into 'master'

Add Google's maven repo to allowed list

See merge request !275

makebs: add gradle4.0

set gettext template to UTF-8

move translation files to 'locale' like Repomaker does

The django gettext layout seems to the most standard approach with
Python projects.

jenkins-build: point to new dir named after the script

This changes out the arbitrary names used before.

ignore test files from d06f05e9c87e7ada00c1324c00bca99ed906a6e7

jenkins-build: `git clean` before running fdroid cli tests

Otherwise, `fdroid init` will fail since the old repo files are present.

update: do not crash on screenshots without texts/graphics

`fdroid update` crashed for apps that only had screenshots but no graphics
or localized texts because destdir was not being set in that case.  This
fixes that and adds a test case.

closes #320
!286

Merge branch 'fix' into 'master'

fix #320 due to unintentionally reusing the same variable name

Closes #320

See merge request !286

fix !320 due to unintentionally reusing the same variable name

Merge branch 'master' into 'master'

makebuildserver: bump tools, add api26 and build-tools 26

See merge request !284

makebuildserver: bump tools, add api26 and build-tools 26

Merge branch 'fdroiddata-localization-fixes' into 'master'

fdroiddata localization fixes

See merge request !283

rewritemeta: do not include empty Summary: or Description:

Since the Summary: and Description: in the metadata file has the highest
priority of all the localized texts, adding blank versions means that
apps would always have blank Summary and Description even if the app has
those fields in the localized sections of fdroiddata and/or in the app's
source repo itself.

fdroiddata!2262

lint can no longer properly detect unset Summary/Description

Since the Summary/Description can now be set in the app's source code, or
in fdroiddata/metadata/<packageName>/<locale>/*.txt, this lint check is
no longer valid.  It is important to check whether these texts are empty,
but it'll require some thinking about how and where to best to that.
`fdroid update` will have access to all that data, but perhaps at that
point it is too late.

Also, the current text prioritization puts Summary/Description in the
.txt/.yml file at the highest priority, overriding every other copy,
including in fdroiddata/metadata/<packageName>/<locale> and in the app's
source code.

support fdroid names in filenames for localized texts

* "full description" is just "description"
* "short description" is "summary"
* "title" is "name"

support fastlane simplified metadata dir

Running `fastlane init` gave me a much simpler directory layout, which
turns out to be the same as what is used for fdroiddata.

Merge branch 'check-vmx-libvirt' into 'master'

Use Qemu instead of KVM when we don't have VMX/SVM

See merge request !282

Merge branch 'localization-template' into 'master'

add core help strings to gettext source file

See merge request !281

Merge branch 'duplicate-apk-processing' into 'master'

APK processing for duplicate versionCodes and renaming

See merge request !280

add core help strings to gettext source file

This will allow us to put these up on Weblate and have people start
translating them.  Then we can figure out how to actually include and
deploy the translations later.  It is unfortunately non-trivial, since
we have to manually figure out the install paths.

Use Qemu instead of KVM when we don't have VMX/SVM

check signature and OpenSSL after APK has proven valid

If working with a random grabbag of APKs, there can be all sorts of
issues like corrupt entries in the ZIP, bad signatures, signatures that
are invalid since they use MD5, etc.  Moving these two checks later means
that the APKs can be renamed still.

This does change how common.getsig() works.  For years, it returned
None if the signature check failed.  Now that I've started working
with giant APK collections gathered from the wild, I can see that
`fdroid update` needs to be able to first index what's there, then
make decisions based on that information.  So that means separating
the getsig() fingerprint fetching from the APK signature verification.

This is not hugely security sensitive, since the APKs still have to
get past the Android checks, e.g. update signature checks.  Plus the
APK hash is already included in the signed index.

strip file extension from generated name for non-APKs

With a generic file, the file name is the only guaranteed name metadata
field.  So if the name is not specified in the metadata, then the name
is set to the filename.  This changes that so that the file extension is
stripped from that generated name.

use var naming scheme in KnownApks (apk --> apkName)

Everywhere else, the file name of the APK is called apkName.

regexs for getting packageName and versionCode from filenames

This is useful for parsing APK files, which can include packageName,
versionCode, and optionally 7 char signing key ID (i.e. <sig>).
This also can set the packageName and versionCoe for non APK files, so
that it is easy to assign them to metadata files, and to allow for
upgrades by setting the versionCode in the filename.

index.xml cannot handle APKs with the same packageName/versionCode

Really, it is the fdroidclient parser of index.xml that fails, due to the
hardcoded expectation that there will only ever be a single APK for any
given versionCode.  We keep index.xml backwards compatible for old
clients, and use index-v1.json to support new things.  Having multiple
APKs that have the same packageName and versionCode will break the client
v0.103.* since that version uses index-v1.json, but still has the hard-
coded database parsing stuff.

#153

update: add --rename-apks to force APK filenames to fdroid standard

uses the standard package.name_123.apk.  If that exists, it appends the
shasum.  If that exists, then its a duplicate, so its deleted. This should
help @SergeWinters with his 12,000 APKs.

Copy initial buildserver CPU/memory configuration to final box Vagrantfile

allow APKs with same packageName/versionCode but different signer

There are many APKs out in the wild that claim to be the same app and
version and each other, but they are signed by different keys.  fdroid
should be able to index these, and work with them.   This supports having
the developer's signature via reproducible builds, random collections of
APKs like repomaker, etc.

gitlab-ci: add index v0 metadata parsing test

This test is very handy for making sure the old index.xml v0 format does
not inadvertantly change.

add basic test for `fdroid scanner`

There was no test coverage at all for this command, this is a very basic
test that should prevent things like 2626858450953ac65124765d2cd73d1602846372

Merge branch 'master' into 'master'

Add support for the new Bitbucket look

See merge request !278

Add support for the new Bitbucket look

Merge branch 'makebs' into 'master'

makebs: update to ndk-r14b and build-tools-25.0.3

See merge request !277

Merge branch 'lint-for-newness' into 'master'

`fdroid lint` support for SPDX, l18n, dev signatures

Closes #234

See merge request !269

makebs: update to ndk-r14b and build-tools-25.0.3

make tests pass new lint rules

lint: use only license tags from https://spdx.org/license-list

closes #234

lint: support new per-package subdirs for l18n and dev signatures

Graphics and localized text can now be stored in the package folders,
always in a folder that is named for the locale.  The upstream developer
signature is also now stored, so that the upstream APK can be reproduced
even if they remove their APKs.

#291
fdroiddata!2229
fdroiddata!2224
fdroidclient#15
fdroidserver#174

lint: add popular URL shorteners to the banned list

scanner: allow google maven

Merge branch 'master' into 'master'

Don't pass root_dir to scan_source

See merge request !276

Don't pass root_dir to scan_source

Merge branch 'modernize-pylint' into 'master'

modernize pylint

See merge request !252

Merge branch 'linphone-packages' into 'master'

Add required packages for linphone 3.1.0 build

See merge request !274

Add required packages for linphone 3.1.0 build

fix pylink 'dict' has no member 'keystore'

fix pylint unused-argument

update outdated pylint setup

The logilab-astng lib is dead, replaced by python-astroid.  The crazy astng
plugin is no longer needed also.

#281

Merge branch 'python-vagrant-copy-caches' into 'master'

complete staging buildserver setup on jenkins.debian.net using nested KVM instances

See merge request !176

makebuildserver: make config['domain'] local var where its needed

refactored vm related code from build.py to vmtools.py

removed unused buildserver code

leave VirtualBox `vagrant package` as it was originally

We only need Vagrantfile hacks for KVM.

restart builder vm when ssh connection fails

build: delete bad builder/ symlinks

If builder/ is a symlink but is not detected as a directory by
os.path.isdir(), then it is a broken symlink.

wait a sec after suspending

reset buildserver vm if vagrant uuid not present

makebuildserver vbox logmessage fix

use uuid for vbox snapshots again

removed useless vm validity check; attempted to fix vbox support

deal with outdated box images in libvirt storage pool

makebuildserver deal with apt cache lock

build server use up instead or resume; logging

test script for vmtools

revised build server creation