Merge branch 'firebase' into 'master'

scanner: add firebase to usual suspect list, closes #259

Closes #259

See merge request !212

scanner: add firebase to usual suspect list, closes #259

Merge branch 'name' into 'master'

update: add name to skeleton, closes #258

See merge request !211

update: add name to skeleton

Merge branch 'feature/git-mirroring' into 'master'

Add git repo mirroring

Closes #235

See merge request !206

add git repo mirroring

Merge branch 'ossjfrog' into 'master'

scanner: allow oss.jfrog.org/artifactory/oss-snapshot-local

See merge request !208

Merge branch 'build-publish-staging-test' into 'master'

build/publish staging test

See merge request !207

scanner: allow oss.jfrog.org/artifactory/oss-snapshot-local

jenkins-build-makebuildserver: remove VLC as test, its too flaky

Revert "jenkins-build-makebuildserver: include VLC as a test build"

This reverts commit 6debb3ebbf0fdbfeb49f80891fd8ba38cea72cd7.

buildserver: update to latest tools and m2repository

jenkins-build-makebuildserver: handle git update of fdroiddata better

This prevents attempts to merge when there was rebasing, which can fail.

build: include buildserverid in build log for wiki

log Android SDK/NDK component versions on buildserver

ad2b9b99c2a7084e1ef4df06d635c7b63bee89e3 put this in the wrong place, it
was running it on the buildserver host rather than in the buildserver VM
itself, where the builds actually run.

refs #148

build: fix fdroidserverid in build log post on wiki

The carriage return in the fdroidserverid file messes up the wiki format.
This was forgotten in 69d39bb30101e8fdca1d4369cd2fd3b0d8a6fbc1

jenkins-build-makebuildserver: test the whole build/publish workflow

For full deployments like f-droid.org, the building happens on a separate
machine from the signing.  This adds a basic test of that kind of setup.

Merge branch 'supportlib' into 'master'

makebs: bump support repo to r43

See merge request !205

makebs: bump support repo to r43

Merge branch 'fix-build-and-vlc' into 'master'

fix CI, makebuildserver, and VLC build

See merge request !204

jenkins-build-makebuildserver: include VLC as a test build

buildserver: use automake and cmake from jessie-backports

These should be reasonably backwards compatible, and there is already
automake1.11 for those that need a version that old.  As for cmake, there
are five apps that seem to it:

com.amaze.filemanager
org.dolphinemu.dolphinemu
org.navitproject.navit
org.yabause.android
org.videolan.vlc

It looks like VLC is the only app that is currently building and using
cmake in the most recent releases.  Some of them used to use cmake, but no
longer.

gitlab-ci: workaround "ImportError: No module named 'packaging'"

https://github.com/pypa/setuptools/issues/937

fdroid/ci-images#1

buildserver: add openjdk-8-jdk-headless depends from backports

Merge branch 'supportlib' into 'master'

makebs: upgrade support repo to r42

See merge request !203

makebs: upgrade support repo to r42

Merge branch 'collection-of-fixes' into 'master'

include fdroidserverid in build log post on wiki

See merge request !201

build: include fdroidserverid in build log post on wiki

update URL for git repo of test app

break out categories.txt generation to standalone method

This is to clean up the code for the introduction of a new index format.
This also makes it so that only repo/categories.txt is generated, and not
archive/categories.txt.

Currently, the only thing that I can find that reads categories.txt is the
wordpress plugin, e.g. wp-fdroid.  And it only reads repo/categories.txt
not archive/categories.txt.

fix bad caching of non-APK files in the repo

Silly mistake in 07ce9488097c1361c1cc1a515773fb73199550bf

Merge branch 'fdroid-publish-ota-zip' into 'master'

`fdroid publish` now includes OTA ZIPs and related source

See merge request !193

Merge branch 'libtool-from-testing' into 'master'

buildserver: support installing packages from Debian/testing

Closes #224

See merge request !200

buildserver: update android_m2repository to latest (r41)

ensure fdroiddata metadata file overrides .fdroid.yml in source

If the already parsed App instance from metadata/*.* has a field, then the
value coming from .fdroid.yml should not override it.

buildserver: support installing packages from Debian/testing

Sometimes, a build process requires newer versions of build tools than are
available in Debian/stable.  Oftentimes, using the package straight from
Debian/testing works fine when a package is not available as a backport.
libtool 2.4.6 is needed for building VLC, so it is one example of this.

The preferences file sets up the apt "pinning" so that all updates are not
installed from testing, only the packages that are requested by adding
"/testing" after then package name.

closes #224

`fdroid publish` now includes OTA ZIPs and related source

This adds support for publishing ZIP files which were built with
`fdroid build`.  This is for "Over-The-Air" (OTA) update ZIP files for
flashing to ROMs.  The first example of this is the Privileged Extension,
which must be installed by flashing an OTA ZIP on Android > 5.0.

!181
https://gitlab.com/fdroid/privileged-extension/issues/9
https://gitlab.com/fdroid/privileged-extension/issues/10
https://gitlab.com/fdroid/fdroiddata/merge_requests/1804

Also, "if app.Binaries:" is the same as "if app.Binaries is not None:", but
is the standard Python style.

Merge branch 'gradle33' into 'master'

makebs: install gradle 3.3

See merge request !199

makebs: install gradle 3.3

Merge branch 'gettext-backport' into 'master'

buildserver: install gettext from jessie-backports

Closes #224

See merge request !198

buildserver: install gettext from jessie-backports

In order to install a package from jessie-backports, apt-get has to be told
to get it from there rather than the main archive.  It will not use
jessie-backports by default even if it is added as an apt source.

closes #224

Merge branch 'import' into 'master'

import: fix raw git-over-https urls

See merge request !196

Merge branch 'spdx' into 'master'

docs: switch to spdx license list

See merge request !194

Merge branch 'ci-update' into 'master'

Bump CI image, now with build-tools 25.0.2

See merge request !197

Bump CI image, now with build-tools 25.0.2

import: fix raw git-over-https urls

Merge branch 'master' into 'master'

Makebs: add build tools 25.0.2

See merge request !195

Makebs: add build tools 25.0.2

docs: switch to spdx license list

Merge branch 'feature/dscanner' into master

dscanner - drozer scanner work.

closes !187

dscanner - Drozer based post-build dynamic vulnerability scanner command

 * New command `dscanner`, enables one to scan signed APKs with Drozer
 * Drozer is a dynamic vulnerability scanner for Android
 * Drozer runs in a emulator or on-device, this new `dscanner` command...
  * starts a docker image with Drozer and the Android Emulator pre-installed,
  * loads the signed APK into the emulator
  * activates Drozer automated tests for the APK
  * gathers the report output and places it next to the original APK
 * The Drozer docker image can be:
  * cached locally for re-use (just don't run --clean*)
  * retrieved from dockerhub.com for more efficient runtime
  * or be built from scratch (in the new "./docker" directory)
 * New "Vulnerability Scanning" documentation section (run gendocs.sh)

Merge branch 'collection-fixes-and-KnownVuln' into 'master'

add KnownVuln anti-feature, and other fixes

This is a bit of a random collection of things that I have added in the process of working on the drozer/scanner support, YAML support, etc.  The only new things are:

* adding new AntiFeature for security issues: `KnownVuln`
* removing broken, incomplete XML metadata support

Everything else included are just code improvements.  This also includes the first check for `KnownVuln`, which is a scanner to check whether custom OpenSSL binaries in apps are not old with known vulnerabilities.  `KnownVuln` will then ultimately be used for things like the drozer scanner !187

See merge request !189

fix `fdroid build` with non-git repos

HEAD is really only in git.  This was introduced in
a4e4310803a463433eb7515c2038a8d3ea44edc4

convert metadata test dumps to YAML for easy comparison

When making code changes related to the metadata parsing, it is useful to
see how the internal format has changed by seeing the differences in the
dump files.  Those files are currently in the binary .pickle format.  This
just straight converts them to YAML, which is a text format, so that normal
diff tools work to see changes.

The dump files are named .yaml instead of .yml since .yml is used for hand-
edited YAML files for fdroiddata/metadata, while these dump files here are
a human readable form of a Python pickle.

remove support for XML app metadata, its broken

JSON and YAML are very closely related, so supporting both of them is
basically almost no extra work.  Both are also closely related to how
Python works with dicts and pickles. XML is a very different beast, and its
not popular for this kind of thing anyway, so just purge it.

App.get_last_build() method to replace duplicated code

Look @mvdan, I added a method to the App class!

do proper checking of versionCode value

versionCode is defined as a Java Integer, so any value between -2147483648
(Integer.MIN_VALUE) and 2147483647 (Integer.MIN_VALUE) is valid, including
0.

https://developer.android.com/guide/topics/manifest/manifest-element.html#vcode

check all APKs for old versions of OpenSSL

This scans all APKs for old versions of OpenSSL libraries that are known to
be vulnerable to issues, or fully unsupported.

This really should be implemented as a per-APK AntiFeature, so that it can
apply to any version that is vulnerable.  Since AntiFeatures are currently
only per-App, this instead sets the AntiFeature only if the latest APK is
vulnerable.

Google also enforces this:
https://support.google.com/faqs/answer/6376725?hl=en

apk['antiFeatures'] has the first letter small, since all build fields
start with a lowercase letter.  app.AntiFeatures has the first
uppercase since all App fields are that way.

check aapt version to make sure its new enough #236

Since `fdroid update` parses the output of aapt, and since aapt's output
format changes in non-compatible ways, test to make sure that the version
of aapt is new enough to prevent mystery stacktraces.  This only prints a
warning since in many cases, the old version will work just fine.

Merge branch 'master' into 'master'

Add gradle 3.2.1

See merge request !192

Add gradle 3.2.1

Merge branch 'buildtools-25.0.1' into 'master'

makebs: add buildtools 25.0.1

Please verify hash before merging.

See merge request !191

makebs: add buildtools 25.0.1

Merge branch 'master' into 'master'

Add ndk 13b

See merge request !190

Add ndk 13b

Merge branch 'fdroid-yml-builds' into 'master'

builds straight from source repo using .fdroid.yml

The overarching theme of the merge request is allowing _.fdroid.yml_ to be included in an app's source repo, then letting `fdroid build` build the app straight out of the git repo without requiring a setup like _fdroiddata_ (e.g. _config.py_, _metadata/packagename.txt_, etc.).  _fdroiddata_ repos can then include source repos with a _.fdroid.yml_ by having _metadata/packagename.txt_ that includes just:

```
Repo Type:git
Repo:https://gitlab.com/upstream/app.git
```

Any other metadata fields that are included in _metadata/packagename.txt_ will override what is in _.fdroid.yml_, giving the repo manager the final say about what is included in their repo.  This setup provides a number of benefits:

* CI systems like jenkins, travis, gitlab-ci can build from _.fdroid.yml_
* very easy to start building apps using `fdroid build`, no separate repo needed
* some maintenance can be offloaded to the upstream dev

See merge request !184

Merge branch 'patch-1' into 'master'

docs: remove one-line requirement for links

See merge request !188

docs: remove one-line requirement for links

if building directly in git repo, use file path for remote

When a git repo has a .fdroid.yml file in it, and `fdroid build` is run
directly in that git repo, then this uses the file path as the remote for
the git repo in build/appid that is actually built.  That makes it possible
to run builds of commits that are only local, and makes things a whole lot
faster.

ignore files created by tests

allow metadata to be embedded in source repos via .fdroid.yml

This allows a source repo to include a complete metadata file so that it
can be built directly in place using `fdroid build`.  If that app is then
included in fdroiddata, it will first load the source repo type and URL
from fdroiddata, then read .fdroid.yml if it exists, then include the rest
of the metadata as specified in fdroiddata, so that fdroiddata has
precedence over the metadata in the source code.

This lets `fdroid build` apps without having a whole fdroiddata setup, but
instead just directly in place in the source code.  This also lets devs
optionallu maintain the fdroid metadata as part of their app, rather than
in fdroiddata without loosing any control.  This should make it easier to
spread around the maintenance load.

switch import test to custom, small test app

The test project should be moved to https://gitlab.com/fdroid/ci-test-app

convert comments above functions to python docstrings

This is how to write per-function comments.
https://www.python.org/dev/peps/pep-0257/

properly parse build metadata list types like gradle=

Something like `gradle: yes` in YAML will be parsed as a boolean, since
'yes' is officially defined as a boolean true in YAML.  For metadata fields
that need to be lists, this needs to be converted.  Same goes for a single
string like `gradle: customFlavor`.

include version, commit, and android tools versions in local log

This includes more info to help track down problems with reproducible
builds, like the specific version being built, and which exact versions of
the Android SDK and NDK were used.

log versions of all installed Android SDK/NDK components

Any variation in the Android tools used to build an APK can cause the build
to be unreproducible.  To help troubleshoot these times, this posts the
installed versions of the Android SDK and NDK components to the lastbuild
log, for the long term record.

refs #148

Merge branch 'makebs' into 'master'

makebs updates

See merge request !185

makebs: add gradle 3.2

makebs: update to support repo r40

all: make newer pycodestyle happy

Apparently the "two empty lines" rule is now stricter.

Merge branch 'node' into 'master'

buildserver: install nodejs

Install nodejs to allow webapps to be build (in the future...).

Ref: https://gitlab.com/fdroid/fdroidserver/issues/60

See merge request !183

buildserver: install nodejs

Merge branch 'build-FPE-update-zip' into 'master'

Build Privileged Extension OTA update.zip using `fdroid build`

This allows `fdroid build` to build the OTA update ZIP file for F-Droid Privileged Extension, so that the official releases can be built and distributed via the normal F-Droid channels.   This is related to #233

Ultimately the client will also have to be updated to allow it to handle the non-APK files.

See merge request !181

wp-fdroid: show GPG Signature link for source tarballs

Now that source tarballs can be GPG-signed, the website should also display
a link to fetch them.

gpg-sign all valid files in the repo, including source tarballs

This makes sure there is a GPG signature on any file that is included in
the repo, including APKs, OBB, source tarballs, media files, OTA update
ZIPs, etc.  Having a GPG signature is more important on non-APK files since
they mostly do not have any signature mechanism of their own.

This also adds basic tests of adding non-APK/OBB files to a repo with
`fdroid update`.

closes #232

allow arbitrary build products, not only APKs

This makes it so that the final build product can be specified in output=
and it'll work no matter if its an APK or not.  This was developed around
the case of building the OTA update.zip for the Privileged Extension. It
should work for any build process in theory but it has not yet been tested.

https://gitlab.com/fdroid/privileged-extension/issues/9

get_release_filename() to handle any file type, not just APKs

In order to support non-APK files that are built by `fdroid build`, this
function that names the file releases needs to be generic.

use versionName unmodified as specified

The versionName is defined as a string or string resource that can be any
arbitrary data.  fdroid should not second guess the developer here, and
should just use the versionName unmodified.  For anything that needs to
compare different versions of apps, versionCode should always be used since
that's what Android uses.

https://developer.android.com/guide/topics/manifest/manifest-element.html#vname

update buildserver scripts in sdist tarball manifest

This was overlooked in previous work on ./makebuildserver

Merge branch 'support-media-files' into 'master'

Support media files

This is the first step in supporting adding artibitrary files to fdroid repos, targeted add supporting media files and flashable _update.zip_ files like used to install the Privileged Extension.  This reuses the existing metadata fields to keep compatibilty with older versions, but that means that lots of names are confusingly named since they refer to aspects of an APK rather than a generic file.  We can address that later when we refactor the whole index metadata.

See merge request !177

Merge branch 'master' into 'master'

Scanner: handle utf8 errors more gracefully

Don't throw an error without any info which file caused it.

Fixes #226

See merge request !180

reuse os.stat() result when checking for non-APK files

This should make things a bit more efficient when running on lots of files,
unless python was already caching the result...

support adding arbitrary files to a repo

This adds the most basic level of support for including arbitrary files in
an F-Droid repository.  This is useful for things like including videos,
ebooks, update.zip files for ROM updates, and more.  The aim is to have
this as generic as possible to keep it flexible for unforeseen uses.

Code-wise, this is really just a first effort.  This area of code has not
been touched in a very long time, and the repo parsing is done in a giant
function that is not easy to break apart.  It should be broken up to more
cleanly support arbitrary files.

Also remove the TODO line, we've decided to keep the old permission
format for now, at least until there is a major overhaul of the index
data format.  And the issue tracker the proper place for TODOs.

create addElementIfInApk() function for clean up common operation

There are currently a couple different ways this is done in the code, this
commit changes all of them to be like addElementNonEmpty().

Scanner: handle utf8 errors more gracefully

Fixes #226

remove unused 'apps' argument from update.scan_apks()

support all valid versionCode values, i.e. Java Integer values

versionCode can be any Java Integer value, from Integer.MAX_VALUE
(2147483648) to Integer.MIN_VALUE (-2147483647)

Merge branch 'texinfo' into 'master'

CI: use new docker image with texinfo

docs/gendocs.sh uses makeinfo.

See merge request !179

CI: use new docker image with texinfo

docs/gendocs.sh uses makeinfo.

Merge branch 'updates' into 'master'

makebs and CI updates

See merge request !178

Bump ci images and default build-tools