Make comma-separated list parsing code common

Merge branch 'support-all-signing-key-types' into 'master'

support all APK signing key types: DSA, EC, RSA

The lovely python getsig replacement was only looking for .RSA files, but the signing key is defined as: "A signature block file with a .DSA, .RSA, or .EC extension"
https://docs.oracle.com/javase/7/docs/technotes/tools/windows/jarsigner.html

For more info:
https://f-droid.org/forums/topic/binary-repo-whatsapp-error

See merge request !51

Merge branch 'debug-builds' into 'master'

support plain paths as a serverwebroot

For use cases where there is a web server running on the same machine where the `fdroid update` is being run, allow plain paths in the serverwebroot list.  This is useful for debug repos from build servers, like:

https://dev.guardianproject.info/fdroid

This also includes small change in the `fdroid server update` delete behavior: it delays the delete phase until after the new APKs are uploaded.  This is keep things working for a long as possible while the repo is being updated.

See merge request !49

Merge branch 'master' into 'master'

make it really easy to upgrade unsigned repos to signed

As a key step to removing support for unsigned repos from fdroidclient (https://gitlab.com/fdroid/fdroidclient/issues/12), this merge request makes `fdroid update` require a signing key.  If there is no keystore, it'll prompt the user to create one using `fdroid update --create-key`.

This closes #13

See merge request !48

support all APK signing key types: DSA, EC, RSA

"A signature block file with a .DSA, .RSA, or .EC extension"
https://docs.oracle.com/javase/7/docs/technotes/tools/windows/jarsigner.html

ACCESS_SUPERUSER is now deprecated

Detect most bad URLs

Also [appid] links that should really be [[appid]]

Merge branch 'vars' into 'master'

Update documentation to cover COMMIT, VERSION and VERCODE vars

See merge request !50

Update documentation to cover COMMIT, VERSION and VERCODE vars

Add COMMIT, VERSION and VERCODE recipe vars. Fixes #69

common.write_to_config(): if key doesn't exist in config.py, append it

This lets `fdroid update --create-key` add key/value pairs to config.py

tests: no need to dump the index.xml to the build log

This should make the build log a lot shorter.

`fdroid update --create-key` to create a keystore/key

This provides the final option in this series, allowing the user to just
add --create-key to `fdroid update, and thereby upgrade an unsigned repo to
a proper signed repo.  It also might be useful

closes #13 https://gitlab.com/fdroid/fdroidserver/issues/13

move keystore gen logic to common function

This moves the method for generating a new keystore for the repo signing
key to a common function so that it can be used in more subcommands beyond
`fdroid init`.  The immediate idea is to make `fdroid update --create-key`
upgrade unsigned repos to signed ones so we can make fdroidclient only use
signed repos.

move default keystore location to `keystore.jks`, i.e. in the fdroid repo

This makes `fdroid init` create a complete, self-contained repo in a single
folder.  That makes it easily transferable, backupable, etc.  It also means
that `fdroid update` can add a keystore to an existing unsigned repo
without having to worry about finding the right folder or overwriting any
other existing files.

move genkey() and genpassword() to common.py for use in multiple sections

genkey() and genpassword() are now going to be used by `fdroid update` as
well as `fdroid init`, so they should be in common.py

make `fdroid update` check that it can sign the repo, or exit with error

There is no good reason to run unsigned repos any more.  It is trivially
easy to create and use a signed repo, and having to support unsigned repos
in the client makes some security-critical parts of the code a lot more
complicated.

refs #13 https://gitlab.com/fdroid/fdroidserver/issues/13
https://gitlab.com/fdroid/fdroidclient/issues/12

jenkins-build: always use speced dir for APK source

Otherwise, the test process can pick up lots and lots of APKs from various
places like a ~/fdroid folder or various ~/workspace/fdroidserver Jenkins
projects.

server: support plain paths as a serverwebroot

For use cases where there is a web server running on the same machine where
the `fdroid update` is being run, allow plain paths in the serverwebroot
list.  This is useful for debug repos from build servers, like:

https://dev.guardianproject.info/fdroid

server: delay deleting on the server for as long as possible

In order to keep things working as much as possible during the update, the
rsync should only delete the obsolete APKs after it has finished uploading
the new APKs.

Use --safe-links with rsync

Don't match gradle plugin import lines which are commented

Add plugin version 1.2 to our gradle wrapper

Sort debian packages to be installed

Add scons, make-like tool used by godot

Order counter stats by value, not key

stats: Don't confuse app with appid

stats: sort counter outputs

Add stats/disabled_apps.txt (closes #87)

lint: warn about None category

lint: Remove NOP

Merge branch 'projectproperties' into 'master'

Fix project.properties dependency issue

Correctly place scrlib references also
in the case there is no project.properties file
present in the original repository.

This commit fixes a problem, which was introduced with
021df3c42420de542bf11f22948831023b47ebf3: If no
project.properties file exists in the original
project's source repo, place_srclib will not place
a dependency --- even if there should be one:

>    if not os.path.isfile(proppath):
>        return

Example app: fdroiddata/metadata/org.berlin_vegan.bvapp.txt

See merge request !47

Don't try reading lines from directories

Fix project.properties dependency issue

Correctly place scrlib references also
in the case there is no project.properties file
present in the original repository.

This commit fixes a problem, which was introduced with
021df3c42420de542bf11f22948831023b47ebf3: If no
project.properties file exists in the original
project's source repo, place_srclib will not place
a dependency --- even if there should be one:

>    if not os.path.isfile(proppath):
>        return

Example app: fdroiddata/metadata/org.berlin_vegan.bvapp.txt

lint: add commented out warnings about google code

Also run main gradle clean task in case it's got dependencies

Start supporting gradle tasks that belong to subprojects

Add gradle 2.3 to the buildserver

Fixes apps that explicitly require 2.3 via gradleVersion

Add android version 5.1

When patching or checking plugin versions, use *.gradle

Apparently all *.gradle files are valid, e.g. global.gradle.

Other minor file reading fixes

Always check that files actually are files before reading

This fixes crashes with e.g. broken symlinks

Fix buildTools versions that reference variables

Work when cpu count is not defined

Forgot to bump build_tools in the configs

Merge branch 'import' into 'master'

Importer: Fix duplicated urls

Importer uses provided URL for the "website" as default. If "sourcecode" is set to the same, this causes a lint error. For Github the website is now empty while Gitlab's sourcecode is no longer the bas project url.

See merge request !46

Importer: Fix duplicated urls

Update build tools to 22.0.0

Update sdk to 24.1.2

Add android-22 target

Gradle plugin version 1.1 still uses gradle 2.2

Merge branch 'update-readme' into 'master'

Update readme

Updated the main README file to include a list of dependencies.

Forgot to update my e-mail address, so I closed Merge Request !44 first.

See merge request !45

Update README file.

lint: don't take commas as punctuation

Don't take placeholders commits as possible tags

Also set ANDROID_NDK_HOME since gradle may need it

Also ignore PEP8 W503

Ignore all the pep8 errors ignored by the default config

Merge branch 'LOffice' into 'master'

Add LibreOffice build-deps.

These are the dependencies that i needed in a VM with a "Debian Jessie netinst" installation. I had in the system the "Standard system utilities", fdroidserver, all the packages listed in "buildserver/cookbooks/fdroidbuild-general/recipes/default.rb", and "build-essential". I assume that the BS has build-essential  installed as its needed to build the "VirtualBox Guest Additions".

See merge request !42

Add dependencies needed by "LibreOffice Viewer Beta"

Failed to update what page?

Note about required python version

Allow buildserver CPU count to be configured

Signature file names are not fixed

Use jarsigner-based verification in publish

Need the information about what's different from verify_apks

Add function to verify apks via jarsigner

Use pre-retrieved Binary when publishing

This allows this system to work when the machine that runs 'fdroid
publish' is offline.

Retrieve Binaries at build time

Improve validation of fdroid import page parsing

Handle not-found package name gracefully

Merge branch 'fxbuilddeps' into 'master'

Add firefox build-deps.

See merge request !40

Ensure package names are valid

Remove shell option from FDroidPopen

wp-fdroid: Properly escape fdfilter

Resolves an XSS issue identified by Cure53 (https://cure53.de)

Add compare-locales via easy_install for Firefox

Add build-deps for Firefox

Merge branch 'master' into 'master'

fix build issues

Fixed three build issues: one PEP8 and two small errors in the tests.

See merge request !39

fix update.TestCase: remove unused SilentPopen import, that class was removed

fix install test by making sure common.options is set

fix PEP8 E124 closing bracket missing visual indentation

Merge branch 'antifeature' into 'master'

Update docs: AntiFeatures

See merge request !38

Fix no-checksum option type for local sync (fixes #67)

Update docs: Add UpstreamNonFree; apps with AFs are not hidden.

Merge branch 'update_docs' into 'master'

Added docs how to get platform cache files (closes #53)

See merge request !37

Added docs how to get platform cache files (closes #53)

Fix adding paths to the PATH env variable

Fix issue introduced in 49549f4cad2097 (fixes #62)

Fix PEP8 issues from latest pull request

Correction to 5b868c8a4

Don't limit gradle's forceversion to string literals

Only set Auto Name if one isn't set already

Merge branch 'master' into 'master'

streamline verify process in `fdroid publish`

This is a collection of small fixes to streamline the process of verifying a build against a provided APK as set in the `Binaries:` metadata.

See merge request !35

if a build did verify against Binaries:, delete the comparison dirs

If the comparison between the provided APK and the built APK is verified,
then there is no need to keep the old comparison files around. On big build
servers like f-droid.org, there will be thousands of leftover dirs from all
the builds, so this is necessary.

if `meld` is available, use it to show differences on failed APK compare

meld is much easier to browse when comparing directory trees.

if `apktool` is available, use it to decompress APKs when verifying

apktool decompiles the binary XML to regular XML, so it is much easier to
read for differences.

fix typo in error message

uncompress using `jar xf` in a folder with the same name

This makes it easier to compare the whole APK folders when there are
multiple methods of uncompressing the APK.

make resulting dirs of compare_apks() have clearer dir names

This makes it a lot easier to remember which APK is which when trying to
make sense of the differences.

prevent `fdroid publish` from repeatedly downloading the developer binary

wget's --continue makes wget not overwrite the existing file, or create a
new version with a .1 extension.  Instead it tries to finish an incomplete
download, or does nothing if the download is complete and matching.