Merge branch 'add-local_copy_dir-and-v0.2-fixes' of https://gitlab.com/eighthave/fdroidserver

set version to v0.2

include getsig.java and opensc-fdroid.cfg in the source tarball

server update: mkdir 'archive' if it does not exist

If `fdroid server update` is run with config that includes an archive, but
the 'archive' subdir does not exist, create it.  This mirrors the code that
is in `fdroid update`.  Seems to trivial to move to common.py.

server: --sync-from-local-copy-dir for updating from offline signing repo

To support a fully offline build/signing machine, there is the "local copy
dir".  The repo is generated on the offline machine and then copied to a
local dir where a thumb drive or SD Card is mounted.  Then on the online
machine, using `fdroid server update --sync-from-local-copy-dir` allows
the whole server update process to happen in a single command:

0. read config.py on online machine's repo
1. rsync from the local_copy_dir to the current dir
2. copy to serverwebroot, awsbucket, etc.

switch serverwebroot rsync to --archive for guaranteed full sync

In `fdroid server update`, the rsync command used --update, which
`man rsync` says: "skip files that are newer on the receiver".  That could
cause issues of the public repo getting out of sync with the private,
master repo.  --archive is a better sync method since it aims to exactly
reproduce the sending dir to the receiving dir.

server: 'local_copy_dir' config/options to automate offline repo signing

This allows a dir to be specified in config.py that `fdroid server update`
will automatically rsync the repo to.  The idea is that the path would
point to an SD card on a fully offline machine that serves as the secure
repo signing machine.

Raise gotorevision exceptions with more useful info

Always try to recover origin/HEAD in case it's not there

Easier multiline strings

Error if UCM:Tags is used with git-svn without tags set up

Simplify check_metadata

Fix pep8 error in previous commit

Fix nasty problem caused by 7c2e61a4

Use origin/HEAD as the default checkout for git

This should fix many RepoManifest UCMs where 'master' is not the default
branch

Be more specific when logging repository deletes

Fix popen command logging

Small buildjni= fixes

Don't error about native code if buildjni=no

Only report files that were actually cleaned of signing stuff

Set the FDroidOpen output default back to true

Having it at False just makes SilentPopen useless.

Don't use logging.info with verbose ifs

Warn about config permissions before loading the defaults

Now, configs that don't contain passwords don't trigger the warning.

A bit more None magic to fix some UCMs

Don't output everything when using --verbose

This is especially painful when using stuff like aapt to obtain data

Revert "Keep version names even if found separate from the code"

This reverts commit 75381ef14718f3821acefaa64a4f7d5243ba15df.

Better support for gradle plugin versions

Use gradle_dir, not root_dir, to fetch the plugin version

Merge branch 'master' into 'master'

run-tests: find current version of aapt in folder rather than in PATH

The Jenkins server did not yet have 19.1.0 build-tools installed yet, so your fixed commits failed to build.  This commit fixes the build:

Not everyone adds the build-tools to their PATH, so this makes it so this script will find aapt in the most recent build-tools version that is installed on the local system.

run-tests: find current version of aapt in folder rather than in PATH

Not everyone adds the build-tools to their PATH, so this makes it so this
script will find aapt in the most recent build-tools version that is
installed on the local system.

Current build-tools is 19.1.0, not 19.1

Fix create_fake_android_home with the new build-tools

Bump default build_tools, small fixes

Warn if build_tools is not set up properly

Keep version names even if found separate from the code

Avoiding lintVital is no longer necessary in 0.11

Fix crash in 'fdroid import'

Fix bug in reading old recipes

Update fdroid init completion

Install and lint were missing -q

Apk output path is build/outputs/apk/*.apk since 0.11

lintVital was added in 0.8, only exclude it then

Add support for plugin version 0.11

Update sdk and build-tools

Fix small issue in import.py

Merge branch 'rsync-improvements-for-fdroid-server-update' into 'master'

rsync improvements for fdroid server update

This is a couple of improvements to how `fdroid server update` uses `rsync`.

(also, please remove the branch when accepting any of my merge requests)

Add faketime, needed by lildebi

Exclude lint from gradle build tasks

jni problem is critical, so make it an error

tests: turn off unneeded debug logging during APK copying

The whole process of finding and copying APKs can be very verbose, so turn
of the bash verbose logging during that process.

server: specify an identity file for SSH when rsyncing

This allows the SSH key used to sync with the server to be specified via
the config.py or the command line.  I need it for running automated tests
and setups.

update: add stricter checking when updating repo index using rsync

rsync uses the modification time and size of the file when deciding whether
to update a file.  These are relatively easy to control in malicious code,
so instead make rsync use a full MD5 checksum when decided whether the
index needs to be updated.  I suppose we could add an option to use
checksum checking on all files, but since the signed repo already provides
a checksum check, it seems not worth the added load on the process.

Also, renamed 'index' to 'indexxml' to make it clear what is the XML and
what is the JAR.

Merge branch 'test-updates-and-related-bug-fixes' into 'master'

Test updates and related bug fixes

I just set up some big tests of generating repos based on feeding as many random APKs into `fdroid update` as possible.  On our jenkins server, the tests copy all of the APKs that the jenkins server has generated and builds a repo from them.  This process caught lots of little glitches in the whole process.  While these little glitches are usually caused by problematic APKs, `fdroid update` should handle them gracefully.  Hopefully this set of fixes accomplishes that.

Be less clumsy when removing signingConfigs

tests: fix --android-home test to actually work

In this case, ANDROID_HOME is set to a fake, non-working version that will
be detected by fdroid as an Android SDK install.  It should use the path
set by --android-home over the one in ANDROID_HOME, therefore if it uses
the one in ANDROID_HOME, it won't work because it is a fake one.  Only
--android-home provides a working one.

update name/description in examples/config.py

It was confusing that by default, repos created with `fdroid init` had the
same name/description as f-droid.org/repo

some APKs do not have a name, like system APKs

It is not necessarily a good idea to try to distribute system APKs via
FDroid, but `fdroid update` should just ignore APKs it cannot handle rather
than die and prevent a repo from being fully created.  This is necessary to
handle the automatic creation of repos, like for debug builds from a
Jenkins server.

update: improve warning about APKs set to be debuggable

This uses the actual XML code used to set this flag making the warning
message easily searchable on the interwebs.

apps with no <uses-sdk> get strange values of minSdkVersion

Using this example app which does not have <uses-sdk>:
https://android.googlesource.com/platform/development/+log/master/samples/ApiDemos/assets/HelloActivity.apk

aapt then returns "sdkVersion:'IceCreamSandwich'".  minSdkVersion is only
ever supposed to be an integer, so this is a bizarre APK.  It is included
only as a binary in the git repo for Android sample code.  But who knows
what else is out there, so report and error and carry on with the update
process.

update: skip APKs that cannot be parsed instead of exiting

Some APKs can be corrupt or some system APKs do not have all the normal
info.  Instead of quitting, `fdroid update` skips the non-parsable APKs and
optionally deletes them if --delete-unknown is specified.

make FDroidPopen output based on --verbose

FDroidPopen outputs by default, this should be controlled by the --verbose
flag so that most of the time, only meaningful messages are shown like
errors and such.  For command output that should be shown everytime,
output=True can be set.

update: remove overly verbose message about icon sizing being correct

This seems like purely a debug message, I can't see why its useful in general

jenkins: run git pre-commit hook for pep8, pyflakes, etc

This provides a central script for running certain checks at commit time,
and in jenkins automated builds.

tests: specify dir for APKs as cmd line arg, and set jenkins to ~

This lets people easily set whatever dir they want, while letting jenkins
search through its whole workspace for any APKs that have been built. Also,
only include the latest version of a given packageName+versionCode.

use 'metadata' name throughout: --createmeta to --create-metadata

To keep the naming used within fdroid consistent, I renamed this long flag
to use the whole word 'metadata' since that is what is used everywhere else

tests: try `fdroid update` after adding an APK to an existing repo

Yes, this includes a binary file, but it is only for the tests, and it is
free software since I wrote it.  The source is here:

https://github.com/eighthave/urzip

test: make sure `fdroid update -c` creates a full index.xml

Previously, `fdroid update -c` would only create the new metadata, but
would not add the new apps/apks to the repo.  That required a second run of
`fdroid update`.  This has been fixes, so this test makes sure it stays
fixed, in a very generic way.

init: make prompt for SDK path exit cleanly on Ctrl-C

This just makes a clean exit rather than showing a python stacktrace.

add more SDK checks: build-tools/19.0.3 and presense of aapt

Make sure that fdroid can find aapt in the current config, otherwise exit
with an error.  Some users don't have build_tools set, and their SDK does
not include the build-tools in the default versioned dir, so this should
warn them of what is wrong.

Fix crash in checkupdates with auto-updates

Add warnings for repo clonings in build recipes

Fix the script defaults

No need to check for non-default build items

Remove dead mvnflags code

Add support for gitlab.com repos to import

Store build comments by vercode, not version

vercodes are unique, versions aren't

Don't allow for duplicate build entries

Use ordered dicts for defaults in apps and builds

Enable pep8 in pre-commit

Fix pep8 warnings in makebuildserver

Re-order app_defaults to match the writing order

Also fix a couple of issues:

* Update Check Name was never written to disk
* Maintainer Notes had no default and was used differently

Simplify field/flag checking and bool flag usage

Make unspecified license use regex

Merge branch 'recent-bug-fixes' into 'master'

Recent bug fixes

Fix a couple of bugs from the tracker.

fixes #12: make `fdroid update -c` do complete update like `fdroid update`

Since the new metadata created by -c is added after the existing metadata
was already parsed, `fdroid update -c` was not doing a complete update of
the repo.  This moves the metadata creation as early as possible, then
reruns the metadata parsing if new metadata was created.

refs #12 https://gitlab.com/fdroid/fdroidserver/issues/12

Fixes #8: if unknown APKs found, prompt to use -c or use --delete-unknown

This adds the option --delete-unknown for the current default behavior of
`fdroid update`: to delete any unknown APKs.  Instead, it just outputs a
warning about the unknown APKs and suggests -c for adding it.

Fixes #8 https://gitlab.com/fdroid/fdroidserver/issues/8

fix PEP8 E128 continuation line under-indented for visual indent

Fix some more pep8 warnings

Fix E265 in config.py

Add pre-commit hook with installer

Will enable pep8 once all the problems are gone

Fix pyflakes errors in readmeta

Make readmeta use srclibs and check for config.py too

More strict string search regex

Also use srclibs in checkupdates

Needed when Repo Type is srclib

Warn about summaries that are not capitalized

Fall back to launchable-activity label if application has none

This fixes apps like MiniZip not having a name

Add android targets 5, 6 and 9

They are nice to have, and will be needed to build support-v4 from source

Centralise management of srclib metadata

Restore friendly error messages

Use --verbose if you really want a full traceback with your 'you made a
typo in an package ID' messages.

It would be better to do this based on exception types (i.e. our own
exceptions - MetadataException, BuildException, VCSException) would not
print a traceback, but unexpected exceptions would. But the types are
not available at the 'fdroid' level currently.

Lose the other unused read_metadata parameter