Merge branch 'rsync_improvements' into 'master'

Rsync improvements

See merge request fdroid/fdroidserver!400

build: write out full rsync options

Also put target host:dir on one line to make it more readable

build: better logging output on rsync failures

Save rsync error output and combine that with the command invocation
into an FDroidException which can be logged to the wiki.

This additionally sets -q for rsync to only print errors.

Merge branch 'nightly-fixes' into 'master'

more `fdroid nightly` polishing

See merge request fdroid/fdroidserver!399

fix `hg pull`, was stupid mistake in 7bba20c6626152abded6b1cd6bef4f72dcf865b6

fdroid/fdroidserver!396

jenkins-setup-build-environment: delete libvirt images before test run

profitbricks-build7-amd64 was running out of disk space when running this
job...

nightly: use shutil.move() only so all ops work across filesystems

https://gitlab.com/fdroid/fdroidserver/merge_requests/377#note_49998712

shutil.move() in apk_strip_signature() to work across filesystems

os.rename() only works if source and destination are on the same file
system, shutil.move() works across file systems.

OSError: [Errno 18] Invalid cross-device link: '/builds/eighthave/fdroidclient/app/build/outputs/apk/app-debug.apk' -> '/tmp/tmp966vh75f/tmp.apk'

nightly: only use read_config to load final, generated config.py

This needs to use the config loading routine to find Java `keytool`, but
since it doesn't need to fully load the config, isolate that usage in the
function.  Then read_config() is only ever called once, as is it meant to
be used, once the config.py is generated.

Using `from . import common; common.config = foo` will not always work,
due to some oddities to how the `from` imports work. So the full module
has to be imported in order to make sure its always properly set.

nightly: resign APKs with provided debug.keystore

Rather than needing to run a command before and after the build, in order
to first install the debug.keystore, then after to fetch and publish the
APK, this makes `fdroid nightly` just resign the APK with the provided
debug.keystore.  Then `fdroid nightly` can be run as the final step in a CI
build, and still ensure that the APKs are always signed by the provided
debug.keystore.

add common.sign_apk() for nighly as test for using in publish

Since the MD5 migration was quite a bit of work, it makes sense to start
on moving away from SHA1 as much as possible while it is easy to do. SHA256
will only work in APK signatures on android-18 (4.3) or newer.  So if an
APK has a minSdkVersion of 18 or newer, then sign with SHA256.

https://issuetracker.google.com/issues/36956587
https://android-review.googlesource.com/c/platform/libcore/+/44491

Merge branch 'CVE-2017-1000117' into 'master'

block all SSH connections for VCS, for usabililty and security

See merge request fdroid/fdroidserver!396

block all SSH connections for VCS, for usabililty and security

If we allow SSH, then we'd have to manage known_hosts.

All VCS and submodule URLs should use HTTPS.  SSH URLs have security vulns:
https://blogs.msdn.microsoft.com/devops/2017/08/15/git-vulnerability-with-submodules/
https://www.theregister.co.uk/2017/08/13/ssh_flaw_in_git_mercurial_svn/
CVE-2017-1000117

I did a manual scan of the setup on jenkins.debian.net to see if I could
find any suspicious URLs.  Looks good so far.  This is what I used:

find . -type f -print0 |xargs -0 grep -Eo 'ssh[:+][svn/]+...................'
find . -type f -print0 |xargs -0 grep -Eo 'ssh://-[^ "]+'

Also, some ssh://_ URLs in submodules might still work, because of the URL
rewriting in fdbfb4d1.  But https://-oProxyCommand=pwnme does not really do
anything, unlike ssh://-oProxyCommand=pwnme

Merge branch 'submodules_ucm' into 'master'

checkupdates: don't fail when we can't init submodules

Closes #231

See merge request fdroid/fdroidserver!395

checkupdates: don't fail when we can't init submodules

Later revisions might have removed the submodules so we want to keep
going when there are no submodules present.
We still abort when there is an error initializing submodules.

Fixes fdroid/fdroidserver#231

Merge branch 'git_clone_fix' into 'master'

GitFetchFDroidPopen: don't change cwd when cloning

See merge request fdroid/fdroidserver!393

GitFetchFDroidPopen: don't change cwd per default

Fix for ca24aa4ca85da123df613f7105249605764f1321.
For git clone we don't want to change cwd because clone actually
creates the repo dir.

stop `git clone` from hanging at prompts

Forgot this in fdbfb4d1a2b4f97ff0e1b93739fee2f0c5652e63 !378

reviewed in person with @bubu @uniqx

Merge branch 'log_git' into 'master'

build: log vcs tools version on every build attempt

See merge request fdroid/fdroidserver!391

build: log vcs tools version on every build attempt

Merge branch 'metadataFlavours' into 'master'

Add flavour to metadata

See merge request fdroid/fdroidserver!370

build: hard exit on success to avoid hanging

Something is preventing `fdroid build --all` from exiting after a long
run.  @bubu, @uniqx and I think it is because of the use of
AsynchronousFileReader, somehow it's thread does not exit. So the
workaround for now is to just try a hard exit instead of waiting for
things to finish cleanly with `sys.exit(0)`.

https://jenkins.debian.net/job/reproducible_fdroid_build_apps/94/console

Merge branch 'no_sleep' into 'master'

vmtools: remove old vagrant workaround

See merge request fdroid/fdroidserver!380

Merge branch 'sort-fdroid-build-all' into 'master'

sort `fdroid build --all` by most recent first

See merge request fdroid/fdroidserver!390

add flavour to metadata

tests: use standard dir setup so all tests start in same dir

tests: name temp test dir after test function that used it

build: sort `fdroid build --all` by most recently changed first

mirror: fix syntax error on Python 3.4

It seems that Python 3.5 is more flexible with * expansion, Python 3.4 says:

SyntaxError: only named arguments may follow *expression
https://travis-ci.org/f-droid/fdroidserver/jobs/309194065

Merge branch 'gradleFlavor' into 'master'

gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

See merge request fdroid/fdroidserver!389

PEP8 fixes

Merge branch 'polish-for-1.0' into 'master'

Polish for 1.0

Closes #421

See merge request fdroid/fdroidserver!388

added test case

vmtools: in KVM mode, only call sudo hack when file is not readable

server: prevent crash when uploading to virustotal

init: handle case where keystore.jks is present but config.py is not

common: document read_pkg_args() and read_app_args()

It took me a long time to figure out how `fdroid build --all` builds the
whole list of apps...

build: set open file limit based on how many apps are being processed

When running `fdroid build --all` on a buildserver with thousands of apps,
it was frequently hitting the open file limit.  This increases the open
file limit based on how many apps are being process.  It is doubled to
provide a margin of safety.

There are probably open file leaks which ideally would be fixed, but this
is also useful to make things more resilient to all the random stuff apps
include in their build systems.

buildserver: include all Android SDK licenses in their exact format

I tried to clone the files I got from `sdkmanager --licenses`, byte for
byte.

nightly: automatically create and manage app metadata

This also allows the developer to edit the metadata in the *-nightly git
repo to customize it.

closes #421

nightly: fix QR code repo icon generation

nightly: include 'qrcode' as dependency

update: use KnownApks dates to check system clock on offline machines

KnownApks provides a reliable source of a relatively recent date.

Merge branch 's3cfg' into 'master'

server: allow user to specify custom s3cfg file

Closes #413

See merge request fdroid/fdroidserver!385

server: allow user to specify custom s3cfg file (closes #413)

This lets people do advanced S3 setups like CloudFront caching, and
anything else s3cmd lets you do.

Merge branch 'fdroid-mirror' into 'master'

mirror: new command to make a mirror of a repo

See merge request fdroid/fdroidserver!389

mirror: fix downloading of graphics

It was downloading them all directly into the 'repo' folder.

mirror: forward --verbose flag to wget to control output

mirror: verify index signature if fingerprint included in URL

This keeps the old handling without signature checks so that it works
without requiring Java/apksigner or the whole config.py parsing stuff.

mirror: show help if no URL is provided

mirror: new command to make a mirror of a repo

This creates a mirror of a full repo by downloading all files listed in
the index, and the ones that are generated based on that data, e.g. icons
of different resolutions.  This could be useful for setting up mirrors of
small repositories, instead of having to learn and manage rsync or
something else for mirroring.  This just needs a working repo.

It uses wget in a batch mode with the aim as being as efficient as
possible.  wget mirroring over HTTP is always going to be less efficient
than rsync, but it shouldn't be so bad since it uses --continue to check
whether it has already downloaded a file.  I suppose it could be extended
to use ETags for a little more efficiency.

I developed this creating a test mirror of f-droid.org, which is now a bit
ironic, since I added a specific check to prevent people from using this
on f-droid.org.

gradle file: use flavour specific versionCode/versionName, fall back to parsing line by line

jenkins-test: make new keystore on each test so the password is known

Bump to 0.9.1 for release process fixes

rename test files to work round filename length limits

It seems a lot of things like tar, Windows, some filesystems, etc. do not
handle long filenames. #416

check git is on correct tag before making a release

Merge branch 'tests-fedora' into 'master'

tests: fix pycodestyle lookup

See merge request fdroid/fdroidserver!386

tests: fix pycodestyle lookup

Pycodestyle is available as /usr/bin/pycodestyle-3 on Fedora.

Bump to 1.0.dev0

Bump to 0.9

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!384

Weblate

nightly: fix PEP8 E722 do not use bare except

jenkins: require successful `git fetch` before running tests

jenkins-setup-build-env: actually run tests in the new buildserver VM

Oops, this has been failing, since it was running the build on the vm host,
not in the buildserver VM.

jenkins-test: don't overwrite `fdroid init` config.py and rm test files

jenkins-test: force new repo setup for each build

jenkins-build-all just sets `build_server_always = True`, these tests need
a whole keystore setup.  So just delete the existing config, and let
`fdroid init` do the rest.

Merge branch 'rsync' into 'master'

build: rsync instead of sftp dirs to the buildserver

Closes #227

See merge request fdroid/fdroidserver!379

Merge branch 'ndk' into 'master'

makebuildserver: add ndk r16

See merge request fdroid/fdroidserver!383

makebuildserver: add ndk r16

Merge branch 'vm-provider-lookup-flaw' into 'master'

fix vm provider lookup flaw

See merge request fdroid/fdroidserver!382

Merge branch 'no_rm' into 'master'

common: use python instead of calling out to 'rm'

See merge request fdroid/fdroidserver!381

fix vm provider lookup flaw

build: rsync instead of sftp dirs to the buildserver

Sending many small files with paramiko's sftp implementation is quite
slow. There seems to be no way around this, other projects (ansible)
recommend to use rsync in this case.

Our sourcecode directories sometimes have a LOT of files, it can take
up to an hour to copy all required things inside the buildserver.

Instead we just use rsync with the ssh options we get from vagrant.
For rsync specific options we use:

* sync permissions as before
* sync symlinks (was done partially before)
* don't sync hardlinks and ownership as these don't make for things
  coming from a VCS

Closes fdroid/fdroidserver#227.

common: use python instead of calling out to 'rm'

Be platform agnostic by not calling other utilities.

Merge branch 'stop-hanging-on-git-ssh' into 'master'

Stop hanging on git ssh

See merge request fdroid/fdroidserver!378

vmtools: remove old vagrant workaround

This was introduced in cd23bb933c7c5d67cff35ada0f5edeac917c791f
apparently to work around problems in vagrant 1.3.5.

This seems not to be necessary any more, I have never had a problem with
those sleeps removed.

never wait for SSH prompts when running git commands

We never allow git via SSH or password/key access, and right now, this
causes things to hang forever.  This sets things up to fail quickly
with invalid ssh connections.

BatchMode=yes - passphrase/password querying will be disabled.

StrictHostKeyChecking=yes - never automatically prompt, or add host keys to
the ~/.ssh/known_hosts file, and refuse to connect to hosts whose host key
has changed.

build: stop git from waiting forever at username/password prompts

If a git fetch/clone/submodule URL points to gitlab, github, bitbucket, etc
and that repo does not exist any more, those services will prompt the user
for a username/password so that the service can check if its a private
repo.  Private repos show up the same as non-existent repos.  This employs
two techniques for making sure that git never waits at those prompts.  It
instead should just fail immediately.  The buildserver has been hanging on
these prompts forever, until manually killed.  This change will apply to
updates both on the buildserver host, and the buildserver guest vm.

This uses the "insteadOf" git config option to rewrite URLs to always use
HTTPS and then include a fake username/password so that git will use those
in the prompts and fail immediately.  This trick has been in use on the
verification server for a long while and has been working well.  It has
also been used on jenkins.debian.net in the host.
https://f-droid.org/en/docs/Verification_Server/

It also includes GIT_TERMINAL_PROMPT, which also prevents the bad behavior,
which was added in git 2.3.
https://github.com/blog/1957-git-2-3-has-been-released

buildserver: use git from jessie-backports to get better workflow

A number of key features around username/password handling where added in
2.3, like GIT_SSH_COMMAND and GIT_TERMINAL_PROMPT.

Merge branch 'nightly' into 'master'

nightly: new command to setup nightly builds in CI systems

See merge request fdroid/fdroidserver!377

nightly: new command to setup nightly builds in CI systems

This lets people using CI systems easily setup a nightly build repo hosted
for free in github or gitlab.

https://github.com/zom/Zom-Android/pull/355
https://gitlab.com/fdroid/fdroidclient/merge_requests/594

environment variables:
* https://docs.gitlab.com/ce/ci/variables/README.html
* https://docs.travis-ci.com/user/environment-variables
* https://circleci.com/docs/1.0/environment-variables

rename test file to fit within eCryptfs filename limits (closes #416)

make common.local_rsync() method for pre-configured local rsyncs

common.get_examples_dir() to get path to fdroidserver examples

tests: new tests for stacktraces caused by translated help strings

remove --create-key from completion, its only for migrations

If people want to create repos, they should be using `fdroid init`.  This
flag is for very specific cases: migrating old unsigned repos to signed.
It shouldn't be promoted for anything else since there are better tools for
those tasks.

Merge branch 'gradle-platform-install' into 'master'

Allow Gradle to install new platforms

See merge request fdroid/fdroidserver!373

Merge branch 'remove-ubuntu-trusty-paramiko-hack' into 'master'

buildserver: remove special sshd setup for Ubuntu 14.04

See merge request fdroid/fdroidserver!374

buildserver: remove special sshd setup for Ubuntu 14.04

Now that fdroidserver requires Python 3, there's no need to tune sshd for
an old version of Paramiko because Ubuntu 14.04 does not have
python3-paramiko package in its repositories:

    https://packages.ubuntu.com/search?keywords=python3-paramiko

We can safely assume that Ubuntu 14.04 users have installed a more recent
version of Paramiko from PIP.

buildserver: add new android-sdk-license hash

The old hash does not work anymore, at least for platform-27. Where this
new one comes from:

1. Download command line tools from
   https://developer.android.com/studio/index.html#command-tools
2. Unzip the package
3. Run ./tools/bin/sdkmanager --licenses
4. Read and accept licenses
5. Find the hash in ./licenses/android-sdk-license

Merge branch 'gradle-4.3.1' into 'master'

makebuildserver: add Gradle 4.3.1

See merge request fdroid/fdroidserver!372

buildserver: allow gradle/sdkmanager to install new platforms

Google releases new API SDKs quite rarely (about 2 times a year), but when
they do this, many apps quickly start using it. Allow downloading new API
SDKs to avoid waiting for the next buildserver rebuild.

makebuildserver: add Gradle 4.3.1

Merge branch 'master' into 'master'

Changed setup.py +x for easy invocation

Closes #410

See merge request fdroid/fdroidserver!371

Changed setup.py +x for easy invocation

Merge branch 'build-tools_r26.0.3' into 'master'

makebuildserver: add build-tools_r26.0.3

See merge request fdroid/fdroidserver!369

makebuildserver: add build-tools_r26.0.3

Merge branch 'master' into 'master'

makebuildserver: add build-tools_r27.0.1

See merge request fdroid/fdroidserver!368

jenkins: some reliability fixes to the test scripts