makebuildserver: remove reference to f-droid.org/jessie64.box

Also improve error message when the initial vagrant up fails, this is
most likely due to the missing jessie64.box file.

Merge branch '391-fdroid-publish-unknown-execption' into 'master'

better error message in publish when repo_key is not set

Closes #391

See merge request fdroid/fdroidserver!352

better error message in publish when repo_key is not set

`make update` to update all translation files from source code

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!354

Weblate

jenkins-build-makebuildserver: use current version for test build

Merge branch '1.0-fixes' into 'master'

1.0 fixes

Closes #357

See merge request fdroid/fdroidserver!353

include all argparse strings in translation template

The Python argparse library has its own strings, which are translatable
via gettext.  This gets those sources strings from the library, and
includes them in this project.  Since gettext is invoked and configured
in fdroidserver, fdroidserver needs to handle the translations for the
libraries it uses.

update translation template and add file context for each string

The file context lets the translators know which command the string applies
to.  It does not have line numbers, since those are less useful, while
causing lots of merge conflicts.

update: support Fastlane's official location for screenshots

fastlane/android/metadata/locale/images/*Screenshots

https://github.com/fastlane/fastlane/blob/2.61.0/screengrab/lib/screengrab/runner.rb#L324

closes #357

update: fix detection of Triple-T screenshots

* https://github.com/westnordost/StreetComplete/issues/489
* https://forum.f-droid.org/t/screenshots-dont-show-up-in-client-using-gradle-play-publisher/881/2

#357

server: automatically create S3 bucket when using s3cmd

server: move strings to be gettext translatable

handle exceptions that send a tuple for the error message

Running `fdroid verify` I was seeing FDroidExceptions from verify.py:98
that had a tuple rather than a string.

Traceback (most recent call last):
  File "/home/hans/code/fdroid/server/fdroid", line 152, in <module>
    main()
  File "/home/hans/code/fdroid/server/fdroid", line 128, in main
    mod.main()
  File "/home/hans/code/fdroid/server/fdroidserver/verify.py", line 98, in main
    logging.info("...NOT verified - {0}".format(e))
  File "/home/hans/code/fdroid/server/fdroidserver/exception.py", line 22, in __str__
    ret += "\n==== detail begin ====\n%s\n==== detail end ====" % ''.join(self.detail).strip()
TypeError: sequence item 1: expected str instance, HTTPError found

Merge branch 'error_on_jars' into 'master'

RFC: Error on jars

See merge request fdroid/fdroidserver!325

Merge branch 'gradle-4.2.1' into 'master'

makebuildserver: add Gradle 4.2.1

See merge request fdroid/fdroidserver!351

makebuildserver: add Gradle 4.2.1

N.B. Actual address of the distribution server is downloads.gradle.org;
services.gradle.org redirects to it.

Merge branch '334-make-index-generation-fully-reproducible' into 'master'

Resolve "make index generation fully reproducible"

Closes #334

See merge request fdroid/fdroidserver!343

Merge branch 'print-vcs-client-version' into 'master'

common: print VCS client version

See merge request fdroid/fdroidserver!349

common: print VCS client version

This may help to debug issues with too old VCS clients.

Merge branch 'fix_bare_except' into 'master'

fix bare except to satisfy newer pycodestyle

See merge request fdroid/fdroidserver!348

Merge branch 'build-tools-26-0-2' into 'master'

add build-tools 26.0.2

See merge request fdroid/fdroidserver!347

fix bare except to satisfy newer pycodestyle

add build-tools 26.0.2

import: fix bitbucket import

repo type can be found on main url, not under /src

Merge branch 'fix-dot-gradle-removal' into 'master'

build: fix build/ and .gradle/ removal after cleaning

Closes #384

See merge request fdroid/fdroidserver!346

Merge branch '291-include-apk-signatures-in-build-metadata-file' into 'master'

include APK signatures in build metadata file

Closes #291

See merge request fdroid/fdroidserver!287

build: fix build/ and .gradle/ removal after cleaning

An app may not have a top-level build.gradle file, while Gradle still
creates top-level .gradle/ directory. When build.gradle is absent,
fdroidserver will not remove .gradle/, scanner will find binaries in it
and fail the whole build.

Fix this by also checking for settings.gradle file (should always exist
in the top-level directory) in addition to build.gradle.

use OrderedDict for localization data in index-v1

make sure all timestamps in index-v1 are utc

convert apk timestamp from filesystem to utc before storing

make sure apk-added datetime only gets returned rounded to days

add test for index-v1.json

sort antiFeatures list in index-v1.json

store fdroid signing-key-fp-list in stats dir

added some docstrings and error messages

choose best apk version vor index v0

sort index-v1; publish now creates and stores a list of signature fingerprints

added functions for storing/loading signer fingerprints to stats

added some developer-signing key metadata to tests

function for finding developer signature in metadata

add signer to index v1

added parse release filename function

skip singing apks which ar not validating with signatures from metadata

test for common.get_app_id_aapt

try injecting signatures for metadata when publishing

check file existance before trying to verify apks; use centext manager for zips when verifying apk

add common functions for dealing with apk signatures

refactored publishing source tarball into a function

common function for fetching sha256 signing-key fingerprint

Merge branch 'build-drozer-syntax-error' into 'master'

building with --dscanner now exits gracefully when repo dir not present

See merge request fdroid/fdroidserver!344

tests: test setting up app git repo like `fdroid build` does

I wrote this to try to find #379 but this test didn't trigger that bug.

tests: add setUp() method to common to handle standard stuff

move lots of comments to function doc strings

travis-ci: quiet output for pip/sdkmanager installs

The log was getting way too long.

update MANIFEST.in

There were a number of new files missing.  Some files still manually
excluded.  Generated using:

 for f in `git ls-tree -r master --name-only | sort`; do echo include $f; done

use pandoc to convert README.md to PyPI's reST format

PyPI and Python packages expect the description to be in reST format, which
is a lot different than Markdown.  This does the conversion if pandoc is
installed.

build+drozer: error message instead of crash when repo-folder missing

Merge branch 'gradle-4.2' into 'master'

makebuildserver: add Gradle 4.2

See merge request fdroid/fdroidserver!342

makebuildserver: add Gradle 4.2

Merge branch 'port-to-osx-and-trusty' into 'master'

port to OSX and Ubuntu/trusty

See merge request fdroid/fdroidserver!341

travis-ci: always reinstall Java on OSX to get recent version

The Travis images have quite old versions of Java currently.

travis-ci: test on older OSX versions

tests: use ci-test-app with current Gradle Android Plugin

This works around the gradle 2.x bug where versions newer than 2.9 cannot
run things.  This also then specifies the version of Gradle Android Plugin
that is included in Debian/stretch.

tests: support Java setups where MD5 is not disabled by default

For platforms using Java < 1.8.0_133, MD5 is still enabled for JAR
signatures.  Its just too painful to manage all this, so support this
in the tests.

tests: don't run gpgsign tests on Travis CI's OSX, gpg always fails

travis-ci: make Trusty builds a first class citizen

Trusty is used in Travis-CI, Windows Subsystem for Linux, and many other
places, so its an important target platform to test on.  This provides
testing for the backports in the Launchpad PPAs like:

* https://launchpad.net/~fdroid/+archive/ubuntu/fdroidserver
* https://launchpad.net/~fdroid/+archive/ubuntu/buildserver

travis-ci: update OSX CI build to work again

tests: support Ubuntu/trusty's python3.4-venv

tests: prefer GNU sed on BSD/OSX, BSD's sed has lame syntax

https://blog.remibergsma.com/2012/09/18/sed-inline-editing-different-on-mac-osx/

allow spaces in filenames

This fixes all the bugs I could find that prevented fdroid from
handling files with spaces in them.  This is more important now that
fdroid supports random media files, and Repomaker

tests: move test APK with bad unicode filename to separate test

This filename has some messed up bytes related to bi-directional script
that is included (Left-to-Right and Right-to-Left).  GNU/Linux always
interprets filenames as pure byte sequences.  Windows and OSX store
filenames as Unicode strings.  So on OSX, the invalid filename gets
converted to a valid name.  That works fine, but the test fails because it
is compared to a file generated on Ubuntu, where it preserves the byte
sequence.

This includes an APK with a valid Unicode filename that includes
bi-directional script.

index: always use jarsigner for verifying JAR signatures

apksigner v0.7 (build-tools 26.0.1), Google made it require that the
AndroidManifest.xml was present in the archive before it verifies the
signature.  So this needs to stick with the jarsigner hack for JARs.

init: prompt user for Android SDK path using platform-specific default

create blank config.py using cross-platform technique

os.mknod() fails on OSX with:

Traceback (most recent call last):

  File "/Users/travis/build/fdroidtravis/fdroidserver/tests/../fdroid", line 154, in <module>
    main()
  File "/Users/travis/build/fdroidtravis/fdroidserver/tests/../fdroid", line 130, in main
    mod.main()
  File "/Users/travis/build/fdroidtravis/fdroidserver/fdroidserver/update.py", line 1768, in main
    common.write_to_config(config, 'repo_keyalias', config['repo_keyalias'])
  File "/Users/travis/build/fdroidtravis/fdroidserver/fdroidserver/common.py", line 2328, in write_to_config
    os.mknod(cfg)
PermissionError: [Errno 1] Operation not permitted

Merge branch 'first-working-localization' into 'master'

First working localization

See merge request fdroid/fdroidserver!340

update translation template with latest strings

add Makefile to handle refreshing translation template

To generate the translation files, run `make -C locale`or
`cd locale && make`

To update the template, run `make -C locale template` or
`cd locale && make fdroidserver.pot`

fix string formats that are ambiguous for translators

ensure _ is used only for gettext strings

_ is often used for variables that are ignored, this makes that a bit more
explicit
!338

English source string corrections

From @monolifed <monolifed@gmail.com>

"No config.py found" should warning level, until people get use to it

Since !335 changed the long standing behavior, now allowing `fdroid` to
work without a config.py being present, this message should be quite
visible in case people are expecting `fdroid` to fail when there is no
config.py present.

Merge branch 'plural' into 'master'

Correct plurals

See merge request fdroid/fdroidserver!334

Merge branch 'newcomers' into 'master'

allow starting without config.py

See merge request fdroid/fdroidserver!335

Merge branch 'weblate' into 'master'

Weblate

See merge request fdroid/fdroidserver!339

Weblate

Merge branch 'implement-gettext' into 'master'

first implementation of localization using gettext

Closes #342

See merge request fdroid/fdroidserver!338

Correct plurals

rename 'app-id' to standard Android 'applicationId'

* https://developer.android.com/studio/build/application-id.html
* https://sites.google.com/a/android.com/tools/tech-docs/new-build-system/applicationid-vs-packagename

This only changes the term in the human texts, not var names or CLI flags.

implement gettext localization

This allows all the text to be localized via Weblate.  This is a quick
overview of all the strings, but there are certainly some that were left
out.

closes #342

tests: support running on platforms with old java

In order to test on travis-ci's OSX setup, its easiest to support the old
version of Java that is installed there by default.  It is pretty old, so
it does not include the April 2017 update that disables MD5:

https://blogs.oracle.com/java-platform-group/oracle-jre-will-no-longer-trust-md5-signed-code-by-default
https://www.bleepingcomputer.com/news/security/oracle-to-block-jar-files-signed-with-md5-starting-with-april-2017
https://support.ca.com/us/knowledge-base-articles.TEC1691042.html

#292 #323

standardize os.walk() var names based on Python 3.5 docs

There were multiple conventions used in the code, but mostly it was already
using the convention from the docs, so this converts things to using that
convention:

https://docs.python.org/3/library/os.html#os.walk

set minimum Python version to 3.4

We use contructs introduced in 3.4, and 3.4 is really widely available.

https://setuptools.readthedocs.io/en/latest/setuptools.html#new-and-changed-setup-keywords

gitlab-ci: ensure release tag is present for metadata_v0 tests

Forks won't necessarily have all the tags, so this ensures that they are
present.

Merge branch 'buildserver-verbose' into 'master'

print build-server output when verbose flag is set

Closes #213

See merge request fdroid/fdroidserver!219

Merge branch '368-makebuildserver-fails-checkey-101' into 'master'

remove checkey from jenkins-build-makebuildserver

Closes #368

See merge request fdroid/fdroidserver!337

remove checkey from jenkins-build-makebuildserver

tests: don't touch config.py, no config is fine now

common: allow starting without a config file

There is no reason this should be disallowed as the default config often
works well when building simple apps.