Merge branch 'some-compatibility-fixes' of https://gitlab.com/eighthave/fdroidserver

Add --no-refresh to the completion

Merge branch 'no-refresh' of https://gitlab.com/aelmahmoudy/fdroidserver

Be more specific about empty build flags

remove dependency on wget for 'build' and 'verify'

To make the core tools portable to platforms like Mac OS X and Windows,
remove the dependency on wget and instead use Python Requests, which
probably has better performance anyway.

update: warn if APK has a date that is newer than the system clock

If the date in an APK is in the future, that could cause confusion.  If the
system clock is wrong, then the APK will also have a date in the future.
This is most likely on offline signing machines, since they do not have a
time source to sync to.

extend text char limits to match other app stores

We should be compatible with other apps stores unless there is a specific
reason not to be.

* Google Play, Amazon, and iTunes all have 4000 char descriptions

For the summary, we can just bump it up to the same as what Play has
* Google Play allows an 80 char "Short Description"
  https://support.google.com/googleplay/android-developer/answer/113469?hl=en
* Amazon allows a 1200 char "Short Description"
  https://developer.amazon.com/public/support/submitting-your-app/tech-docs/submitting-your-app#Add Metadata and Image Assets

Update recommended base box

Add an option to disable repository refresh

This is useful for testing builds with no internet connection, and the
repositories were already fetched previously

Also find usual suspects in gradle files

Fix update fail when icons are missing

Introduced yesterday, I believe.

Always clean and reset all submodules

Hotfix: Client 0.92 breaks if web/source/tracker are missing

Revert this commit after a few stable releases

Stable clients understand UpstreamNonFree now

Hotfix for 7b68b90569 - don't cal .split() on None

update: never include empty elements in the index

Fix imagemagick (broken in d9bbb507)

Replace some FDroid strings with F-Droid

Update the Android SDK to 24.3.3

Improve xml string extracting support

* Shield ourselves from newlines that would break metadata files
* Properly use string resources for version names

Replace NDK r10d with r10e

Add gradle 2.4

Bump build-tools to 22.0.1

lint: start warning about invalid categories

Bump index version to 13: <changelog> added

update: don't always place the changelog element

It's not that common, so often it'd just be <changelog/>

lint: take forcevercode into account for UCM warnings

lint: get rid of -p/--pedantic

Only one check was left, and it's of little use anyway.

lint: complain about useless Name: fields

Always make sure that we don't encode None

Apparently, we can have a non-nil element that has a nil text.

lint: Move the UCM:Tags warning out of pedantic

It's much more reliable now

lint: Improve UCM:Tags warning

If the vercode is higher than CVC, then we're probably only following stable
versions or something like that

lint: don't be pedantic about downloading code

We don't really control this if run via a script, which happens more often.

lint: don't assume trailing slashes in urls are redundant

Merge branch 'graphviz' into 'master'

Add graphviz to buildserver

Add graphviz to buildserver. Like inkscape and imagemagick it is used to "build" images from "source code".

See merge request !53

Add graphviz to buildserver

Stop fdroid update saying it requires signing keys when it doesn't

Again!

Properly support escaped strings

See:
https://developer.android.com/guide/topics/resources/string-resource.html

Remove now unnecessary regex_pedantic

lint: enforce https on gitlab too

lint: Remove duplicate code.google.com TODO

lint: move punctuation warnings out of pedantic

"Changelog:" will be empty often, so only put it if present

Move github .git lint warning to http_warnings

Re-add https enforcings to Repo:

Enforce https uniformly in all http links

Simplify lint http warnings

Don't accept non-integer vercodes

Work around encoding issues when using xml files

The xml package returns "unicode" objects instead of strings in utf-8.

Don't crash if an <application> has no android:label

Fix PEP8 E225

Don't use the commits feed as a changelog link in import

If it's often not a replacement for a proper changelog, do not advise its
usage.

Merge branch 'changelog' of https://gitlab.com/krt/fdroidserver

No need to walk the entire src/main subtree in gradle apps

Also use proper xml parsing when retrieving string resources - #58

Also use xml parsing to obtain version from AM.xml - #58

Use proper AndroidManifest.xml parsing for labels - #58

Revert back to always updating Auto Name

Remove "Srclibs:" from srclib metadata files

They are handled per build, this feature is of little help and practically
unused in master.

Allow gpg home directory to be overridden

Merge branch 'pandoc' into 'master'

Add pandoc to buildserver

Closes #64.

See merge request !52

Add pandoc to buildserver

lint: be more strict about redundant summaries

fix E713 test for membership should be 'not in'

Formatting fix for f345b24

Fix 'fdroid update' regression

This is from MR !48. It refuses to update because there is no 'keypass'
or 'keystorepass' in the config. These shouldn't be in the config of any
properly set up existing repo in the first place. They certainly aren't
in any of mine (as a result of which, it refused to work on any of
them!)

lint: warn about extra empty lines

Warn about empty categs

Make comma-separated list parsing code common

Merge branch 'support-all-signing-key-types' into 'master'

support all APK signing key types: DSA, EC, RSA

The lovely python getsig replacement was only looking for .RSA files, but the signing key is defined as: "A signature block file with a .DSA, .RSA, or .EC extension"
https://docs.oracle.com/javase/7/docs/technotes/tools/windows/jarsigner.html

For more info:
https://f-droid.org/forums/topic/binary-repo-whatsapp-error

See merge request !51

Merge branch 'debug-builds' into 'master'

support plain paths as a serverwebroot

For use cases where there is a web server running on the same machine where the `fdroid update` is being run, allow plain paths in the serverwebroot list.  This is useful for debug repos from build servers, like:

https://dev.guardianproject.info/fdroid

This also includes small change in the `fdroid server update` delete behavior: it delays the delete phase until after the new APKs are uploaded.  This is keep things working for a long as possible while the repo is being updated.

See merge request !49

Merge branch 'master' into 'master'

make it really easy to upgrade unsigned repos to signed

As a key step to removing support for unsigned repos from fdroidclient (https://gitlab.com/fdroid/fdroidclient/issues/12), this merge request makes `fdroid update` require a signing key.  If there is no keystore, it'll prompt the user to create one using `fdroid update --create-key`.

This closes #13

See merge request !48

support all APK signing key types: DSA, EC, RSA

"A signature block file with a .DSA, .RSA, or .EC extension"
https://docs.oracle.com/javase/7/docs/technotes/tools/windows/jarsigner.html

ACCESS_SUPERUSER is now deprecated

Detect most bad URLs

Also [appid] links that should really be [[appid]]

Merge branch 'vars' into 'master'

Update documentation to cover COMMIT, VERSION and VERCODE vars

See merge request !50

Update documentation to cover COMMIT, VERSION and VERCODE vars

Add COMMIT, VERSION and VERCODE recipe vars. Fixes #69

common.write_to_config(): if key doesn't exist in config.py, append it

This lets `fdroid update --create-key` add key/value pairs to config.py

tests: no need to dump the index.xml to the build log

This should make the build log a lot shorter.

`fdroid update --create-key` to create a keystore/key

This provides the final option in this series, allowing the user to just
add --create-key to `fdroid update, and thereby upgrade an unsigned repo to
a proper signed repo.  It also might be useful

closes #13 https://gitlab.com/fdroid/fdroidserver/issues/13

move keystore gen logic to common function

This moves the method for generating a new keystore for the repo signing
key to a common function so that it can be used in more subcommands beyond
`fdroid init`.  The immediate idea is to make `fdroid update --create-key`
upgrade unsigned repos to signed ones so we can make fdroidclient only use
signed repos.

move default keystore location to `keystore.jks`, i.e. in the fdroid repo

This makes `fdroid init` create a complete, self-contained repo in a single
folder.  That makes it easily transferable, backupable, etc.  It also means
that `fdroid update` can add a keystore to an existing unsigned repo
without having to worry about finding the right folder or overwriting any
other existing files.

move genkey() and genpassword() to common.py for use in multiple sections

genkey() and genpassword() are now going to be used by `fdroid update` as
well as `fdroid init`, so they should be in common.py

make `fdroid update` check that it can sign the repo, or exit with error

There is no good reason to run unsigned repos any more.  It is trivially
easy to create and use a signed repo, and having to support unsigned repos
in the client makes some security-critical parts of the code a lot more
complicated.

refs #13 https://gitlab.com/fdroid/fdroidserver/issues/13
https://gitlab.com/fdroid/fdroidclient/issues/12

jenkins-build: always use speced dir for APK source

Otherwise, the test process can pick up lots and lots of APKs from various
places like a ~/fdroid folder or various ~/workspace/fdroidserver Jenkins
projects.

server: support plain paths as a serverwebroot

For use cases where there is a web server running on the same machine where
the `fdroid update` is being run, allow plain paths in the serverwebroot
list.  This is useful for debug repos from build servers, like:

https://dev.guardianproject.info/fdroid

server: delay deleting on the server for as long as possible

In order to keep things working as much as possible during the update, the
rsync should only delete the obsolete APKs after it has finished uploading
the new APKs.

Use --safe-links with rsync

Don't match gradle plugin import lines which are commented

Add plugin version 1.2 to our gradle wrapper

Sort debian packages to be installed

Add scons, make-like tool used by godot

Order counter stats by value, not key

stats: Don't confuse app with appid

stats: sort counter outputs

Add stats/disabled_apps.txt (closes #87)

lint: warn about None category

lint: Remove NOP

Merge branch 'projectproperties' into 'master'

Fix project.properties dependency issue

Correctly place scrlib references also
in the case there is no project.properties file
present in the original repository.

This commit fixes a problem, which was introduced with
021df3c42420de542bf11f22948831023b47ebf3: If no
project.properties file exists in the original
project's source repo, place_srclib will not place
a dependency --- even if there should be one:

>    if not os.path.isfile(proppath):
>        return

Example app: fdroiddata/metadata/org.berlin_vegan.bvapp.txt

See merge request !47