metadata: Simplify the writing of optional fields

Properly obey build --force. Fixes #29.

Don't accept empty commits

With SCMs like git, "git checkout ''" doesn't actually fail, so one may
commit builds without noticing that they left the commit empty.

lint: warn about redundant links too

lint: fix duplicate usage of appid

Don't print tracebacks for option errors

common: discard wrapping quotes in strings

Fixes auto names that shouldn't have wrapping quotes like '"PassDroid"'
instead of just 'PassDroid'.

lint: Also warn about descriptions that are just the summary

lint: remove pedantic warnings that are often wrong

Add lint warning for empty summaries

Fix "no such package" search logic

Add ability to filter asshattery from stats

Make the scanner log scanignore as well

Revert some stuff from 94c29f9c37 that shouldn't have been commited

fd-commit: don't break when non-metadata files show up in git status

Fix return in parse_metadata(None)

Map apps in memory from appid to appinfo

Instead of storing them in a list and doing linear searches by appinfo['id']

Add setup.py to pep8+pyflakes hook, fix it

stats: simpler repo type logic

Be more specific about when git svn is used

Add Update Check Name to docs

Also warn about HEAD, ignore disabled builds

Try to fix apk path matching with newer maven plugin versions

Remove gpg sig when removing disabled builds

Don't assume that Result: will be in the first line

Fixes nasty bugs with _JAVA_OPTIONS

Make use of Popen.wait() return value

install: don't error if there are bin apks in repo/

Fix update, broken in 7ac0c5abb2d

Improve 'no sdk version found' output

Revert "Add android-L target to the buildserver"

This reverts commit 7809ef419f6dcd7f4898ddc0c51db7286fd30a59.

android-L is a preview, we want to add android-20 when it comes out.

Merge branch 'master' into 'master'

Manual - fix name and location of sample files

It seems name and location of the sample files were changed. The documentation tells about "config.sample.py" and "makebs.config.sample.py". I did not find these while setting up the environment today.

The files are now located inside the "exmaples" directory and named as the real files.

See merge request !21

update: use sets for permissions and features to avoid duplicates

Add android-L target to the buildserver

Bump version to 0.2.1

Add python-gnupg to buildserver

fixed name and location of config.py sample file

Remove extra argument in magic warning call

stats: don't include disabled apps

Use --before when using find-rev in git-svn

Don't crash if a magic number can't be used

This should fix the anki build crashing.

Merge branch 'master' of https://gitlab.com/eighthave/fdroidserver

Drop svn support in favour of git-svn

Reasons:

* Cloning a svn repo via svn doesn't fetch the entire history
* Svn checkout is incredibly slow
* Svn doesn't have important features such as a 'clean' command

The only reason why we kept svn was for anonymous logins to repositories. This
is no longer a reason since git-svn also supports them.

Use os.path.join instead of adding strings more often

Fix Tags UCM on newer git-svn versions

default to Pillow for Python Imaging, that's what most people use now

PIL is the old standard Python Imaging.  Pillow is a fork where development
is actually continuing.  It seems that all the distros are also switching
from PIL to Pillow, including Debian, Ubuntu, Fedora, brew, MacPorts, etc.

Put lastbuild log on wiki by vercode (with redirect)

Merge branch 'support-multiple-serverwebroots-and-fixes' into 'master'

Support multiple serverwebroots and fixes

This adds support for lists of serverwebroots in config.py, and cleans newlines and spaces in the repo_description and archive_description.

Make FlattrID a hexadecimal value

This adds support for flattr "things" that are not direct flattr numeric ids,
but hexadecimal hashes representing web pages outside of flattr.

support lists/tuples in 'serverwebroot' config item

This allows the user to specify multiple servers to put the repo to, and
`fdroid server update` will automatically push to them all.

fixes #22 https://gitlab.com/fdroid/fdroidserver/issues/22

update local_copy_dir rsync to handle FAT and filesystems with perms

With FAT filesystems, the user, group, and permissions will not be at all
preserved.  With file systems like ext4 that have perms, the umask might
not be set to something that makes sense for the public repo files, which
are meant to be published and therefore readible by all.

If need be, it would be easy enough to add a config option for rsync's
chmod string, to address setups that have specific permissions needs.

fixes #23 https://gitlab.com/fdroid/fdroidserver/issues/23

auto-clean newlines and spaces in repo/archive descriptions

This gives us flexibility in how the blocks of text can be formatted in
config.py, but also provides a more useful format for displaying since the
client can decide where to wrap the text.

server init: replace ssh subprocess with paramiko

It is easier to handle programming with python rather than subprocess calls
so I replaced the subprocess call to 'ssh' with paramiko.  This also makes
fdroid more portable since it no longer relies on the local system having
ssh installed.

Don't use the error-prone -x method to avoid lint usage

Use p.wait() instead of p.communicate()

The latter calls the former anyway, and we don't need to fetch the output nor
send any stdin.

Make a few Popens silent

Much cleaner and nicer way to ignore vcs dot dirs

We now discard their entire subtree directly

More generic usual suspects regex

Only catch metadata exceptions from description_html

Revert "If given --verbose, don't print the whole error log again"

This reverts commit 29ab3cf64df2eebdaae44b643a26c118b58c0c7e.

Revert "Always print command output when --verbose"

This reverts commit a4cdd92448450839c307b4a04f85a3702bfa4d9c.

Remove some gradle @dir leftovers

Simplify the finding of gradle output apks

Support git-svn refs in the form of rN

Do write .fdroidvcs if the clone succeeded

If the clone succeeded but the checkout failed, it didn't. Now it does, by
keeping the exception and raising it a bit later.

Support origin/ checkouts with tags as well in gitsvn

Always print command output when --verbose

Don't use generic Exception raises

That hides bugs, since all exceptions (including bugs that cause raises that
weren't our doing) fall under the "Exception" except

Fix silly var name typo

Stop at the summary when parsing a file for the app name

Use 'case' instead of if/elif in the line matching logic

Revert "Rewrite fd-commit in POSIX Shell"

This reverts commit 62ba9dc07e989ce75b6bd9f971bbb1cec04c4da0.

More log level fixes

Move more logging.info stuff to debug

Use logging with proper format when warning about improper verbose/quiet usage

Using $(levelname) in --quiet makes no sense

All logging goes to stderr, FDroidPopen should too

Don't directly print FDroidPopen output unless verbose

Use counters in lint

Simpler fd-commit arg logic

Rewrite fd-commit in POSIX Shell

Try the old git svn find-rev format as well

Little doc fixes

checkupdates: don't print traces independently

Avoid lint on all new plugin versions, remove TODO

Add support for gradle plugin version 0.12

Fix the test suite

Add android-20 to the SDK

Add config.buildserver.py to the pre-commit hook

No need to print a trace when the user did a ^C

Also check that platform-tools and tools exist

Also use adb via a full path

Use shorter and non-redundant 'or' clauses for 'if True else' assignments

Recognise changes in subdirs in Tags and RepoManifest

Use any of the branches that point to origin/HEAD if there are multiple

'set-head origin --auto' fails if there are multiple branches that are the
same as origin/HEAD:

error: Multiple remote HEAD branches. Please choose one explicitly with:
  git remote set-head origin develop
  git remote set-head origin master

So we want to grab any of them, e.g. the first branch that it gives us, and
just use that as it will work just fine.

Update the SDK to 23.0.2, supposedly fixing all issues

Make use of FDroidException in the main fdroid script

This should improve the output shown when exceptions are found

vcs_* stuff should not raise BuildExceptions

Also make the Tags UCM complain about unknown package id

Fix failure to do anything when ndk_path is not defined

Some more slight logging improvements