chiark / gitweb /
docs: add missing maven repos
[fdroidserver.git] / docs / fdroid.texi
1 \input texinfo   @c -*-texinfo-*-
2 @c %**start of header
3 @setfilename fdroid.info
4 @documentencoding UTF-8
5 @settitle F-Droid Server Manual
6 @c %**end of header
7
8 @copying
9 This manual is for the F-Droid repository server tools.
10
11 Copyright @copyright{} 2010, 2011, 2012, 2013, 2014, 2015 Ciaran Gultnieks
12
13 Copyright @copyright{} 2011 Henrik Tunedal, Michael Haas, John Sullivan
14
15 Copyright @copyright{} 2013 David Black
16
17 Copyright @copyright{} 2013, 2014, 2015 Daniel Martí
18
19 Copyright @copyright{} 2015 Boris Kraut
20
21 @quotation
22 Permission is granted to copy, distribute and/or modify this document
23 under the terms of the GNU Free Documentation License, Version 1.3
24 or any later version published by the Free Software Foundation;
25 with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
26 A copy of the license is included in the section entitled "GNU
27 Free Documentation License".
28 @end quotation
29 @end copying
30
31 @titlepage
32 @title F-Droid Server Manual
33 @author Ciaran Gultnieks and the F-Droid project
34 @page
35 @vskip 0pt plus 1filll
36 @insertcopying
37
38 @end titlepage
39
40 @contents
41
42 @ifnottex
43 @node Top
44 @top F-Droid Server
45
46 @insertcopying
47 @end ifnottex
48
49 @menu
50 * Overview::
51 * System Requirements::
52 * Setup::
53 * Simple Binary Repository::
54 * Building Applications::
55 * Importing Applications::
56 * Metadata::
57 * Update Processing::
58 * Build Server::
59 * Signing::
60 * GNU Free Documentation License::
61 * Index::
62 @end menu
63
64 @node Overview
65 @chapter Overview
66
67 The F-Droid server tools provide various scripts and tools that are used
68 to maintain the main F-Droid application repository. You can use these same
69 tools to create your own additional or alternative repository for publishing,
70 or to assist in creating, testing and submitting metadata to the main
71 repository.
72
73
74 @node System Requirements
75 @chapter System Requirements
76
77 @cindex installation
78
79 The system requirements for using the tools will vary depending on your
80 intended usage. At the very least, you'll need:
81
82 @itemize @bullet
83 @item
84 GNU/Linux
85 @item
86 Python 2.x
87 To be sure of being able to process all apk files without error, you need
88 2.7.7 or later. See @code{http://bugs.python.org/issue14315}.
89 @item
90 The Android SDK Tools and Build-tools.
91 Note that F-Droid does not assume that you have the Android SDK in your
92 @code{PATH}: these directories will be specified in your repository
93 configuration. Recent revisions of the SDK have @code{aapt} located in
94 android-sdk/build-tools/ and it may be necessary to make a symlink to it in
95 android-sdk/platform-tools/
96 @end itemize
97
98 If you intend to build applications from source you'll also need most, if not
99 all, of the following:
100
101 @itemize @bullet
102 @item
103 JDK (Debian package openjdk-6-jdk): openjdk-6 is recommended though openjdk-7
104 should work too
105 @item
106 VCS clients: svn, git, git-svn, hg, bzr
107 @item
108 A keystore for holding release keys. (Safe, secure and well backed up!)
109 @end itemize
110
111 If you intend to use the 'Build Server' system, for secure and clean builds
112 (highly recommended), you will also need:
113
114 @itemize @bullet
115 @item
116 VirtualBox (debian package virtualbox)
117 @item
118 Ruby (debian packages ruby and rubygems)
119 @item
120 Vagrant (debian package vagrant - 1.4.x or higher required)
121 @item
122 vagrant-cachier plugin (unpackaged): `vagrant plugin install vagrant-cachier`
123 @item
124 Paramiko (debian package python-paramiko)
125 @item
126 Imaging (debian package python-imaging)
127 @end itemize
128
129 On the other hand, if you want to build the apps directly on your system
130 without the 'Build Server' system, you may need:
131
132 @itemize @bullet
133 @item
134 All SDK platforms requested by the apps you want to build
135 (The Android SDK is made available by Google under a proprietary license but
136 within that, the SDK platforms, support library and some other components are
137 under the Apache license and source code is provided.
138 Google APIs, used for building apps using Google Maps, are free to the extent
139 that the library comes pre-installed on the device.
140 Google Play Services, Google Admob and others are proprietary and shouldn't be
141 included in the main F-Droid repository.)
142 @item
143 A version of the Android NDK
144 @item
145 Ant with Contrib Tasks (Debian packages ant and ant-contrib)
146 @item
147 Maven (Debian package maven)
148 @item
149 JavaCC (Debian package javacc)
150 @item
151 Miscellaneous packages listed in
152 buildserver/cookbooks/fdroidbuild-general/recipes/default.rb
153 of the F-Droid server repository
154 @end itemize
155
156 @node Setup
157 @chapter Setup
158
159 @cindex setup, installation
160
161 Because the tools and data will always change rapidly, you will almost
162 certainly want to work from a git clone of the tools at this stage. To
163 get started:
164
165 @example
166 git clone https://gitlab.com/fdroid/fdroidserver.git
167 @end example
168
169 You now have lots of stuff in the fdroidserver directory, but the most
170 important is the 'fdroid' command script which you run to perform all tasks.
171 This script is always run from a repository data directory, so the
172 most sensible thing to do next is to put your new fdroidserver directory
173 in your @code{PATH}.
174
175 @section Data
176
177 To do anything, you'll need at least one repository data directory. It's
178 from this directory that you run the @code{fdroid} command to perform all
179 repository management tasks. You can either create a brand new one, or
180 grab a copy of the data used by the main F-Droid repository:
181
182 @example
183 git clone https://gitlab.com/fdroid/fdroiddata.git
184 @end example
185
186 Regardless of the intended usage of the tools, you will always need to set
187 up some basic configuration details. This is done by creating a file called
188 @code{config.py} in the data directory. You should do this by copying the
189 example file (@code{./examples/config.py}) from the fdroidserver project to
190 your data directory and then editing according to the instructions within.
191
192 Once configured in this way, all the functionality of the tools is accessed
193 by running the @code{fdroid} command. Run it on its own to get a list of the
194 available sub-commands.
195
196 You can follow any command with @code{--help} to get a list of additional
197 options available for that command.
198
199 @example
200 fdroid update --help
201 @end example
202
203
204 @node Simple Binary Repository
205 @chapter Simple Binary Repository
206
207 @cindex binary
208
209 If you want to maintain a simple repository hosting only binary APKs obtained
210 and compiled elsewhere, the process is quite simple:
211
212 @enumerate
213 @item
214 Set up the server tools, as described in Setup.
215 @item
216 Make a directory for your repository. This is the directory from which you
217 will do all the work with your repository. Create a config file there, called
218 @code{config.py}, by copying @code{./examples/config.py} from the server
219 project and editing it.
220 @item
221 Within that, make a directory called @code{repo} and put APK files in it.
222 @item
223 Run @code{fdroid update}.
224 @item
225 If it reports that any metadata files are missing, you can create them
226 in the @code{metadata} directory and run it again.
227 @item
228 To ease creation of metadata files, run @code{fdroid update} with the @code{-c}
229 option. It will create 'skeleton' metadata files that are missing, and you can
230 then just edit them and fill in the details.
231 @item
232 Then, if you've changed things, run @code{fdroid update} again.
233 @item
234 Running @code{fdroid update} adds an Icons directory into the repo directory,
235 and also creates the repository index (index.xml, and also index.jar if you've
236 configured the system to use a signed index).
237 @item
238 Publish the resulting contents of the @code{repo} directory to your web server.
239 @end enumerate
240
241 Following the above process will result in a @code{repo} directory, which you
242 simply need to push to any HTTP (or preferably HTTPS) server to make it
243 accessible.
244
245 While some information about the applications (and versions thereof) is
246 retrieved directly from the APK files, most comes from the corresponding file
247 in the @code{metadata} directory. The metadata file covering ALL versions of a
248 particular application is named @code{package.id.txt} where package.id is the
249 unique identifier for that package.
250
251 See the Metadata chapter for details of what goes in the metadata file. All
252 fields are relevant for binary APKs, EXCEPT for @code{Build:} entries, which
253 should be omitted.
254
255
256 @node Building Applications
257 @chapter Building Applications
258
259 Instead of (or as well as) including binary APKs from external sources in a
260 repository, you can build them directly from the source code.
261
262 Using this method, it is is possible to verify that the application builds
263 correctly, corresponds to the source code, and contains only free software.
264 Unforunately, in the Android world, it seems to be very common for an
265 application supplied as a binary APK to present itself as Free Software
266 when in fact some or all of the following are true:
267
268 @enumerate
269 @item
270 The source code (either for a particular version, or even all versions!) is
271 unavailable or incomplete.
272 @item
273 The source code is not capable of producing the actual binary supplied.
274 @item
275 The 'source code' contains binary files of unknown origin, or with proprietary
276 licenses.
277 @end enumerate
278
279 For this reason, source-built applications are the preferred method for the
280 main F-Droid repository, although occasionally for technical or historical
281 reasons, exceptions are made to this policy.
282
283 When building applications from source, it should be noted that you will be
284 signing them (all APK files must be signed to be installable on Android) with
285 your own key. When an application is already installed on a device, it is not
286 possible to upgrade it in place to a new version signed with a different key
287 without first uninstalling the original. This may present an inconvenience to
288 users, as the process of uninstalling loses any data associated with the
289 previous installation.
290
291 The process for managing a repository for built-from-source applications is
292 very similar to that described in the Simple Binary Repository chapter,
293 except now you need to:
294
295 @enumerate
296 @item
297 Include Build entries in the metadata files.
298 @item
299 Run @code{fdroid build} to build any applications that are not already built.
300 @item
301 Run @code{fdroid publish} to finalise packaging and sign any APKs that have
302 been built.
303 @end enumerate
304
305
306 @section More about "fdroid build"
307
308 When run without any parameters, @code{fdroid build} will build any and all
309 versions of applications that you don't already have in the @code{repo}
310 directory (or more accurately, the @code{unsigned} directory). There are various
311 other things you can do. As with all the tools, the @code{--help} option is
312 your friend, but a few annotated examples and discussion of the more common
313 usage modes follows:
314
315 To build a single version of a single application, you could run the
316 following:
317
318 @example
319 ./fdroid build org.fdroid.fdroid:16
320 @end example
321
322 This attempts to build version code 16 (which is version 0.25) of the F-Droid
323 client. Many of the tools recognise arguments as packages, allowing their
324 activity to be limited to just a limited set of packages.
325
326 If the build above was successful, two files will have been placed in the
327 @code{unsigned} directory:
328
329 @example
330 org.fdroid.fdroid_16.apk
331 org.fdroid.fdroid_16_src.tar.gz
332 @end example
333
334 The first is the (unsigned) APK. You could sign this with a debug key and push
335 it direct to your device or an emulator for testing. The second is a source
336 tarball containing exactly the source that was used to generate the binary.
337
338 If you were intending to publish these files, you could then run:
339
340 @example
341 ./fdroid publish
342 @end example
343
344 The source tarball would move to the @code{repo} directory (which is the
345 directory you would push to your web server). A signed and zip-aligned version
346 of the APK would also appear there, and both files would be removed from the
347 @code{unsigned} directory.
348
349 If you're building purely for the purposes of testing, and not intending to
350 push the results to a repository, at least yet, the @code{--test} option can be
351 used to direct output to the @code{tmp} directory instead of @code{unsigned}.
352 A similar effect could by achieved by simply deleting the output files from
353 @code{unsigned} after the build, but with the risk of forgetting to do so!
354
355 Along similar lines (and only in conjunction with @code{--test}, you can use
356 @code{--force} to force a build of a Disabled application, where normally it
357 would be completely ignored. Similarly a version that was found to contain
358 ELFs or known non-free libraries can be forced to build. See also â€”
359 @code{scanignore=} and @code{scandelete=} in the @code{Build:} section.
360
361 If the build was unsuccessful, you can find out why by looking at the output
362 in the logs/ directory. If that isn't illuminating, try building the app the
363 regular way, step by step: android update project, ndk-build, ant debug.
364
365 Note that source code repositories often contain prebuilt libraries. If the
366 app is being considered for the main F-Droid repository, it is important that
367 all such prebuilts are built either via the metadata or by a reputable third
368 party.
369
370
371 @section Direct Installation
372
373 You can also build and install directly to a connected device or emulator
374 using the @code{fdroid install} command. If you do this without passing
375 packages as arguments then all the latest built and signed version available
376 of each package will be installed . In most cases, this will not be what you
377 want to do, so execution will stop straight away. However, you can override
378 this if you're sure that's what you want, by using @code{--all}.  Note that
379 currently, no sanity checks are performed with this mode, so if the files in
380 the signed output directory were modified, you won't be notified.
381
382
383 @node Importing Applications
384 @chapter Importing Applications
385
386 To help with starting work on including a new application, @code{fdroid import}
387 will take a URL and optionally some other parameters, and attempt to construct
388 as much information as possible by analysing the source code. Basic usage is:
389
390 @example
391 ./fdroid import --url=http://address.of.project
392 @end example
393
394 For this to work, the URL must point to a project format that the script
395 understands. Currently this is limited to one of the following:
396
397 @enumerate
398 @item
399 Gitorious - @code{https://gitorious.org/PROJECTNAME/REPONAME}
400 @item
401 Github - @code{https://github.com/USER/PROJECT}
402 @item
403 Google Code - @code{http://code.google.com/p/PROJECT/}
404 Supports git, svn and hg repos.
405
406 Some Google Code projects have multiple repositories, identified by a
407 dropdown list on the @code{source/checkout} page. To access one other than
408 the default, specify its name using the @code{--repo} switch.
409 @item
410 Bitbucket - @code{https://bitbucket.org/USER/PROJECT/}
411 @item
412 Git - @code{git://REPO}
413 @end enumerate
414
415 Depending on the project type, more or less information may be gathered. For
416 example, the license will be retrieved from a Google Code project, but not a
417 GitHub one. A bare repo url, such as the git:// one, is the least preferable
418 optional of all, since you will have to enter much more information manually.
419
420 If the import is successful, a metadata file will be created. You will need to
421 edit this further to check the information, and fill in the blanks.
422
423 If it fails, you'll be told why. If it got as far as retrieving the source
424 code, you can inspect it further by looking in @code{tmp/importer} where a full
425 checkout will exist.
426
427 A frequent cause of initial failure is that the project directory is actually
428 a subdirectory in the repository. In this case, run the importer again using
429 the @code{--subdir} option to tell it where. It will not attempt to determine
430 this automatically, since there may be several options.
431
432
433 @node Metadata
434 @chapter Metadata
435
436 @cindex metadata
437
438 Information used by update.py to compile the public index comes from two
439 sources:
440
441 @enumerate
442 @item
443 the APK files in the repo directory, and
444 @item
445 the metadata files in the metadata directory.
446 @end enumerate
447
448 The original metadata files are simple, easy to edit text files,
449 always named as the application's package ID with '.txt' appended.
450 Additionally, you can use JSON, XML, or YAML for app metadata, using
451 the same fields as the original '.txt' format.
452
453 Note that although the metadata files are designed to be easily read
454 and writable by humans, they are also processed and written by various
455 scripts.  The original '.txt' format can be automatically cleaned up
456 when necessary.  The structure and comments will be preserved
457 correctly, although the order of fields will be standardised. (In the
458 event that the original file was in a different order, comments are
459 considered as being attached to the field following them). In fact,
460 you can standardise all the '.txt' metadata in a single command,
461 without changing the functional content, by running:
462
463 @example
464 fdroid rewritemeta
465 @end example
466
467 Or just run it on a specific app:
468
469 @example
470 fdroid rewritemeta org.adaway
471 @end example
472
473 The following sections describe the fields recognised within the file.
474
475 @menu
476 * Categories::
477 * Author Name::
478 * Author Email::
479 * License::
480 * Auto Name::
481 * Name::
482 * Provides::
483 * Web Site::
484 * Source Code::
485 * Issue Tracker::
486 * Changelog::
487 * Donate::
488 * FlattrID::
489 * Bitcoin::
490 * Litecoin::
491 * Summary::
492 * Description::
493 * Maintainer Notes::
494 * Repo Type::
495 * Repo::
496 * Binaries::
497 * Build::
498 * AntiFeatures::
499 * Disabled::
500 * Requires Root::
501 * Archive Policy::
502 * Update Check Mode::
503 * Update Check Ignore::
504 * Vercode Operation::
505 * Update Check Name::
506 * Update Check Data::
507 * Auto Update Mode::
508 * Current Version::
509 * Current Version Code::
510 * No Source Since::
511 @end menu
512
513 @node Categories
514 @section Categories
515
516 Any number of categories for the application to be placed in. There is no
517 fixed list of categories - both the client and the web site will automatically
518 show any categories that exist in any applications. However, if your metadata
519 is intended for the main F-Droid repository, you should use one of the
520 existing categories (look at the site/client), or discuss the proposal to add
521 a new one.
522
523 Categories must be separated by a single comma character, ','. For backwards
524 compatibility, F-Droid will use the first category given as <category> element
525 for older clients to at least see one category.
526
527 This is converted to (@code{<categories>}) in the public index file.
528
529 @node Author Name
530 @section Author Name
531
532 @cindex Author Name
533
534 The name of the author, either full, abbreviated or pseudonym. If
535 present, it should represent the name(s) as published by upstream,
536 e.g. in their copyright or authors file. This can be omitted (or left
537 blank).
538
539 This is converted to (@code{<author>}) in the public index file.
540
541 @node Author Email
542 @section Author Email
543
544 @cindex Author Email
545
546 The e-mail address of the author(s). This can be omitted (or left
547 blank).
548
549 This is converted to (@code{<email>}) in the public index file.
550
551 @node License
552 @section License
553
554 @cindex license
555
556 The overall license for the application, or in certain cases, for the
557 source code only.
558
559 Common values:
560
561 @itemize @bullet
562
563 @item
564 @samp{GPLv2}
565 GNU GPL version 2
566
567 @item
568 @samp{GPLv2+}
569 GNU GPL version 2 or later
570
571 @item
572 @samp{GPLv3}
573 GNU GPL version 3
574
575 @item
576 @samp{GPLv3+}
577 GNU GPL version 3 or later
578
579 @item
580 @samp{GPL}
581 An unspecified GPL version. Use this only as a last resort or if there is
582 some confusion over compatiblity of component licenses: particularly the use of
583 Apache libraries with GPLv2 source code.
584
585 @item
586 @samp{AGPL}
587 Afferro GPL version 3.
588
589 @item
590 @samp{Apache2}
591 Apache 2
592
593 @item
594 @samp{MIT}
595 MIT X11 license
596
597 @item
598 @samp{BSD}
599 BSD license - the original '4-clause' version.
600
601 @item
602 @samp{NewBSD}
603 BSD license - the new, or modified, version.
604
605 @end itemize
606
607 This is converted to (@code{<license>}) in the public index file.
608
609 @node Auto Name
610 @section Auto Name
611
612 @cindex Auto Name
613
614 The name of the application as can best be retrieved from the source code.
615 This is done so that the commitupdates script can put a familiar name in the
616 description of commits created when a new update of the application is
617 found. The Auto Name entry is generated automatically when @code{fdroid
618 checkupdates} is run.
619
620 @node Name
621 @section Name
622
623 @cindex Name
624
625 The name of the application. Normally, this field should not be present since
626 the application's correct name is retrieved from the APK file. However, in a
627 situation where an APK contains a bad or missing application name, it can be
628 overridden using this. Note that this only overrides the name in the list of
629 apps presented in the client; it doesn't changed the name or application label
630 in the source code.
631
632 @node Provides
633 @section Provides
634
635 @cindex Provides
636
637 Comma-separated list of application IDs that this app provides. In other
638 words, if the user has any of these apps installed, F-Droid will show this app
639 as installed instead. It will also appear if the user clicks on urls linking
640 to the other app IDs. Useful when an app switches package name, or when you
641 want an app to act as multiple apps.
642
643 @node Web Site
644 @section Web Site
645
646 @cindex Web Site
647
648 The URL for the application's web site. If there is no relevant web site, this
649 can be omitted (or left blank).
650
651 This is converted to (@code{<web>}) in the public index file.
652
653 @node Source Code
654 @section Source Code
655
656 @cindex Source Code
657
658 The URL to view or obtain the application's source code. This should be
659 something human-friendly. Machine-readable source-code is covered in the
660 'Repo' field.
661
662 This is converted to (@code{<source>}) in the public index file.
663
664 @node Issue Tracker
665 @section Issue Tracker
666
667 @cindex Issue Tracker
668
669 The URL for the application's issue tracker. Optional, since not all
670 applications have one.
671
672 This is converted to (@code{<tracker>}) in the public index file.
673
674 @node Changelog
675 @section Changelog
676
677 @cindex Changelog
678
679 The URL for the application's changelog. Optional, since not all
680 applications have one.
681
682 This is converted to (@code{<changelog>}) in the public index file.
683
684 @node Donate
685 @section Donate
686
687 @cindex Donate
688
689 The URL to donate to the project. This should be the project's donate page
690 if it has one.
691
692 It is possible to use a direct PayPal link here, if that is all that is
693 available. However, bear in mind that the developer may not be aware of
694 that direct link, and if they later changed to a different PayPal account,
695 or the PayPal link format changed, things could go wrong. It is always
696 best to use a link that the developer explicitly makes public, rather than
697 something that is auto-generated 'button code'.
698
699 This is converted to (@code{<donate>}) in the public index file.
700
701 @node FlattrID
702 @section FlattrID
703
704 @cindex FlattrID
705
706 The project's Flattr (http://flattr.com) ID, if it has one. This should be
707 a numeric ID, such that (for example) https://flattr.com/thing/xxxx leads
708 directly to the page to donate to the project.
709
710 This is converted to (@code{<flattr>}) in the public index file.
711
712 @node Bitcoin
713 @section Bitcoin
714
715 @cindex Bitcoin
716
717 A bitcoin address for donating to the project.
718
719 This is converted to (@code{<bitcoin>}) in the public index file.
720
721 @node Litecoin
722 @section Litecoin
723
724 @cindex Litecoin
725
726 A litecoin address for donating to the project.
727
728 @node Summary
729 @section Summary
730
731 @cindex Summary
732
733 A brief summary of what the application is. Since the summary is only allowed
734 one line on the list of the F-Droid client, keeping it to within 80 characters
735 will ensure it fits most screens.
736
737 @node Description
738 @section Description
739
740 @cindex Description
741
742 A full description of the application, relevant to the latest version.
743 This can span multiple lines (which should be kept to a maximum of 80
744 characters), and is terminated by a line containing a single '.'.
745
746 Basic MediaWiki-style formatting can be used. Leaving a blank line starts a
747 new paragraph. Surrounding text with @code{''} make it italic, and with
748 @code{'''} makes it bold.
749
750 You can link to another app in the repo by using @code{[[app.id]]}. The link
751 will be made appropriately whether in the Android client, the web repo
752 browser or the wiki. The link text will be the apps name.
753
754 Links to web addresses can be done using @code{[http://example.com Text]}.
755
756 For both of the above link formats, the entire link (from opening to closing
757 square bracket) must be on the same line.
758
759 Bulletted lists are done by simply starting each item with a @code{*} on
760 a new line, and numbered lists are the same but using @code{#}. There is
761 currently no support for nesting lists - you can have one level only.
762
763 It can be helpful to note information pertaining to updating from an
764 earlier version; whether the app contains any prebuilts built by the
765 upstream developers or whether non-free elements were removed; whether the
766 app is in rapid development or whether the latest version lags behind the
767 current version; whether the app supports multiple architectures or whether
768 there is a maximum SDK specified (such info not being recorded in the index).
769
770 This is converted to (@code{<desc>}) in the public index file.
771
772 @node Maintainer Notes
773 @section Maintainer Notes
774
775 @cindex Maintainer Notes
776
777 This is a multi-line field using the same rules and syntax as the description.
778 It's used to record notes for F-Droid maintainers to assist in maintaining and
779 updating the application in the repository.
780
781 This information is also published to the wiki.
782
783 @node Repo Type
784 @section Repo Type
785
786 @cindex Repo Type
787
788 The type of repository - for automatic building from source. If this is not
789 specified, automatic building is disabled for this application. Possible
790 values are:
791
792 @itemize @bullet
793 @item
794 @samp{git}
795 @item
796 @samp{svn}
797 @item
798 @samp{git-svn}
799 @item
800 @samp{hg}
801 @item
802 @samp{bzr}
803 @item
804 @samp{srclib}
805 @end itemize
806
807 @node Repo
808 @section Repo
809
810 @cindex Repo
811
812 The repository location. Usually a git: or svn: URL, for example.
813
814 The git-svn option connects to an SVN repository, and you specify the URL in
815 exactly the same way, but git is used as a back-end. This is preferable for
816 performance reasons, and also because a local copy of the entire history is
817 available in case the upstream repository disappears. (It happens!). In
818 order to use Tags as update check mode for this VCS type, the URL must have
819 the tags= special argument set. Likewise, if you intend to use the
820 RepoManifest/branch scheme, you would want to specify branches= as well.
821 Finally, trunk= can also be added. All these special arguments will be passed
822 to "git svn" in order, and their values must be relative paths to the svn repo
823 root dir.
824 Here's an example of a complex git-svn Repo URL:
825 http://svn.code.sf.net/p/project/code/svn;trunk=trunk;tags=tags;branches=branches
826
827 If the Repo Type is @code{srclib}, then you must specify the name of the
828 according srclib .txt file. For example if @code{scrlibs/FooBar.txt} exist
829 and you want to use this srclib, then you have to set Repo to
830 @code{FooBar}.
831
832 @node Binaries
833 @section Binaries
834
835 @cindex Binaries
836
837 The location of binaries used in verification process.
838
839 If specified, F-Droid will verify the output apk file of a build against the
840 one specified. You can use %v and %c to point to the version name and version
841 code of the current build. To verify the F-Droid client itself you could use:
842 @code{Binaries:https://f-droid.org/repo/org.fdroid.fdroid_%c.apk}
843
844 F-Droid will use upstream binaries if the verification succeeded.
845
846 @node Build
847 @section Build
848
849 @cindex Build
850
851 Any number of these fields can be present, each specifying a version to
852 automatically build from source. The value is a comma-separated list.
853 For example:
854
855 @samp{Build:1.2,12}
856
857 The above specifies to build version 1.2, which has a version code of 12.
858 The @code{commit=} parameter specifies the tag, commit or revision number from
859 which to build it in the source repository. It is the only mandatory flag,
860 which in this case could for example be @code{commit=v1.2}.
861
862 In addition to the three, always required, parameters described above,
863 further parameters can be added (in name=value format) to apply further
864 configuration to the build. These are (roughly in order of application):
865
866 @table @code
867
868 @item disable=<message>
869 Disables this build, giving a reason why. (For backwards compatibility, this
870 can also be achieved by starting the commit ID with '!')
871
872 The purpose of this feature is to allow non-buildable releases (e.g. the source
873 is not published) to be flagged, so the scripts don't generate repeated
874 messages about them. (And also to record the information for review later).
875 If an apk has already been built, disabling causes it to be deleted once
876 @code{fdroid update} is run; this is the procedure if ever a version has to
877 be replaced.
878
879 @item subdir=<path>
880 Specifies to build from a subdirectory of the checked out source code.
881 Normally this directory is changed to before building,
882
883 @item submodules=yes
884 Use if the project (git only) has submodules - causes @code{git submodule
885 update --init --recursive} to be executed after the source is cloned.
886 Submodules are reset and cleaned like the main app repository itself before
887 each build.
888
889 @item init=xxxx
890 As for 'prebuild', but runs on the source code BEFORE any other processing
891 takes place.
892
893 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
894 android SDK and NDK directories, and maven 3 executable respectively. The
895 following per-build variables are available likewise: $$VERSION$$,
896 $$VERCODE$$ and $$COMMIT$$.
897
898 @item oldsdkloc=yes
899 The sdk location in the repo is in an old format, or the build.xml is
900 expecting such. The 'new' format is sdk.dir while the VERY OLD format
901 is sdk-location. Typically, if you get a message along the lines of:
902 "com.android.ant.SetupTask cannot be found" when trying to build, then
903 try enabling this option.
904
905 @item target=<target>
906 Specifies a particular SDK target for compilation, overriding the value
907 defined in the code by upstream.  This has different effects depending on what
908 build system used â€” this flag currently affects Ant, Maven and Gradle projects
909 only. Note that this does not change the target SDK in the
910 AndroidManifest.xml, which determines the level of features that can be
911 included in the build.
912
913 In the case of an Ant project, it modifies project.properties of the app and
914 possibly sub-projects. This is likely to cause the whole build.xml to be
915 rewritten, which is fine if it's a 'standard' android file or doesn't already
916 exist, but not a good idea if it's heavily customised.
917
918 @item update=<auto/dirs>
919 By default, 'android update' is used in Ant builds to generate or update the
920 project and all its referenced projects. Specifying update=no bypasses that.
921 Note that this is useless in builds that don't use Ant.
922
923 Default value is '@code{auto}', which recursively uses the paths in
924 project.properties to find all the subprojects to update.
925
926 Otherwise, the value can be a comma-separated list of directories in which to
927 run 'android update' relative to the application directory.
928
929 @item encoding=xxxx
930 Adds a java.encoding property to local.properties with the given
931 value. Generally the value will be 'utf-8'. This is picked up by the
932 SDK's ant rules, and forces the Java compiler to interpret source
933 files with this encoding. If you receive warnings during the compile
934 about character encodings, you probably need this.
935
936 @item forceversion=yes
937 If specified, the package version in AndroidManifest.xml is replaced
938 with the version name for the build as specified in the metadata.
939
940 This is useful for cases when upstream repo failed to update it for
941 specific tag; to build an arbitrary revision; to make it apparent that
942 the version differs significantly from upstream; or to make it apparent
943 which architecture or platform the apk is designed to run on.
944
945 @item forcevercode=yes
946 If specified, the package version code in the AndroidManifest.xml is
947 replaced with the version code for the build. See also forceversion.
948
949 @item rm=<path1>[,<path2>,...]
950 Specifies the relative paths of files or directories to delete before
951 the build is done. The paths are relative to the base of the build
952 directory - i.e. the root of the directory structure checked out from
953 the source respository - not necessarily the directory that contains
954 AndroidManifest.xml.
955
956 Multiple files/directories can be specified by separating them with ','.
957 Directories will be recursively deleted.
958
959 @item extlibs=<lib1>[,<lib2>,...]
960 Comma-separated list of external libraries (jar files) from the
961 @code{build/extlib} library, which will be placed in the @code{libs} directory
962 of the project.
963
964 @item srclibs=[n:]a@@r,[n:]b@@r1,...
965 Comma-separated list of source libraries or Android projects. Each item is of
966 the form name@@rev where name is the predefined source library name and rev is
967 the revision or tag to use in the respective source control.
968
969 For Ant projects, you can optionally append a number with a colon at the
970 beginning of a srclib item to automatically place it in project.properties as
971 a library under the specified number. For example, if you specify
972 @code{1:somelib@@1.0}, F-Droid will automatically do the equivalent of the
973 legacy practice @code{prebuild=echo "android.library.reference.1=$$somelib$$"
974 >> project.properties}.
975
976 Each srclib has a metadata file under srclibs/ in the repository directory,
977 and the source code is stored in build/srclib/.
978 Repo Type: and Repo: are specified in the same way as for apps; Subdir: can be
979 a comma separated list, for when directories are renamed by upstream; Update
980 Project: updates the projects in the working directory and one level down;
981 Prepare: can be used for any kind of preparation: in particular if you need to
982 update the project with a particular target. You can then also use $$name$$ in
983 the init/prebuild/build command to substitute the relative path to the library
984 directory, but it could need tweaking if you've changed into another directory.
985
986 Currently srclibs are necessary when upstream uses jar files or pulls
987 dependencies from non-trusted repositories. While there is no guarantee that
988 those binaries are free and correspondent to the source code, F-Droid allows 
989 the following known repositories until a source-built alternative is available:
990
991 @itemize @bullet
992
993 @item
994 @samp{mavenCentral} - the original repo, hardcoded in Maven and Gradle.
995
996 @item
997 @samp{jCenter} - hardcoded in Gradle, this repo by Bintray tries to provide
998 easier handling. It should sync with mavenCentral from time to time.
999
1000 @item
1001 @samp{OSS Sonatype} - maintained by the people behind mavenCentral, this
1002 repository focuses on hosting services for open source project binaries.
1003
1004 @item
1005 @samp{JitPack.io} - builds directly from Github repositories. However,
1006 they do not provide any option to reproduce or verify the resulting
1007 binaries. Builds pre-release versions in some cases.
1008
1009 @item
1010 @samp{Clojars} - Clojure libraries repo.
1011
1012 @item
1013 @samp{CommonsWare} - repo holding a collection of open-source libs.
1014
1015 @end itemize
1016
1017 @item patch=x
1018 Apply patch(es). 'x' names one (or more - comma-seperated) files within a
1019 directory below the metadata, with the same name as the metadata file but
1020 without the extension. Each of these patches is applied to the code in turn.
1021
1022 @item prebuild=xxxx
1023 Specifies a shell command (or commands - chain with &&) to run before the
1024 build takes place. Backslash can be used as an escape character to insert
1025 literal commas, or as the last character on a line to join that line with the
1026 next. It has no special meaning in other contexts; in particular, literal
1027 backslashes should not be escaped.
1028
1029 The command runs using bash.
1030
1031 Note that nothing should be built during this prebuild phase - scanning of the
1032 code and building of the source tarball, for example, take place after this.
1033 For custom actions that actually build things or produce binaries, use 'build'
1034 instead.
1035
1036 You can use $$name$$ to substitute the path to a referenced srclib - see
1037 the @code{srclib} directory for details of this.
1038
1039 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
1040 android SDK and NDK directories, and Maven 3 executable respectively e.g.
1041 for when you need to run @code{android update project} explicitly. The
1042 following per-build variables are available likewise: $$VERSION$$, $$VERCODE$$
1043 and $$COMMIT$$.
1044
1045 @item scanignore=<path1>[,<path2>,...]
1046 Enables one or more files/paths to be excluded from the scan process.
1047 This should only be used where there is a very good reason, and
1048 probably accompanied by a comment explaining why it is necessary.
1049
1050 When scanning the source tree for problems, matching files whose relative
1051 paths start with any of the paths given here are ignored.
1052
1053 @item scandelete=<path1>[,<path2>,...]
1054 When running the scan process, any files that trigger errors - like binaries -
1055 will be removed. It acts just like scanignore=, but instead of ignoring the
1056 files, it removes them.
1057
1058 Useful when a source code repository includes binaries or other unwanted files
1059 which are not needed for the build. Instead of removing them manually via rm=,
1060 using scandelete= is easier.
1061
1062 @item build=xxxx
1063 As for 'prebuild', but runs during the actual build phase (but before the
1064 main Ant/Maven build). Use this only for actions that do actual building.
1065 Any prepartion of the source code should be done using 'init' or 'prebuild'.
1066
1067 Any building that takes place before build= will be ignored, as either Ant,
1068 mvn or gradle will be executed to clean the build environment right before
1069 build= (or the final build) is run.
1070
1071 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
1072 android SDK and NDK directories, and maven 3 executable respectively. The
1073 following per-build variables are available likewise: $$VERSION$$,
1074 $$VERCODE$$ and $$COMMIT$$.
1075
1076 @item buildjni=[yes|no|<dir list>]
1077 Enables building of native code via the ndk-build script before doing
1078 the main Ant build. The value may be a list of directories relative
1079 to the main application directory in which to run ndk-build, or 'yes'
1080 which corresponds to '.' . Using explicit list may be useful to build
1081 multi-component projects.
1082
1083 The build and scan processes will complain (refuse to build) if this
1084 parameter is not defined, but there is a @code{jni} directory present.
1085 If the native code is being built by other means like a Gradle task, you
1086 can specify @code{no} here to avoid that. However, if the native code is
1087 actually not required or used, remove the directory instead (using
1088 @code{rm=jni} for example). Using @code{buildjni=no} when the jni code
1089 isn't used nor built will result in an error saying that native
1090 libraries were expected in the resulting package.
1091
1092 @item ndk=<version>
1093 Version of the NDK to use in this build. Defaults to the latest NDK release
1094 that included legacy toolchains, so as to not break builds that require
1095 toolchains no longer included in current versions of the NDK.
1096
1097 The buildserver supports r9b with its legacy toolchains and the latest release
1098 as of writing this document, r10e. You may add support for more versions by
1099 adding them to 'ndk_paths' in your config file.
1100
1101 @item gradle=<flavour1>[,<flavour2>,...]
1102 Build with Gradle instead of Ant, specifying what flavours to use. Flavours
1103 are case sensitive since the path to the output apk is as well.
1104
1105 If only one flavour is given and it is 'yes', no flavour will be used.
1106 Note that for projects with flavours, you must specify at least one
1107 valid flavour since 'yes' will build all of them separately.
1108
1109 @item maven=yes[@@<dir>]
1110 Build with Maven instead of Ant. An extra @@<dir> tells F-Droid to run Maven
1111 inside that relative subdirectory. Sometimes it is needed to use @@.. so that
1112 builds happen correctly.
1113
1114 @item preassemble=<task1>[,<task2>,...]
1115 List of Gradle tasks to be run before the assemble task in a Gradle project
1116 build.
1117
1118 @item gradleprops=<prop1>[,<prop2>,...]
1119 List of Gradle properties to pass via the command line to Gradle. A property
1120 can be of the form @code{foo} or of the form @code{key=value}.
1121
1122 For example: @code{gradleprops=enableFoo,someSetting=bar} will result in
1123 @code{gradle -PenableFoo -PsomeSetting=bar}.
1124
1125 @item antcommands=<target1>[,<target2>,...]
1126 Specify an alternate set of Ant commands (target) instead of the default
1127 'release'. It can't be given any flags, such as the path to a build.xml.
1128
1129 @item output=glob/to/output.apk
1130 Specify a glob path where the resulting unsigned release apk from the
1131 build should be. This can be used in combination with build methods like
1132 @code{gradle=yes} or @code{maven=yes}, but if no build method is
1133 specified, the build is manual. You should run your build commands, such
1134 as @code{make}, in @code{build=}.
1135
1136 @item novcheck=yes
1137 Don't check that the version name and code in the resulting apk are
1138 correct by looking at the build output - assume the metadata is
1139 correct. This takes away a useful level of sanity checking, and should
1140 only be used if the values can't be extracted.
1141
1142 @end table
1143
1144 Another example, using extra parameters:
1145
1146 @samp{Build Version:1.09.03,10903,45,subdir=Timeriffic,oldsdkloc=yes}
1147
1148 @node AntiFeatures
1149 @section AntiFeatures
1150
1151 @cindex AntiFeatures
1152
1153 This is optional - if present, it contains a comma-separated list of any of
1154 the following values, describing an anti-feature the application has.
1155 It is a good idea to mention the reasons for the anti-feature(s) in the
1156 description:
1157
1158 @itemize @bullet
1159
1160 @item
1161 @samp{Ads} - the application contains advertising.
1162
1163 @item
1164 @samp{Tracking} - the application tracks and reports your activity to
1165 somewhere without your consent. It's commonly used for when developers
1166 obtain crash logs without the user's consent, or when an app is useless
1167 without some kind of authentication.
1168
1169 @item
1170 @samp{NonFreeNet} - the application relies on computational services that
1171 are impossible to replace or that the replacement cannot be connected to
1172 without major changes to the app.
1173
1174 @item
1175 @samp{NonFreeAdd} - the application promotes non-free add-ons, such that the
1176 app is effectively an advert for other non-free software and such software is
1177 not clearly labelled as such.
1178
1179 @item
1180 @samp{NonFreeDep} - the application depends on a non-free application (e.g.
1181 Google Maps) - i.e. it requires it to be installed on the device, but does not
1182 include it.
1183
1184 @item
1185 @samp{UpstreamNonFree} - the application is or depends on non-free software.
1186 This does not mean that non-free software is included with the app: Most
1187 likely, it has been patched in some way to remove the non-free code. However,
1188 functionality may be missing.
1189
1190 @item
1191 @samp{NonFreeAssets} - the application contains and makes use of non-free
1192 assets. The most common case is apps using artwork - images, sounds, music,
1193 etc - under a non-commercial license.
1194
1195 @end itemize
1196
1197 @node Disabled
1198 @section Disabled
1199
1200 @cindex Disabled
1201
1202 If this field is present, the application does not get put into the public
1203 index. This allows metadata to be retained while an application is temporarily
1204 disabled from being published. The value should be a description of why the
1205 application is disabled. No apks or source code archives are deleted: to purge
1206 an apk see the Build Version section or delete manually for developer builds.
1207 The field is therefore used when an app has outlived it's usefulness, because
1208 the source tarball is retained.
1209
1210 @node Requires Root
1211 @section Requires Root
1212
1213 @cindex Requires Root
1214
1215 Set this optional field to "Yes" if the application requires root
1216 privileges to be usable. This lets the client filter it out if the
1217 user so desires. Whether root is required or not, it is good to give
1218 a paragraph in the description to the conditions on which root may be
1219 asked for and the reason for it.
1220
1221 @node Archive Policy
1222 @section Archive Policy
1223
1224 @cindex Archive Policy
1225
1226 This determines the policy for moving old versions of an app to the archive
1227 repo, if one is configured. The configuration sets a default maximum number
1228 of versions kept in the main repo, after which older ones are moved to the
1229 archive. This app-specific policy setting can override that.
1230
1231 Currently the only supported format is "n versions", where n is the number
1232 of versions to keep.
1233
1234 @node Update Check Mode
1235 @section Update Check Mode
1236
1237 @cindex Update Check Mode
1238
1239 This determines the method using for determining when new releases are
1240 available - in other words, the updating of the Current Version and Current
1241 Version Code fields in the metadata by the @code{fdroid checkupdates} process.
1242
1243 Valid modes are:
1244
1245 @itemize
1246 @item
1247 @code{None} - No checking is done because there's no appropriate automated way
1248 of doing so. Updates should be checked for manually. Use this, for example,
1249 when deploying betas or patched versions; when builds are done in a directory
1250 different to where the AndroidManifest.xml is; if the developers use the
1251 Gradle build system and store version info in a separate file; if the
1252 developers make a new branch for each release and don't make tags; or if you've
1253 changed the package name or version code logic.
1254 @item
1255 @code{Static} - No checking is done - either development has ceased or new versions
1256 are not desired. This method is also used when there is no other checking method
1257 available and the upstream developer keeps us posted on new versions.
1258 @item
1259 @code{RepoManifest} - At the most recent commit, the AndroidManifest.xml file
1260 is looked for in the directory where it was found in the the most recent build.
1261 The appropriateness of this method depends on the development process used by
1262 the application's developers. You should not specify this method unless you're
1263 sure it's appropriate. For example, some developers bump the version when
1264 commencing development instead of when publishing.
1265 It will return an error if the AndroidManifest.xml has moved to a different
1266 directory or if the package name has changed.
1267 The current version that it gives may not be accurate, since not all
1268 versions are fit to be published. Therefore, before building, it is often
1269 necessary to check if the current version has been published somewhere by the
1270 upstream developers, either by checking for apks that they distribute or for
1271 tags in the source code repository.
1272
1273 It currently works for every repository type to different extents, except
1274 the srclib repo type. For git, git-svn and hg repo types, you may use
1275 "RepoManifest/yourbranch" as UCM so that "yourbranch" would be the branch used
1276 in place of the default one.  The default values are "master" for git,
1277 "default" for hg and none for git-svn (it stays in the same branch).
1278 On the other hand, branch support hasn't been implemented yet in bzr and svn,
1279 but RepoManifest may still be used without it.
1280 @item
1281 @code{RepoTrunk} - For svn and git-svn repositories, especially those who
1282 don't have a bundled AndroidManifest.xml file, the Tags and RepoManifest
1283 checks will not work, since there is no version information to obtain. But,
1284 for those apps who automate their build process with the commit ref that HEAD
1285 points to, RepoTrunk will set the Current Version and Current Version Code to
1286 that number.
1287 @item
1288 @code{Tags} - The AndroidManifest.xml file in all tagged revisions in the
1289 source repository is checked, looking for the highest version code. The
1290 appropriateness of this method depends on the development process used by the
1291 application's developers. You should not specify this method unless you're sure
1292 it's appropriate. It shouldn't be used if the developers like to tag betas or
1293 are known to forget to tag releases. Like RepoManifest, it will not return the
1294 correct value if the directory containing the AndroidManifest.xml has moved.
1295 Despite these caveats, it is the often the favourite update check mode.
1296
1297 It currently only works for git, hg, bzr and git-svn repositories. In the case
1298 of the latter, the repo URL must contain the path to the trunk and tags or
1299 else no tags will be found.
1300
1301 Optionally append a regex pattern at the end - separated with a space - to
1302 only check the tags matching said pattern. Useful when apps tag non-release
1303 versions such as X.X-alpha, so you can filter them out with something like
1304 @code{.*[0-9]$} which requires tag names to end with a digit.
1305 @item
1306 @code{HTTP} - HTTP requests are used to determine the current version code and
1307 version name. This is controlled by the @code{Update Check Data} field, which
1308 is of the form @code{urlcode|excode|urlver|exver}.
1309
1310 Firstly, if @code{urlcode} is non-empty, the document from that URL is
1311 retrieved, and matched against the regular expression @code{excode}, with the
1312 first group becoming the version code.
1313
1314 Secondly, if @code{urlver} is non-empty, the document from that URL is
1315 retrieved, and matched against the regular expression @code{exver}, with the
1316 first group becoming the version name. The @code{urlver} field can be set to
1317 simply '.' which says to use the same document returned for the version code
1318 again, rather than retrieving a different one.
1319 @end itemize
1320
1321 @node Vercode Operation
1322 @section Vercode Operation
1323
1324 @cindex Vercode Operation
1325
1326 Operation to be applied to the vercode obtained by the defined @code{Update
1327 Check Mode}. @code{%c} will be replaced by the actual vercode, and the whole
1328 string will be passed to python's @code{eval} function.
1329
1330 Especially useful with apps that we want to compile for different ABIs, but
1331 whose vercodes don't always have trailing zeros. For example, with
1332 @code{Vercode Operation} set at something like @code{%c*10 + 4}, we will be
1333 able to track updates and build up to four different versions of every
1334 upstream version.
1335
1336 @node Update Check Ignore
1337 @section Update Check Ignore
1338
1339 @cindex Update Check Ignore
1340
1341 When checking for updates (via @code{Update Check Mode}) this can be used to
1342 specify a regex which, if matched against the version name, causes that version
1343 to be ignored. For example, 'beta' could be specified to ignore version names
1344 that include that text.
1345
1346 @node Update Check Name
1347 @section Update Check Name
1348
1349 @cindex Update Check Name
1350
1351 When checking for updates (via @code{Update Check Mode}) this can be used to
1352 specify the package name to search for. Useful when apps have a static package
1353 name but change it programmatically in some app flavors, by e.g. appending
1354 ".open" or ".free" at the end of the package name.
1355
1356 You can also use @code{Ignore} to ignore package name searching. This should
1357 only be used in some specific cases, for example if the app's build.gradle
1358 file does not contain the package name.
1359
1360 @node Update Check Data
1361 @section Update Check Data
1362
1363 @cindex Update Check Data
1364
1365 Used in conjunction with @code{Update Check Mode} for certain modes.
1366
1367 @node Auto Update Mode
1368 @section Auto Update Mode
1369
1370 @cindex Auto Update Mode
1371
1372 This determines the method using for auto-generating new builds when new
1373 releases are available - in other words, adding a new Build Version line to the
1374 metadata.
1375 This happens in conjunction with the 'Update Check Mode' functionality - i.e.
1376 when an update is detected by that, it is also processed by this.
1377
1378 Valid modes are:
1379
1380 @itemize
1381 @item
1382 @code{None} - No auto-updating is done
1383 @item
1384 @code{Version} - Identifies the target commit (i.e. tag) for the new build based
1385 on the given version specification, which is simply text in which %v and %c are
1386 replaced with the required version name and version code respectively.
1387
1388 For example, if an app always has a tag "2.7.2" corresponding to version 2.7.2,
1389 you would simply specify "Version %v". If an app always has a tag "ver_1234"
1390 for a version with version code 1234, you would specify "Version ver_%c".
1391
1392 Additionally, a suffix can be added to the version name at this stage, to
1393 differentiate F-Droid's build from the original. Continuing the first example
1394 above, you would specify that as "Version +-fdroid %v" - "-fdroid" is the suffix.
1395 @end itemize
1396
1397
1398 @node Current Version
1399 @section Current Version
1400
1401 @cindex Current Version
1402
1403 The name of the version that is current. There may be newer versions of the
1404 application than this (e.g. betas), and there will almost certainly be older
1405 ones. This should be the one that is recommended for general use.
1406 In the event that there is no source code for the current version, or that
1407 non-free libraries are being used, this would ideally be the latest
1408 version that is still free, though it may still be expedient to
1409 retain the automatic update check â€” see No Source Since.
1410
1411 This field is normally automatically updated - see Update Check Mode.
1412
1413 This is converted to (@code{<marketversion>}) in the public index file.
1414
1415 @node Current Version Code
1416 @section Current Version Code
1417
1418 @cindex Current Version Code
1419
1420 The version code corresponding to the Current Version field. Both these fields
1421 must be correct and matching although it's the current version code that's
1422 used by Android to determine version order and by F-Droid client to determine
1423 which version should be recommended.
1424
1425 This field is normally automatically updated - see Update Check Mode.
1426
1427 If not set or set to @code{0}, clients will recommend the highest version they
1428 can, as if the @code{Current Version Code} was infinite.
1429
1430 This is converted to (@code{<marketvercode>}) in the public index file.
1431
1432 @node No Source Since
1433 @section No Source Since
1434
1435 @cindex No Source Since
1436
1437 In case we are missing the source code for the Current Version reported by
1438 Upstream, or that non-free elements have been introduced, this defines the
1439 first version that began to miss source code.
1440 Apps that are missing source code for just one or a few versions, but provide
1441 source code for newer ones are not to be considered here - this field is
1442 intended to illustrate which apps do not currently distribute source code, and
1443 since when have they been doing so.
1444
1445 @node Update Processing
1446 @chapter Update Processing
1447
1448 @section Detecting
1449
1450 There are various mechanisms in place for automatically detecting that updates
1451 are available for applications, with the @code{Update Check Mode} field in the
1452 metadata determining which method is used for a particular application.
1453
1454 Running the @code{fdroid checkupdates} command will apply this method to each
1455 application in the repository and update the @code{Current Version} and
1456 @code{Current Version Code} fields in the metadata accordingly.
1457
1458 As usual, the @code{-p} option can be used with this, to restrict processing
1459 to a particular application.
1460
1461 Note that this only updates the metadata such that we know what the current
1462 published/recommended version is. It doesn't make that version available in
1463 the repository - for that, see the next section.
1464
1465 @section Adding
1466
1467 Adding updates (i.e. new versions of applications already included in the
1468 repository) happens in two ways. The simple case is applications where the
1469 APK files are binaries, retrieved from a developer's published build. In this
1470 case, all that's required is to place the new binary in the @code{Repo}
1471 directory, and the next run of @code{fdroid update} will pick it up.
1472
1473 For applications built from source, it is necessary to add a new
1474 @code{Build Version} line to the metadata file. At the very least, the version
1475 name, version code and commit will be different. It is also possible that the
1476 additional build flags will change between versions.
1477
1478 For processing multiple updates in the metadata at once, it can be useful to
1479 run @code{fdroid update --interactive}. This will check all the applications
1480 in the repository, and where updates are required you will be prompted to
1481 [E]dit the metadata, [I]gnore the update, or [Q]uit altogether.
1482
1483 @node Build Server
1484 @chapter Build Server
1485
1486 The Build Server system isolates the builds for each package within a clean,
1487 isolated and secure throwaway virtual machine environment.
1488
1489 @section Overview
1490
1491 Building applications in this manner on a large scale, especially with the
1492 involvement of automated and/or unattended processes, could be considered
1493 a dangerous pastime from a security perspective. This is even more the case
1494 when the products of the build are also distributed widely and in a
1495 semi-automated ("you have updates available") fashion.
1496
1497 Assume that an upstream source repository is compromised. A small selection
1498 of things that an attacker could do in such a situation:
1499
1500 @enumerate
1501 @item
1502 Use custom Ant build steps to execute virtually anything as the user doing
1503 the build.
1504 @item
1505 Access the keystore.
1506 @item
1507 Modify the built apk files or source tarballs for other applications in the
1508 repository.
1509 @item
1510 Modify the metadata (which includes build scripts, which again, also includes
1511 the ability to execute anything) for other applications in the repository.
1512 @end enumerate
1513
1514 Through complete isolation, the repurcussions are at least limited to the
1515 application in question. Not only is the build environment fresh for each
1516 build, and thrown away afterwards, but it is also isolated from the signing
1517 environment.
1518
1519 Aside from security issues, there are some applications which have strange
1520 requirements such as custom versions of the NDK. It would be impractical (or
1521 at least extremely messy) to start modifying and restoring the SDK on a
1522 multi-purpose system, but within the confines of a throwaway single-use
1523 virtual machine, anything is possible.
1524
1525 All this is in addition to the obvious advantage of having a standardised
1526 and completely reproducible environment in which builds are made. Additionally,
1527 it allows for specialised custom build environments for particular
1528 applications.
1529
1530 @section Setting up a build server
1531
1532 In addition to the basic setup previously described, you will also need
1533 a Vagrant-compatible Debian Testing base box called 'jessie32' (or jessie64
1534 for a 64-bit VM, if you want it to be much slower, and require more disk
1535 space).
1536
1537 You can use a different version or distro for the base box, so long as you
1538 don't expect any help making it work. One thing to be aware of is that
1539 working copies of source trees are moved from the host to the guest, so
1540 for example, having subversion v1.6 on the host and v1.7 on the guest
1541 would fail.
1542
1543 @subsection Creating the Debian base box
1544
1545 The output of this step is a minimal Debian VM that has support for remote
1546 login and provisioning.
1547
1548 Unless you're very trusting, you should create one of these for yourself
1549 from verified standard Debian installation media.  However, by popular
1550 demand, the @code{makebuildserver} script will automatically download a
1551 prebuilt image unless instructed otherwise.  If you choose to use the
1552 prebuilt image, you may safely skip the rest of this section.
1553
1554 Documentation for creating a base box can be found at
1555 @url{http://docs.vagrantup.com/v1/docs/base_boxes.html}.
1556
1557 In addition to carefully following the steps described there, you should
1558 consider the following:
1559
1560 @enumerate
1561 @item
1562 It is advisable to disable udev network device persistence, otherwise any
1563 movement of the VM between machines, or reconfiguration, will result in
1564 broken networking.
1565
1566 For a Debian/Ubuntu default install, just
1567 @code{touch /etc/udev/rules.d/75-persistent-net-generator.rules} to turn
1568 off rule generation, and at the same time, get rid of any rules it's
1569 already created in @code{/etc/udev/rules.d/70-persistent-net.rules}.
1570 @item
1571 Unless you want the VM to become totally inaccessible following a failed
1572 boot, you need to set @code{GRUB_RECORDFAIL_TIMEOUT} to a value other than
1573 -1 in @code{/etc/grub/default} and then run @code{update-grub}.
1574 @end enumerate
1575
1576 @subsection Creating the F-Droid base box
1577
1578 The next step in the process is to create @code{makebs.config.py},
1579 using @code{./examples/makebs.config.py} as a reference - look at the settings and
1580 documentation there to decide if any need changing to suit your environment.
1581 There is a path for retrieving the base box if it doesn't exist, and an apt
1582 proxy definition, both of which may need customising for your environment.
1583 You can then go to the @code{fdroidserver} directory and run this:
1584
1585 @example
1586 ./makebuildserver
1587 @end example
1588
1589 This will take a long time, and use a lot of bandwidth - most of it spent
1590 installing the necessary parts of the Android SDK for all the various
1591 platforms. Luckily you only need to do it occasionally. Once you have a
1592 working build server image, if the recipes change (e.g. when packages need
1593 to be added) you can just run that script again and the existing one will
1594 be updated in place.
1595
1596 The main sdk/ndk downloads will automatically be cached to speed things
1597 up the next time, but there's no easy way of doing this for the longer
1598 sections which use the SDK's @code{android} tool to install platforms,
1599 add-ons and tools. However, instead of allowing automatic caching, you
1600 can supply a pre-populated cache directory which includes not only these
1601 downloads, but also .tar.gz files for all the relevant additions. If the
1602 provisioning scripts detect these, they will be used in preference to
1603 running the android tools. For example, if you have
1604 @code{buildserver/addons/cache/platforms/android-19.tar.gz} that will be
1605 used when installing the android-19 platform, instead of re-downloading it
1606 using @code{android update sdk --no-ui -t android-19}. It is possible to
1607 create the cache files of this additions from a local installation of the
1608 SDK including these:
1609
1610 @example
1611 cd /path/to/android-sdk/platforms
1612 tar czf android-19.tar.gz android-19
1613 mv android-19.tar.gz /path/to/buildserver/addons/cache/platforms/
1614 @end example
1615
1616 If you have already built a buildserver it is also possible to get this
1617 files directly from the buildserver:
1618
1619 @example
1620 vagrant ssh -- -C 'tar -C ~/android-sdk/platforms czf android-19.tar.gz android-19'
1621 vagrant ssh -- -C 'cat ~/android-sdk/platforms/android-19.tar.gz' > /path/to/fdroidserver/buildserver/cache/platforms/android19.tar.gz
1622 @end example
1623
1624 Once it's complete you'll have a new base box called 'buildserver' which is
1625 what's used for the actual builds. You can then build packages as normal,
1626 but with the addition of the @code{--server} flag to @code{fdroid build} to
1627 instruct it to do all the hard work within the virtual machine.
1628
1629 The first time a build is done, a new virtual machine is created using the
1630 'buildserver' box as a base. A snapshot of this clean machine state is saved
1631 for use in future builds, to improve performance. You can force discarding
1632 of this snapshot and rebuilding from scratch using the @code{--resetserver}
1633 switch with @code{fdroid build}.
1634
1635 @node Signing
1636 @chapter Signing
1637
1638 There are two kinds of signing involved in running a repository - the signing
1639 of the APK files generated from source builds, and the signing of the repo
1640 index itself. The latter is optional, but very strongly recommended.
1641
1642 @section Repo Index Signing
1643
1644 When setting up the repository, one of the first steps should be to generate
1645 a signing key for the repository index. This will also create a keystore, which
1646 is a file that can be used to hold this and all other keys used. Consider the
1647 location, security and backup status of this file carefully, then create it as
1648 follows:
1649
1650 @code{keytool -genkey -v -keystore my.keystore -alias repokey -keyalg RSA -keysize 2048 -validity 10000}
1651
1652 In the above, replace 'my.keystore' with the name of the keystore file to be
1653 created, and 'repokey' with a name to identify the repo index key by.
1654
1655 You'll be asked for a password for the keystore, AND a password for the key.
1656 They shouldn't be the same. In between, you'll be asked for some identifying
1657 details which will go in the certificate.
1658
1659 The two passwords entered go into @code{config.py}, as @code{keystorepass} and
1660 @code{keypass} respectively. The path to the keystore file, and the alias you
1661 chose for the key also go into that file, as @code{keystore} and
1662 @code{repo_keyalias} respectively.
1663
1664 @section Package Signing
1665
1666 With the repo index signing configured, all that remains to be done for package
1667 signing to work is to set the @code{keydname} field in @code{config.py} to
1668 contain the same identifying details you entered before.
1669
1670 A new key will be generated using these details, for each application that is
1671 built. (If a specific key is required for a particular application, this system
1672 can be overridden using the @code{keyaliases} config settings.
1673
1674
1675 @node GNU Free Documentation License
1676 @appendix GNU Free Documentation License
1677
1678 @include fdl.texi
1679
1680 @node Index
1681 @unnumbered Index
1682
1683 @printindex cp
1684
1685 @bye