chiark / gitweb /
import app into fdroid directly from git clone
[fdroidserver.git] / docs / fdroid.texi
1 \input texinfo   @c -*-texinfo-*-
2 @c %**start of header
3 @setfilename fdroid.info
4 @documentencoding UTF-8
5 @settitle F-Droid Server Manual
6 @c %**end of header
7
8 @copying
9 This manual is for the F-Droid repository server tools.
10
11 Copyright @copyright{} 2010, 2011, 2012, 2013, 2014, 2015 Ciaran Gultnieks
12
13 Copyright @copyright{} 2011 Henrik Tunedal, Michael Haas, John Sullivan
14
15 Copyright @copyright{} 2013 David Black
16
17 Copyright @copyright{} 2013, 2014, 2015 Daniel Martí
18
19 Copyright @copyright{} 2015 Boris Kraut
20
21 @quotation
22 Permission is granted to copy, distribute and/or modify this document
23 under the terms of the GNU Free Documentation License, Version 1.3
24 or any later version published by the Free Software Foundation;
25 with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
26 A copy of the license is included in the section entitled "GNU
27 Free Documentation License".
28 @end quotation
29 @end copying
30
31 @titlepage
32 @title F-Droid Server Manual
33 @author Ciaran Gultnieks and the F-Droid project
34 @page
35 @vskip 0pt plus 1filll
36 @insertcopying
37
38 @end titlepage
39
40 @contents
41
42 @ifnottex
43 @node Top
44 @top F-Droid Server
45
46 @insertcopying
47 @end ifnottex
48
49 @menu
50 * Overview::
51 * System Requirements::
52 * Setup::
53 * Simple Binary Repository::
54 * Building Applications::
55 * Importing Applications::
56 * Metadata::
57 * Update Processing::
58 * Build Server::
59 * Signing::
60 * GNU Free Documentation License::
61 * Index::
62 @end menu
63
64 @node Overview
65 @chapter Overview
66
67 The F-Droid server tools provide various scripts and tools that are used
68 to maintain the main F-Droid application repository. You can use these same
69 tools to create your own additional or alternative repository for publishing,
70 or to assist in creating, testing and submitting metadata to the main
71 repository.
72
73
74 @node System Requirements
75 @chapter System Requirements
76
77 @cindex installation
78
79 The system requirements for using the tools will vary depending on your
80 intended usage. At the very least, you'll need:
81
82 @itemize @bullet
83 @item
84 GNU/Linux
85 @item
86 Python 3.4 or later
87 @item
88 The Android SDK Tools and Build-tools.
89 Note that F-Droid does not assume that you have the Android SDK in your
90 @code{PATH}: these directories will be specified in your repository
91 configuration. Recent revisions of the SDK have @code{aapt} located in
92 android-sdk/build-tools/ and it may be necessary to make a symlink to it in
93 android-sdk/platform-tools/
94 @end itemize
95
96 If you intend to build applications from source you'll also need most, if not
97 all, of the following:
98
99 @itemize @bullet
100 @item
101 JDK (Debian package openjdk-6-jdk): openjdk-6 is recommended though openjdk-7
102 should work too
103 @item
104 VCS clients: svn, git, git-svn, hg, bzr
105 @item
106 A keystore for holding release keys. (Safe, secure and well backed up!)
107 @end itemize
108
109 If you intend to use the 'Build Server' system, for secure and clean builds
110 (highly recommended), you will also need:
111
112 @itemize @bullet
113 @item
114 VirtualBox (debian package virtualbox)
115 @item
116 Ruby (debian packages ruby and rubygems)
117 @item
118 Vagrant (debian package vagrant - 1.4.x or higher required)
119 @item
120 vagrant-cachier plugin (unpackaged): `vagrant plugin install vagrant-cachier`
121 @item
122 Paramiko (debian package python-paramiko)
123 @item
124 Imaging (debian package python-imaging)
125 @end itemize
126
127 On the other hand, if you want to build the apps directly on your system
128 without the 'Build Server' system, you may need:
129
130 @itemize @bullet
131 @item
132 All SDK platforms requested by the apps you want to build
133 (The Android SDK is made available by Google under a proprietary license but
134 within that, the SDK platforms, support library and some other components are
135 under the Apache license and source code is provided.
136 Google APIs, used for building apps using Google Maps, are free to the extent
137 that the library comes pre-installed on the device.
138 Google Play Services, Google Admob and others are proprietary and shouldn't be
139 included in the main F-Droid repository.)
140 @item
141 A version of the Android NDK
142 @item
143 Ant with Contrib Tasks (Debian packages ant and ant-contrib)
144 @item
145 Maven (Debian package maven)
146 @item
147 JavaCC (Debian package javacc)
148 @item
149 Miscellaneous packages listed in
150 buildserver/cookbooks/fdroidbuild-general/recipes/default.rb
151 of the F-Droid server repository
152 @end itemize
153
154 @node Setup
155 @chapter Setup
156
157 @cindex setup, installation
158
159 Because the tools and data will always change rapidly, you will almost
160 certainly want to work from a git clone of the tools at this stage. To
161 get started:
162
163 @example
164 git clone https://gitlab.com/fdroid/fdroidserver.git
165 @end example
166
167 You now have lots of stuff in the fdroidserver directory, but the most
168 important is the 'fdroid' command script which you run to perform all tasks.
169 This script is always run from a repository data directory, so the
170 most sensible thing to do next is to put your new fdroidserver directory
171 in your @code{PATH}.
172
173 @section Data
174
175 To do anything, you'll need at least one repository data directory. It's
176 from this directory that you run the @code{fdroid} command to perform all
177 repository management tasks. You can either create a brand new one, or
178 grab a copy of the data used by the main F-Droid repository:
179
180 @example
181 git clone https://gitlab.com/fdroid/fdroiddata.git
182 @end example
183
184 Regardless of the intended usage of the tools, you will always need to set
185 up some basic configuration details. This is done by creating a file called
186 @code{config.py} in the data directory. You should do this by copying the
187 example file (@code{./examples/config.py}) from the fdroidserver project to
188 your data directory and then editing according to the instructions within.
189
190 Once configured in this way, all the functionality of the tools is accessed
191 by running the @code{fdroid} command. Run it on its own to get a list of the
192 available sub-commands.
193
194 You can follow any command with @code{--help} to get a list of additional
195 options available for that command.
196
197 @example
198 fdroid update --help
199 @end example
200
201
202 @node Simple Binary Repository
203 @chapter Simple Binary Repository
204
205 @cindex binary
206
207 If you want to maintain a simple repository hosting only binary APKs obtained
208 and compiled elsewhere, the process is quite simple:
209
210 @enumerate
211 @item
212 Set up the server tools, as described in Setup.
213 @item
214 Make a directory for your repository. This is the directory from which you
215 will do all the work with your repository. Create a config file there, called
216 @code{config.py}, by copying @code{./examples/config.py} from the server
217 project and editing it.
218 @item
219 Within that, make a directory called @code{repo} and put APK files in it.
220 @item
221 Run @code{fdroid update}.
222 @item
223 If it reports that any metadata files are missing, you can create them
224 in the @code{metadata} directory and run it again.
225 @item
226 To ease creation of metadata files, run @code{fdroid update} with the @code{-c}
227 option. It will create 'skeleton' metadata files that are missing, and you can
228 then just edit them and fill in the details.
229 @item
230 Then, if you've changed things, run @code{fdroid update} again.
231 @item
232 Running @code{fdroid update} adds an Icons directory into the repo directory,
233 and also creates the repository index (index.xml, and also index.jar if you've
234 configured the system to use a signed index).
235 @item
236 Publish the resulting contents of the @code{repo} directory to your web server.
237 @end enumerate
238
239 Following the above process will result in a @code{repo} directory, which you
240 simply need to push to any HTTP (or preferably HTTPS) server to make it
241 accessible.
242
243 While some information about the applications (and versions thereof) is
244 retrieved directly from the APK files, most comes from the corresponding file
245 in the @code{metadata} directory. The metadata file covering ALL versions of a
246 particular application is named @code{package.id.txt} where package.id is the
247 unique identifier for that package.
248
249 See the Metadata chapter for details of what goes in the metadata file. All
250 fields are relevant for binary APKs, EXCEPT for @code{Build:} entries, which
251 should be omitted.
252
253
254 @node Building Applications
255 @chapter Building Applications
256
257 Instead of (or as well as) including binary APKs from external sources in a
258 repository, you can build them directly from the source code.
259
260 Using this method, it is is possible to verify that the application builds
261 correctly, corresponds to the source code, and contains only free software.
262 Unforunately, in the Android world, it seems to be very common for an
263 application supplied as a binary APK to present itself as Free Software
264 when in fact some or all of the following are true:
265
266 @enumerate
267 @item
268 The source code (either for a particular version, or even all versions!) is
269 unavailable or incomplete.
270 @item
271 The source code is not capable of producing the actual binary supplied.
272 @item
273 The 'source code' contains binary files of unknown origin, or with proprietary
274 licenses.
275 @end enumerate
276
277 For this reason, source-built applications are the preferred method for the
278 main F-Droid repository, although occasionally for technical or historical
279 reasons, exceptions are made to this policy.
280
281 When building applications from source, it should be noted that you will be
282 signing them (all APK files must be signed to be installable on Android) with
283 your own key. When an application is already installed on a device, it is not
284 possible to upgrade it in place to a new version signed with a different key
285 without first uninstalling the original. This may present an inconvenience to
286 users, as the process of uninstalling loses any data associated with the
287 previous installation.
288
289 The process for managing a repository for built-from-source applications is
290 very similar to that described in the Simple Binary Repository chapter,
291 except now you need to:
292
293 @enumerate
294 @item
295 Include Build entries in the metadata files.
296 @item
297 Run @code{fdroid build} to build any applications that are not already built.
298 @item
299 Run @code{fdroid publish} to finalise packaging and sign any APKs that have
300 been built.
301 @end enumerate
302
303
304 @section More about "fdroid build"
305
306 When run without any parameters, @code{fdroid build} will build any and all
307 versions of applications that you don't already have in the @code{repo}
308 directory (or more accurately, the @code{unsigned} directory). There are various
309 other things you can do. As with all the tools, the @code{--help} option is
310 your friend, but a few annotated examples and discussion of the more common
311 usage modes follows:
312
313 To build a single version of a single application, you could run the
314 following:
315
316 @example
317 fdroid build org.fdroid.fdroid:16
318 @end example
319
320 This attempts to build version code 16 (which is version 0.25) of the F-Droid
321 client. Many of the tools recognise arguments as packages, allowing their
322 activity to be limited to just a limited set of packages.
323
324 If the build above was successful, two files will have been placed in the
325 @code{unsigned} directory:
326
327 @example
328 org.fdroid.fdroid_16.apk
329 org.fdroid.fdroid_16_src.tar.gz
330 @end example
331
332 The first is the (unsigned) APK. You could sign this with a debug key and push
333 it direct to your device or an emulator for testing. The second is a source
334 tarball containing exactly the source that was used to generate the binary.
335
336 If you were intending to publish these files, you could then run:
337
338 @example
339 fdroid publish
340 @end example
341
342 The source tarball would move to the @code{repo} directory (which is the
343 directory you would push to your web server). A signed and zip-aligned version
344 of the APK would also appear there, and both files would be removed from the
345 @code{unsigned} directory.
346
347 If you're building purely for the purposes of testing, and not intending to
348 push the results to a repository, at least yet, the @code{--test} option can be
349 used to direct output to the @code{tmp} directory instead of @code{unsigned}.
350 A similar effect could by achieved by simply deleting the output files from
351 @code{unsigned} after the build, but with the risk of forgetting to do so!
352
353 Along similar lines (and only in conjunction with @code{--test}, you can use
354 @code{--force} to force a build of a Disabled application, where normally it
355 would be completely ignored. Similarly a version that was found to contain
356 ELFs or known non-free libraries can be forced to build. See also â€”
357 @code{scanignore=} and @code{scandelete=} in the @code{Build:} section.
358
359 If the build was unsuccessful, you can find out why by looking at the output
360 in the logs/ directory. If that isn't illuminating, try building the app the
361 regular way, step by step: android update project, ndk-build, ant debug.
362
363 Note that source code repositories often contain prebuilt libraries. If the
364 app is being considered for the main F-Droid repository, it is important that
365 all such prebuilts are built either via the metadata or by a reputable third
366 party.
367
368
369 @section Running "fdroid build" in your app's source
370
371 Another option for using @code{fdroid build} is to use a metadata file
372 that is included in the app's source itself, rather than in a
373 @code{metadata/} folder with lots of other apps.  This metadata file
374 should be in the root of your source repo, and be called
375 @code{.fdroid.json}, @code{.fdroid.xml}, @code{.fdroid.yaml}, or
376 @code{.fdroid.txt}, depending on your preferred data format: JSON,
377 XML, YAML, or F-Droid's @code{.txt} format.
378
379 Once you have that setup, you can build the most recent version of
380 the app using the whole FDroid stack by running:
381
382 @example
383 fdroid build
384 @end example
385
386 If you want to build every single version, then specify @code{--all}.
387
388
389 @section Direct Installation
390
391 You can also build and install directly to a connected device or emulator
392 using the @code{fdroid install} command. If you do this without passing
393 packages as arguments then all the latest built and signed version available
394 of each package will be installed . In most cases, this will not be what you
395 want to do, so execution will stop straight away. However, you can override
396 this if you're sure that's what you want, by using @code{--all}.  Note that
397 currently, no sanity checks are performed with this mode, so if the files in
398 the signed output directory were modified, you won't be notified.
399
400
401 @node Importing Applications
402 @chapter Importing Applications
403
404 To help with starting work on including a new application, use
405 @code{fdroid import} to set up a new template project.  It has two
406 modes of operation, starting with a cloned git repo:
407
408 @example
409 git clone https://gitlab.com/fdroid/fdroidclient
410 cd fdroidclient
411 fdroid import
412 @end example
413
414 Or starting with a URL to a project page:
415
416 @example
417 fdroid import --url=http://address.of.project
418 @end example
419
420 When a URL is specified using the @code{--url=} flag, @code{fdroid
421 import} will use that URL to find out information about the project,
422 and if it finds a git repo, it will also clone that.  For this to
423 work, the URL must point to a project format that the script
424 understands. Currently this is limited to one of the following:
425
426 @enumerate
427 @item
428 GitLab - @code{https://gitlab.com/PROJECTNAME/REPONAME}
429 @item
430 Gitorious - @code{https://gitorious.org/PROJECTNAME/REPONAME}
431 @item
432 Github - @code{https://github.com/USER/PROJECT}
433 @item
434 Google Code - @code{http://code.google.com/p/PROJECT/}
435 Supports git, svn and hg repos.
436
437 Some Google Code projects have multiple repositories, identified by a
438 dropdown list on the @code{source/checkout} page. To access one other than
439 the default, specify its name using the @code{--repo} switch.
440 @item
441 Bitbucket - @code{https://bitbucket.org/USER/PROJECT/}
442 @item
443 Git - @code{git://REPO}
444 @end enumerate
445
446 Depending on the project type, more or less information may be gathered. For
447 example, the license will be retrieved from a Google Code project, but not a
448 GitHub one. A bare repo url, such as the git:// one, is the least preferable
449 optional of all, since you will have to enter much more information manually.
450
451 If the import is successful, a metadata file will be created. You will need to
452 edit this further to check the information, and fill in the blanks.
453
454 If it fails, you'll be told why. If it got as far as retrieving the source
455 code, you can inspect it further by looking in @code{tmp/importer} where a full
456 checkout will exist.
457
458 A frequent cause of initial failure is that the project directory is actually
459 a subdirectory in the repository. In this case, run the importer again using
460 the @code{--subdir} option to tell it where. It will not attempt to determine
461 this automatically, since there may be several options.
462
463
464 @node Metadata
465 @chapter Metadata
466
467 @cindex metadata
468
469 Information used by update.py to compile the public index comes from two
470 sources:
471
472 @enumerate
473 @item
474 the APK files in the repo directory, and
475 @item
476 the metadata files in the metadata directory.
477 @end enumerate
478
479 The original metadata files are simple, easy to edit text files,
480 always named as the application's package ID with '.txt' appended.
481 Additionally, you can use JSON, XML, or YAML for app metadata, using
482 the same fields as the original '.txt' format.
483
484 Note that although the metadata files are designed to be easily read
485 and writable by humans, they are also processed and written by various
486 scripts.  The original '.txt' format can be automatically cleaned up
487 when necessary.  The structure and comments will be preserved
488 correctly, although the order of fields will be standardised. (In the
489 event that the original file was in a different order, comments are
490 considered as being attached to the field following them). In fact,
491 you can standardise all the '.txt' metadata in a single command,
492 without changing the functional content, by running:
493
494 @example
495 fdroid rewritemeta
496 @end example
497
498 Or just run it on a specific app:
499
500 @example
501 fdroid rewritemeta org.adaway
502 @end example
503
504 The following sections describe the fields recognised within the file.
505
506 @menu
507 * Categories::
508 * Author Name::
509 * Author Email::
510 * License::
511 * Auto Name::
512 * Name::
513 * Provides::
514 * Web Site::
515 * Source Code::
516 * Issue Tracker::
517 * Changelog::
518 * Donate::
519 * FlattrID::
520 * Bitcoin::
521 * Litecoin::
522 * Summary::
523 * Description::
524 * Maintainer Notes::
525 * Repo Type::
526 * Repo::
527 * Binaries::
528 * Build::
529 * AntiFeatures::
530 * Disabled::
531 * Requires Root::
532 * Archive Policy::
533 * Update Check Mode::
534 * Update Check Ignore::
535 * Vercode Operation::
536 * Update Check Name::
537 * Update Check Data::
538 * Auto Update Mode::
539 * Current Version::
540 * Current Version Code::
541 * No Source Since::
542 @end menu
543
544 @node Categories
545 @section Categories
546
547 Any number of categories for the application to be placed in. There is no
548 fixed list of categories - both the client and the web site will automatically
549 show any categories that exist in any applications. However, if your metadata
550 is intended for the main F-Droid repository, you should use one of the
551 existing categories (look at the site/client), or discuss the proposal to add
552 a new one.
553
554 Categories must be separated by a single comma character, ','. For backwards
555 compatibility, F-Droid will use the first category given as <category> element
556 for older clients to at least see one category.
557
558 This is converted to (@code{<categories>}) in the public index file.
559
560 @node Author Name
561 @section Author Name
562
563 @cindex Author Name
564
565 The name of the author, either full, abbreviated or pseudonym. If
566 present, it should represent the name(s) as published by upstream,
567 e.g. in their copyright or authors file. This can be omitted (or left
568 blank).
569
570 This is converted to (@code{<author>}) in the public index file.
571
572 @node Author Email
573 @section Author Email
574
575 @cindex Author Email
576
577 The e-mail address of the author(s). This can be omitted (or left
578 blank).
579
580 This is converted to (@code{<email>}) in the public index file.
581
582 @node License
583 @section License
584
585 @cindex license
586
587 The overall license for the application, or in certain cases, for the
588 source code only.
589
590 Common values:
591
592 @itemize @bullet
593
594 @item
595 @samp{GPLv2}
596 GNU GPL version 2
597
598 @item
599 @samp{GPLv2+}
600 GNU GPL version 2 or later
601
602 @item
603 @samp{GPLv3}
604 GNU GPL version 3
605
606 @item
607 @samp{GPLv3+}
608 GNU GPL version 3 or later
609
610 @item
611 @samp{GPL}
612 An unspecified GPL version. Use this only as a last resort or if there is
613 some confusion over compatiblity of component licenses: particularly the use of
614 Apache libraries with GPLv2 source code.
615
616 @item
617 @samp{AGPL}
618 Afferro GPL version 3.
619
620 @item
621 @samp{Apache2}
622 Apache 2
623
624 @item
625 @samp{MIT}
626 MIT X11 license
627
628 @item
629 @samp{BSD}
630 BSD license - the original '4-clause' version.
631
632 @item
633 @samp{NewBSD}
634 BSD license - the new, or modified, version.
635
636 @end itemize
637
638 This is converted to (@code{<license>}) in the public index file.
639
640 @node Auto Name
641 @section Auto Name
642
643 @cindex Auto Name
644
645 The name of the application as can best be retrieved from the source code.
646 This is done so that the commitupdates script can put a familiar name in the
647 description of commits created when a new update of the application is
648 found. The Auto Name entry is generated automatically when @code{fdroid
649 checkupdates} is run.
650
651 @node Name
652 @section Name
653
654 @cindex Name
655
656 The name of the application. Normally, this field should not be present since
657 the application's correct name is retrieved from the APK file. However, in a
658 situation where an APK contains a bad or missing application name, it can be
659 overridden using this. Note that this only overrides the name in the list of
660 apps presented in the client; it doesn't changed the name or application label
661 in the source code.
662
663 @node Provides
664 @section Provides
665
666 @cindex Provides
667
668 Comma-separated list of application IDs that this app provides. In other
669 words, if the user has any of these apps installed, F-Droid will show this app
670 as installed instead. It will also appear if the user clicks on urls linking
671 to the other app IDs. Useful when an app switches package name, or when you
672 want an app to act as multiple apps.
673
674 @node Web Site
675 @section Web Site
676
677 @cindex Web Site
678
679 The URL for the application's web site. If there is no relevant web site, this
680 can be omitted (or left blank).
681
682 This is converted to (@code{<web>}) in the public index file.
683
684 @node Source Code
685 @section Source Code
686
687 @cindex Source Code
688
689 The URL to view or obtain the application's source code. This should be
690 something human-friendly. Machine-readable source-code is covered in the
691 'Repo' field.
692
693 This is converted to (@code{<source>}) in the public index file.
694
695 @node Issue Tracker
696 @section Issue Tracker
697
698 @cindex Issue Tracker
699
700 The URL for the application's issue tracker. Optional, since not all
701 applications have one.
702
703 This is converted to (@code{<tracker>}) in the public index file.
704
705 @node Changelog
706 @section Changelog
707
708 @cindex Changelog
709
710 The URL for the application's changelog. Optional, since not all
711 applications have one.
712
713 This is converted to (@code{<changelog>}) in the public index file.
714
715 @node Donate
716 @section Donate
717
718 @cindex Donate
719
720 The URL to donate to the project. This should be the project's donate page
721 if it has one.
722
723 It is possible to use a direct PayPal link here, if that is all that is
724 available. However, bear in mind that the developer may not be aware of
725 that direct link, and if they later changed to a different PayPal account,
726 or the PayPal link format changed, things could go wrong. It is always
727 best to use a link that the developer explicitly makes public, rather than
728 something that is auto-generated 'button code'.
729
730 This is converted to (@code{<donate>}) in the public index file.
731
732 @node FlattrID
733 @section FlattrID
734
735 @cindex FlattrID
736
737 The project's Flattr (http://flattr.com) ID, if it has one. This should be
738 a numeric ID, such that (for example) https://flattr.com/thing/xxxx leads
739 directly to the page to donate to the project.
740
741 This is converted to (@code{<flattr>}) in the public index file.
742
743 @node Bitcoin
744 @section Bitcoin
745
746 @cindex Bitcoin
747
748 A bitcoin address for donating to the project.
749
750 This is converted to (@code{<bitcoin>}) in the public index file.
751
752 @node Litecoin
753 @section Litecoin
754
755 @cindex Litecoin
756
757 A litecoin address for donating to the project.
758
759 @node Summary
760 @section Summary
761
762 @cindex Summary
763
764 A brief summary of what the application is. Since the summary is only allowed
765 one line on the list of the F-Droid client, keeping it to within 80 characters
766 will ensure it fits most screens.
767
768 @node Description
769 @section Description
770
771 @cindex Description
772
773 A full description of the application, relevant to the latest version.
774 This can span multiple lines (which should be kept to a maximum of 80
775 characters), and is terminated by a line containing a single '.'.
776
777 Basic MediaWiki-style formatting can be used. Leaving a blank line starts a
778 new paragraph. Surrounding text with @code{''} make it italic, and with
779 @code{'''} makes it bold.
780
781 You can link to another app in the repo by using @code{[[app.id]]}. The link
782 will be made appropriately whether in the Android client, the web repo
783 browser or the wiki. The link text will be the apps name.
784
785 Links to web addresses can be done using @code{[http://example.com Text]}.
786
787 For both of the above link formats, the entire link (from opening to closing
788 square bracket) must be on the same line.
789
790 Bulletted lists are done by simply starting each item with a @code{*} on
791 a new line, and numbered lists are the same but using @code{#}. There is
792 currently no support for nesting lists - you can have one level only.
793
794 It can be helpful to note information pertaining to updating from an
795 earlier version; whether the app contains any prebuilts built by the
796 upstream developers or whether non-free elements were removed; whether the
797 app is in rapid development or whether the latest version lags behind the
798 current version; whether the app supports multiple architectures or whether
799 there is a maximum SDK specified (such info not being recorded in the index).
800
801 This is converted to (@code{<desc>}) in the public index file.
802
803 @node Maintainer Notes
804 @section Maintainer Notes
805
806 @cindex Maintainer Notes
807
808 This is a multi-line field using the same rules and syntax as the description.
809 It's used to record notes for F-Droid maintainers to assist in maintaining and
810 updating the application in the repository.
811
812 This information is also published to the wiki.
813
814 @node Repo Type
815 @section Repo Type
816
817 @cindex Repo Type
818
819 The type of repository - for automatic building from source. If this is not
820 specified, automatic building is disabled for this application. Possible
821 values are:
822
823 @itemize @bullet
824 @item
825 @samp{git}
826 @item
827 @samp{svn}
828 @item
829 @samp{git-svn}
830 @item
831 @samp{hg}
832 @item
833 @samp{bzr}
834 @item
835 @samp{srclib}
836 @end itemize
837
838 @node Repo
839 @section Repo
840
841 @cindex Repo
842
843 The repository location. Usually a git: or svn: URL, for example.
844
845 The git-svn option connects to an SVN repository, and you specify the URL in
846 exactly the same way, but git is used as a back-end. This is preferable for
847 performance reasons, and also because a local copy of the entire history is
848 available in case the upstream repository disappears. (It happens!). In
849 order to use Tags as update check mode for this VCS type, the URL must have
850 the tags= special argument set. Likewise, if you intend to use the
851 RepoManifest/branch scheme, you would want to specify branches= as well.
852 Finally, trunk= can also be added. All these special arguments will be passed
853 to "git svn" in order, and their values must be relative paths to the svn repo
854 root dir.
855 Here's an example of a complex git-svn Repo URL:
856 http://svn.code.sf.net/p/project/code/svn;trunk=trunk;tags=tags;branches=branches
857
858 If the Repo Type is @code{srclib}, then you must specify the name of the
859 according srclib .txt file. For example if @code{scrlibs/FooBar.txt} exist
860 and you want to use this srclib, then you have to set Repo to
861 @code{FooBar}.
862
863 @node Binaries
864 @section Binaries
865
866 @cindex Binaries
867
868 The location of binaries used in verification process.
869
870 If specified, F-Droid will verify the output apk file of a build against the
871 one specified. You can use %v and %c to point to the version name and version
872 code of the current build. To verify the F-Droid client itself you could use:
873 @code{Binaries:https://f-droid.org/repo/org.fdroid.fdroid_%c.apk}
874
875 F-Droid will use upstream binaries if the verification succeeded.
876
877 @node Build
878 @section Build
879
880 @cindex Build
881
882 Any number of these fields can be present, each specifying a version to
883 automatically build from source. The value is a comma-separated list.
884 For example:
885
886 @samp{Build:1.2,12}
887
888 The above specifies to build version 1.2, which has a version code of 12.
889 The @code{commit=} parameter specifies the tag, commit or revision number from
890 which to build it in the source repository. It is the only mandatory flag,
891 which in this case could for example be @code{commit=v1.2}.
892
893 In addition to the three, always required, parameters described above,
894 further parameters can be added (in name=value format) to apply further
895 configuration to the build. These are (roughly in order of application):
896
897 @table @code
898
899 @item disable=<message>
900 Disables this build, giving a reason why. (For backwards compatibility, this
901 can also be achieved by starting the commit ID with '!')
902
903 The purpose of this feature is to allow non-buildable releases (e.g. the source
904 is not published) to be flagged, so the scripts don't generate repeated
905 messages about them. (And also to record the information for review later).
906 If an apk has already been built, disabling causes it to be deleted once
907 @code{fdroid update} is run; this is the procedure if ever a version has to
908 be replaced.
909
910 @item subdir=<path>
911 Specifies to build from a subdirectory of the checked out source code.
912 Normally this directory is changed to before building,
913
914 @item submodules=yes
915 Use if the project (git only) has submodules - causes @code{git submodule
916 update --init --recursive} to be executed after the source is cloned.
917 Submodules are reset and cleaned like the main app repository itself before
918 each build.
919
920 @item init=xxxx
921 As for 'prebuild', but runs on the source code BEFORE any other processing
922 takes place.
923
924 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
925 android SDK and NDK directories, and maven 3 executable respectively. The
926 following per-build variables are available likewise: $$VERSION$$,
927 $$VERCODE$$ and $$COMMIT$$.
928
929 @item oldsdkloc=yes
930 The sdk location in the repo is in an old format, or the build.xml is
931 expecting such. The 'new' format is sdk.dir while the VERY OLD format
932 is sdk-location. Typically, if you get a message along the lines of:
933 "com.android.ant.SetupTask cannot be found" when trying to build, then
934 try enabling this option.
935
936 @item target=<target>
937 Specifies a particular SDK target for compilation, overriding the value
938 defined in the code by upstream.  This has different effects depending on what
939 build system used â€” this flag currently affects Ant, Maven and Gradle projects
940 only. Note that this does not change the target SDK in the
941 AndroidManifest.xml, which determines the level of features that can be
942 included in the build.
943
944 In the case of an Ant project, it modifies project.properties of the app and
945 possibly sub-projects. This is likely to cause the whole build.xml to be
946 rewritten, which is fine if it's a 'standard' android file or doesn't already
947 exist, but not a good idea if it's heavily customised.
948
949 @item update=<auto/dirs>
950 By default, 'android update' is used in Ant builds to generate or update the
951 project and all its referenced projects. Specifying update=no bypasses that.
952 Note that this is useless in builds that don't use Ant.
953
954 Default value is '@code{auto}', which recursively uses the paths in
955 project.properties to find all the subprojects to update.
956
957 Otherwise, the value can be a comma-separated list of directories in which to
958 run 'android update' relative to the application directory.
959
960 @item encoding=xxxx
961 Adds a java.encoding property to local.properties with the given
962 value. Generally the value will be 'utf-8'. This is picked up by the
963 SDK's ant rules, and forces the Java compiler to interpret source
964 files with this encoding. If you receive warnings during the compile
965 about character encodings, you probably need this.
966
967 @item forceversion=yes
968 If specified, the package version in AndroidManifest.xml is replaced
969 with the version name for the build as specified in the metadata.
970
971 This is useful for cases when upstream repo failed to update it for
972 specific tag; to build an arbitrary revision; to make it apparent that
973 the version differs significantly from upstream; or to make it apparent
974 which architecture or platform the apk is designed to run on.
975
976 @item forcevercode=yes
977 If specified, the package version code in the AndroidManifest.xml is
978 replaced with the version code for the build. See also forceversion.
979
980 @item rm=<path1>[,<path2>,...]
981 Specifies the relative paths of files or directories to delete before
982 the build is done. The paths are relative to the base of the build
983 directory - i.e. the root of the directory structure checked out from
984 the source respository - not necessarily the directory that contains
985 AndroidManifest.xml.
986
987 Multiple files/directories can be specified by separating them with ','.
988 Directories will be recursively deleted.
989
990 @item extlibs=<lib1>[,<lib2>,...]
991 Comma-separated list of external libraries (jar files) from the
992 @code{build/extlib} library, which will be placed in the @code{libs} directory
993 of the project.
994
995 @item srclibs=[n:]a@@r,[n:]b@@r1,...
996 Comma-separated list of source libraries or Android projects. Each item is of
997 the form name@@rev where name is the predefined source library name and rev is
998 the revision or tag to use in the respective source control.
999
1000 For Ant projects, you can optionally append a number with a colon at the
1001 beginning of a srclib item to automatically place it in project.properties as
1002 a library under the specified number. For example, if you specify
1003 @code{1:somelib@@1.0}, F-Droid will automatically do the equivalent of the
1004 legacy practice @code{prebuild=echo "android.library.reference.1=$$somelib$$"
1005 >> project.properties}.
1006
1007 Each srclib has a metadata file under srclibs/ in the repository directory,
1008 and the source code is stored in build/srclib/.
1009 Repo Type: and Repo: are specified in the same way as for apps; Subdir: can be
1010 a comma separated list, for when directories are renamed by upstream; Update
1011 Project: updates the projects in the working directory and one level down;
1012 Prepare: can be used for any kind of preparation: in particular if you need to
1013 update the project with a particular target. You can then also use $$name$$ in
1014 the init/prebuild/build command to substitute the relative path to the library
1015 directory, but it could need tweaking if you've changed into another directory.
1016
1017 Currently srclibs are necessary when upstream uses jar files or pulls
1018 dependencies from non-trusted repositories. While there is no guarantee that
1019 those binaries are free and correspondent to the source code, F-Droid allows 
1020 the following known repositories until a source-built alternative is available:
1021
1022 @itemize @bullet
1023
1024 @item
1025 @samp{mavenCentral} - the original repo, hardcoded in Maven and Gradle.
1026
1027 @item
1028 @samp{jCenter} - hardcoded in Gradle, this repo by Bintray tries to provide
1029 easier handling. It should sync with mavenCentral from time to time.
1030
1031 @item
1032 @samp{OSS Sonatype} - maintained by the people behind mavenCentral, this
1033 repository focuses on hosting services for open source project binaries.
1034
1035 @item
1036 @samp{JitPack.io} - builds directly from Github repositories. However,
1037 they do not provide any option to reproduce or verify the resulting
1038 binaries. Builds pre-release versions in some cases.
1039
1040 @item
1041 @samp{Clojars} - Clojure libraries repo.
1042
1043 @item
1044 @samp{CommonsWare} - repo holding a collection of open-source libs.
1045
1046 @end itemize
1047
1048 @item patch=x
1049 Apply patch(es). 'x' names one (or more - comma-seperated) files within a
1050 directory below the metadata, with the same name as the metadata file but
1051 without the extension. Each of these patches is applied to the code in turn.
1052
1053 @item prebuild=xxxx
1054 Specifies a shell command (or commands - chain with &&) to run before the
1055 build takes place. Backslash can be used as an escape character to insert
1056 literal commas, or as the last character on a line to join that line with the
1057 next. It has no special meaning in other contexts; in particular, literal
1058 backslashes should not be escaped.
1059
1060 The command runs using bash.
1061
1062 Note that nothing should be built during this prebuild phase - scanning of the
1063 code and building of the source tarball, for example, take place after this.
1064 For custom actions that actually build things or produce binaries, use 'build'
1065 instead.
1066
1067 You can use $$name$$ to substitute the path to a referenced srclib - see
1068 the @code{srclib} directory for details of this.
1069
1070 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
1071 android SDK and NDK directories, and Maven 3 executable respectively e.g.
1072 for when you need to run @code{android update project} explicitly. The
1073 following per-build variables are available likewise: $$VERSION$$, $$VERCODE$$
1074 and $$COMMIT$$.
1075
1076 @item scanignore=<path1>[,<path2>,...]
1077 Enables one or more files/paths to be excluded from the scan process.
1078 This should only be used where there is a very good reason, and
1079 probably accompanied by a comment explaining why it is necessary.
1080
1081 When scanning the source tree for problems, matching files whose relative
1082 paths start with any of the paths given here are ignored.
1083
1084 @item scandelete=<path1>[,<path2>,...]
1085 When running the scan process, any files that trigger errors - like binaries -
1086 will be removed. It acts just like scanignore=, but instead of ignoring the
1087 files, it removes them.
1088
1089 Useful when a source code repository includes binaries or other unwanted files
1090 which are not needed for the build. Instead of removing them manually via rm=,
1091 using scandelete= is easier.
1092
1093 @item build=xxxx
1094 As for 'prebuild', but runs during the actual build phase (but before the
1095 main Ant/Maven build). Use this only for actions that do actual building.
1096 Any prepartion of the source code should be done using 'init' or 'prebuild'.
1097
1098 Any building that takes place before build= will be ignored, as either Ant,
1099 mvn or gradle will be executed to clean the build environment right before
1100 build= (or the final build) is run.
1101
1102 You can use $$SDK$$, $$NDK$$ and $$MVN3$$ to substitute the paths to the
1103 android SDK and NDK directories, and maven 3 executable respectively. The
1104 following per-build variables are available likewise: $$VERSION$$,
1105 $$VERCODE$$ and $$COMMIT$$.
1106
1107 @item buildjni=[yes|no|<dir list>]
1108 Enables building of native code via the ndk-build script before doing
1109 the main Ant build. The value may be a list of directories relative
1110 to the main application directory in which to run ndk-build, or 'yes'
1111 which corresponds to '.' . Using explicit list may be useful to build
1112 multi-component projects.
1113
1114 The build and scan processes will complain (refuse to build) if this
1115 parameter is not defined, but there is a @code{jni} directory present.
1116 If the native code is being built by other means like a Gradle task, you
1117 can specify @code{no} here to avoid that. However, if the native code is
1118 actually not required or used, remove the directory instead (using
1119 @code{rm=jni} for example). Using @code{buildjni=no} when the jni code
1120 isn't used nor built will result in an error saying that native
1121 libraries were expected in the resulting package.
1122
1123 @item ndk=<version>
1124 Version of the NDK to use in this build. Defaults to the latest NDK release
1125 that included legacy toolchains, so as to not break builds that require
1126 toolchains no longer included in current versions of the NDK.
1127
1128 The buildserver supports r9b with its legacy toolchains and the latest release
1129 as of writing this document, r10e. You may add support for more versions by
1130 adding them to 'ndk_paths' in your config file.
1131
1132 @item gradle=<flavour1>[,<flavour2>,...]
1133 Build with Gradle instead of Ant, specifying what flavours to use. Flavours
1134 are case sensitive since the path to the output apk is as well.
1135
1136 If only one flavour is given and it is 'yes', no flavour will be used.
1137 Note that for projects with flavours, you must specify at least one
1138 valid flavour since 'yes' will build all of them separately.
1139
1140 @item maven=yes[@@<dir>]
1141 Build with Maven instead of Ant. An extra @@<dir> tells F-Droid to run Maven
1142 inside that relative subdirectory. Sometimes it is needed to use @@.. so that
1143 builds happen correctly.
1144
1145 @item preassemble=<task1>[,<task2>,...]
1146 List of Gradle tasks to be run before the assemble task in a Gradle project
1147 build.
1148
1149 @item gradleprops=<prop1>[,<prop2>,...]
1150 List of Gradle properties to pass via the command line to Gradle. A property
1151 can be of the form @code{foo} or of the form @code{key=value}.
1152
1153 For example: @code{gradleprops=enableFoo,someSetting=bar} will result in
1154 @code{gradle -PenableFoo -PsomeSetting=bar}.
1155
1156 @item antcommands=<target1>[,<target2>,...]
1157 Specify an alternate set of Ant commands (target) instead of the default
1158 'release'. It can't be given any flags, such as the path to a build.xml.
1159
1160 @item output=glob/to/output.apk
1161 Specify a glob path where the resulting unsigned release apk from the
1162 build should be. This can be used in combination with build methods like
1163 @code{gradle=yes} or @code{maven=yes}, but if no build method is
1164 specified, the build is manual. You should run your build commands, such
1165 as @code{make}, in @code{build=}.
1166
1167 @item novcheck=yes
1168 Don't check that the version name and code in the resulting apk are
1169 correct by looking at the build output - assume the metadata is
1170 correct. This takes away a useful level of sanity checking, and should
1171 only be used if the values can't be extracted.
1172
1173 @end table
1174
1175 Another example, using extra parameters:
1176
1177 @samp{Build Version:1.09.03,10903,45,subdir=Timeriffic,oldsdkloc=yes}
1178
1179 @node AntiFeatures
1180 @section AntiFeatures
1181
1182 @cindex AntiFeatures
1183
1184 This is optional - if present, it contains a comma-separated list of any of
1185 the following values, describing an anti-feature the application has.
1186 It is a good idea to mention the reasons for the anti-feature(s) in the
1187 description:
1188
1189 @itemize @bullet
1190
1191 @item
1192 @samp{Ads} - the application contains advertising.
1193
1194 @item
1195 @samp{Tracking} - the application tracks and reports your activity to
1196 somewhere without your consent. It's commonly used for when developers
1197 obtain crash logs without the user's consent, or when an app is useless
1198 without some kind of authentication.
1199
1200 @item
1201 @samp{NonFreeNet} - the application relies on computational services that
1202 are impossible to replace or that the replacement cannot be connected to
1203 without major changes to the app.
1204
1205 @item
1206 @samp{NonFreeAdd} - the application promotes non-free add-ons, such that the
1207 app is effectively an advert for other non-free software and such software is
1208 not clearly labelled as such.
1209
1210 @item
1211 @samp{NonFreeDep} - the application depends on a non-free application (e.g.
1212 Google Maps) - i.e. it requires it to be installed on the device, but does not
1213 include it.
1214
1215 @item
1216 @samp{UpstreamNonFree} - the application is or depends on non-free software.
1217 This does not mean that non-free software is included with the app: Most
1218 likely, it has been patched in some way to remove the non-free code. However,
1219 functionality may be missing.
1220
1221 @item
1222 @samp{NonFreeAssets} - the application contains and makes use of non-free
1223 assets. The most common case is apps using artwork - images, sounds, music,
1224 etc - under a non-commercial license.
1225
1226 @end itemize
1227
1228 @node Disabled
1229 @section Disabled
1230
1231 @cindex Disabled
1232
1233 If this field is present, the application does not get put into the public
1234 index. This allows metadata to be retained while an application is temporarily
1235 disabled from being published. The value should be a description of why the
1236 application is disabled. No apks or source code archives are deleted: to purge
1237 an apk see the Build Version section or delete manually for developer builds.
1238 The field is therefore used when an app has outlived it's usefulness, because
1239 the source tarball is retained.
1240
1241 @node Requires Root
1242 @section Requires Root
1243
1244 @cindex Requires Root
1245
1246 Set this optional field to "Yes" if the application requires root
1247 privileges to be usable. This lets the client filter it out if the
1248 user so desires. Whether root is required or not, it is good to give
1249 a paragraph in the description to the conditions on which root may be
1250 asked for and the reason for it.
1251
1252 @node Archive Policy
1253 @section Archive Policy
1254
1255 @cindex Archive Policy
1256
1257 This determines the policy for moving old versions of an app to the archive
1258 repo, if one is configured. The configuration sets a default maximum number
1259 of versions kept in the main repo, after which older ones are moved to the
1260 archive. This app-specific policy setting can override that.
1261
1262 Currently the only supported format is "n versions", where n is the number
1263 of versions to keep.
1264
1265 @node Update Check Mode
1266 @section Update Check Mode
1267
1268 @cindex Update Check Mode
1269
1270 This determines the method using for determining when new releases are
1271 available - in other words, the updating of the Current Version and Current
1272 Version Code fields in the metadata by the @code{fdroid checkupdates} process.
1273
1274 Valid modes are:
1275
1276 @itemize
1277 @item
1278 @code{None} - No checking is done because there's no appropriate automated way
1279 of doing so. Updates should be checked for manually. Use this, for example,
1280 when deploying betas or patched versions; when builds are done in a directory
1281 different to where the AndroidManifest.xml is; if the developers use the
1282 Gradle build system and store version info in a separate file; if the
1283 developers make a new branch for each release and don't make tags; or if you've
1284 changed the package name or version code logic.
1285 @item
1286 @code{Static} - No checking is done - either development has ceased or new versions
1287 are not desired. This method is also used when there is no other checking method
1288 available and the upstream developer keeps us posted on new versions.
1289 @item
1290 @code{RepoManifest} - At the most recent commit, the AndroidManifest.xml file
1291 is looked for in the directory where it was found in the the most recent build.
1292 The appropriateness of this method depends on the development process used by
1293 the application's developers. You should not specify this method unless you're
1294 sure it's appropriate. For example, some developers bump the version when
1295 commencing development instead of when publishing.
1296 It will return an error if the AndroidManifest.xml has moved to a different
1297 directory or if the package name has changed.
1298 The current version that it gives may not be accurate, since not all
1299 versions are fit to be published. Therefore, before building, it is often
1300 necessary to check if the current version has been published somewhere by the
1301 upstream developers, either by checking for apks that they distribute or for
1302 tags in the source code repository.
1303
1304 It currently works for every repository type to different extents, except
1305 the srclib repo type. For git, git-svn and hg repo types, you may use
1306 "RepoManifest/yourbranch" as UCM so that "yourbranch" would be the branch used
1307 in place of the default one.  The default values are "master" for git,
1308 "default" for hg and none for git-svn (it stays in the same branch).
1309 On the other hand, branch support hasn't been implemented yet in bzr and svn,
1310 but RepoManifest may still be used without it.
1311 @item
1312 @code{RepoTrunk} - For svn and git-svn repositories, especially those who
1313 don't have a bundled AndroidManifest.xml file, the Tags and RepoManifest
1314 checks will not work, since there is no version information to obtain. But,
1315 for those apps who automate their build process with the commit ref that HEAD
1316 points to, RepoTrunk will set the Current Version and Current Version Code to
1317 that number.
1318 @item
1319 @code{Tags} - The AndroidManifest.xml file in all tagged revisions in the
1320 source repository is checked, looking for the highest version code. The
1321 appropriateness of this method depends on the development process used by the
1322 application's developers. You should not specify this method unless you're sure
1323 it's appropriate. It shouldn't be used if the developers like to tag betas or
1324 are known to forget to tag releases. Like RepoManifest, it will not return the
1325 correct value if the directory containing the AndroidManifest.xml has moved.
1326 Despite these caveats, it is the often the favourite update check mode.
1327
1328 It currently only works for git, hg, bzr and git-svn repositories. In the case
1329 of the latter, the repo URL must contain the path to the trunk and tags or
1330 else no tags will be found.
1331
1332 Optionally append a regex pattern at the end - separated with a space - to
1333 only check the tags matching said pattern. Useful when apps tag non-release
1334 versions such as X.X-alpha, so you can filter them out with something like
1335 @code{.*[0-9]$} which requires tag names to end with a digit.
1336 @item
1337 @code{HTTP} - HTTP requests are used to determine the current version code and
1338 version name. This is controlled by the @code{Update Check Data} field, which
1339 is of the form @code{urlcode|excode|urlver|exver}.
1340
1341 Firstly, if @code{urlcode} is non-empty, the document from that URL is
1342 retrieved, and matched against the regular expression @code{excode}, with the
1343 first group becoming the version code.
1344
1345 Secondly, if @code{urlver} is non-empty, the document from that URL is
1346 retrieved, and matched against the regular expression @code{exver}, with the
1347 first group becoming the version name. The @code{urlver} field can be set to
1348 simply '.' which says to use the same document returned for the version code
1349 again, rather than retrieving a different one.
1350 @end itemize
1351
1352 @node Vercode Operation
1353 @section Vercode Operation
1354
1355 @cindex Vercode Operation
1356
1357 Operation to be applied to the vercode obtained by the defined @code{Update
1358 Check Mode}. @code{%c} will be replaced by the actual vercode, and the whole
1359 string will be passed to python's @code{eval} function.
1360
1361 Especially useful with apps that we want to compile for different ABIs, but
1362 whose vercodes don't always have trailing zeros. For example, with
1363 @code{Vercode Operation} set at something like @code{%c*10 + 4}, we will be
1364 able to track updates and build up to four different versions of every
1365 upstream version.
1366
1367 @node Update Check Ignore
1368 @section Update Check Ignore
1369
1370 @cindex Update Check Ignore
1371
1372 When checking for updates (via @code{Update Check Mode}) this can be used to
1373 specify a regex which, if matched against the version name, causes that version
1374 to be ignored. For example, 'beta' could be specified to ignore version names
1375 that include that text.
1376
1377 @node Update Check Name
1378 @section Update Check Name
1379
1380 @cindex Update Check Name
1381
1382 When checking for updates (via @code{Update Check Mode}) this can be used to
1383 specify the package name to search for. Useful when apps have a static package
1384 name but change it programmatically in some app flavors, by e.g. appending
1385 ".open" or ".free" at the end of the package name.
1386
1387 You can also use @code{Ignore} to ignore package name searching. This should
1388 only be used in some specific cases, for example if the app's build.gradle
1389 file does not contain the package name.
1390
1391 @node Update Check Data
1392 @section Update Check Data
1393
1394 @cindex Update Check Data
1395
1396 Used in conjunction with @code{Update Check Mode} for certain modes.
1397
1398 @node Auto Update Mode
1399 @section Auto Update Mode
1400
1401 @cindex Auto Update Mode
1402
1403 This determines the method using for auto-generating new builds when new
1404 releases are available - in other words, adding a new Build Version line to the
1405 metadata.
1406 This happens in conjunction with the 'Update Check Mode' functionality - i.e.
1407 when an update is detected by that, it is also processed by this.
1408
1409 Valid modes are:
1410
1411 @itemize
1412 @item
1413 @code{None} - No auto-updating is done
1414 @item
1415 @code{Version} - Identifies the target commit (i.e. tag) for the new build based
1416 on the given version specification, which is simply text in which %v and %c are
1417 replaced with the required version name and version code respectively.
1418
1419 For example, if an app always has a tag "2.7.2" corresponding to version 2.7.2,
1420 you would simply specify "Version %v". If an app always has a tag "ver_1234"
1421 for a version with version code 1234, you would specify "Version ver_%c".
1422
1423 Additionally, a suffix can be added to the version name at this stage, to
1424 differentiate F-Droid's build from the original. Continuing the first example
1425 above, you would specify that as "Version +-fdroid %v" - "-fdroid" is the suffix.
1426 @end itemize
1427
1428
1429 @node Current Version
1430 @section Current Version
1431
1432 @cindex Current Version
1433
1434 The name of the version that is current. There may be newer versions of the
1435 application than this (e.g. betas), and there will almost certainly be older
1436 ones. This should be the one that is recommended for general use.
1437 In the event that there is no source code for the current version, or that
1438 non-free libraries are being used, this would ideally be the latest
1439 version that is still free, though it may still be expedient to
1440 retain the automatic update check â€” see No Source Since.
1441
1442 This field is normally automatically updated - see Update Check Mode.
1443
1444 This is converted to (@code{<marketversion>}) in the public index file.
1445
1446 @node Current Version Code
1447 @section Current Version Code
1448
1449 @cindex Current Version Code
1450
1451 The version code corresponding to the Current Version field. Both these fields
1452 must be correct and matching although it's the current version code that's
1453 used by Android to determine version order and by F-Droid client to determine
1454 which version should be recommended.
1455
1456 This field is normally automatically updated - see Update Check Mode.
1457
1458 If not set or set to @code{0}, clients will recommend the highest version they
1459 can, as if the @code{Current Version Code} was infinite.
1460
1461 This is converted to (@code{<marketvercode>}) in the public index file.
1462
1463 @node No Source Since
1464 @section No Source Since
1465
1466 @cindex No Source Since
1467
1468 In case we are missing the source code for the Current Version reported by
1469 Upstream, or that non-free elements have been introduced, this defines the
1470 first version that began to miss source code.
1471 Apps that are missing source code for just one or a few versions, but provide
1472 source code for newer ones are not to be considered here - this field is
1473 intended to illustrate which apps do not currently distribute source code, and
1474 since when have they been doing so.
1475
1476 @node Update Processing
1477 @chapter Update Processing
1478
1479 @section Detecting
1480
1481 There are various mechanisms in place for automatically detecting that updates
1482 are available for applications, with the @code{Update Check Mode} field in the
1483 metadata determining which method is used for a particular application.
1484
1485 Running the @code{fdroid checkupdates} command will apply this method to each
1486 application in the repository and update the @code{Current Version} and
1487 @code{Current Version Code} fields in the metadata accordingly.
1488
1489 As usual, the @code{-p} option can be used with this, to restrict processing
1490 to a particular application.
1491
1492 Note that this only updates the metadata such that we know what the current
1493 published/recommended version is. It doesn't make that version available in
1494 the repository - for that, see the next section.
1495
1496 @section Adding
1497
1498 Adding updates (i.e. new versions of applications already included in the
1499 repository) happens in two ways. The simple case is applications where the
1500 APK files are binaries, retrieved from a developer's published build. In this
1501 case, all that's required is to place the new binary in the @code{Repo}
1502 directory, and the next run of @code{fdroid update} will pick it up.
1503
1504 For applications built from source, it is necessary to add a new
1505 @code{Build Version} line to the metadata file. At the very least, the version
1506 name, version code and commit will be different. It is also possible that the
1507 additional build flags will change between versions.
1508
1509 For processing multiple updates in the metadata at once, it can be useful to
1510 run @code{fdroid update --interactive}. This will check all the applications
1511 in the repository, and where updates are required you will be prompted to
1512 [E]dit the metadata, [I]gnore the update, or [Q]uit altogether.
1513
1514 @node Build Server
1515 @chapter Build Server
1516
1517 The Build Server system isolates the builds for each package within a clean,
1518 isolated and secure throwaway virtual machine environment.
1519
1520 @section Overview
1521
1522 Building applications in this manner on a large scale, especially with the
1523 involvement of automated and/or unattended processes, could be considered
1524 a dangerous pastime from a security perspective. This is even more the case
1525 when the products of the build are also distributed widely and in a
1526 semi-automated ("you have updates available") fashion.
1527
1528 Assume that an upstream source repository is compromised. A small selection
1529 of things that an attacker could do in such a situation:
1530
1531 @enumerate
1532 @item
1533 Use custom Ant build steps to execute virtually anything as the user doing
1534 the build.
1535 @item
1536 Access the keystore.
1537 @item
1538 Modify the built apk files or source tarballs for other applications in the
1539 repository.
1540 @item
1541 Modify the metadata (which includes build scripts, which again, also includes
1542 the ability to execute anything) for other applications in the repository.
1543 @end enumerate
1544
1545 Through complete isolation, the repurcussions are at least limited to the
1546 application in question. Not only is the build environment fresh for each
1547 build, and thrown away afterwards, but it is also isolated from the signing
1548 environment.
1549
1550 Aside from security issues, there are some applications which have strange
1551 requirements such as custom versions of the NDK. It would be impractical (or
1552 at least extremely messy) to start modifying and restoring the SDK on a
1553 multi-purpose system, but within the confines of a throwaway single-use
1554 virtual machine, anything is possible.
1555
1556 All this is in addition to the obvious advantage of having a standardised
1557 and completely reproducible environment in which builds are made. Additionally,
1558 it allows for specialised custom build environments for particular
1559 applications.
1560
1561 @section Setting up a build server
1562
1563 In addition to the basic setup previously described, you will also need
1564 a Vagrant-compatible Debian Testing base box called 'jessie32' (or jessie64
1565 for a 64-bit VM, if you want it to be much slower, and require more disk
1566 space).
1567
1568 You can use a different version or distro for the base box, so long as you
1569 don't expect any help making it work. One thing to be aware of is that
1570 working copies of source trees are moved from the host to the guest, so
1571 for example, having subversion v1.6 on the host and v1.7 on the guest
1572 would fail.
1573
1574 @subsection Creating the Debian base box
1575
1576 The output of this step is a minimal Debian VM that has support for remote
1577 login and provisioning.
1578
1579 Unless you're very trusting, you should create one of these for yourself
1580 from verified standard Debian installation media.  However, by popular
1581 demand, the @code{makebuildserver} script will automatically download a
1582 prebuilt image unless instructed otherwise.  If you choose to use the
1583 prebuilt image, you may safely skip the rest of this section.
1584
1585 Documentation for creating a base box can be found at
1586 @url{http://docs.vagrantup.com/v1/docs/base_boxes.html}.
1587
1588 In addition to carefully following the steps described there, you should
1589 consider the following:
1590
1591 @enumerate
1592 @item
1593 It is advisable to disable udev network device persistence, otherwise any
1594 movement of the VM between machines, or reconfiguration, will result in
1595 broken networking.
1596
1597 For a Debian/Ubuntu default install, just
1598 @code{touch /etc/udev/rules.d/75-persistent-net-generator.rules} to turn
1599 off rule generation, and at the same time, get rid of any rules it's
1600 already created in @code{/etc/udev/rules.d/70-persistent-net.rules}.
1601 @item
1602 Unless you want the VM to become totally inaccessible following a failed
1603 boot, you need to set @code{GRUB_RECORDFAIL_TIMEOUT} to a value other than
1604 -1 in @code{/etc/grub/default} and then run @code{update-grub}.
1605 @end enumerate
1606
1607 @subsection Creating the F-Droid base box
1608
1609 The next step in the process is to create @code{makebs.config.py},
1610 using @code{./examples/makebs.config.py} as a reference - look at the settings and
1611 documentation there to decide if any need changing to suit your environment.
1612 There is a path for retrieving the base box if it doesn't exist, and an apt
1613 proxy definition, both of which may need customising for your environment.
1614 You can then go to the @code{fdroidserver} directory and run this:
1615
1616 @example
1617 ./makebuildserver
1618 @end example
1619
1620 This will take a long time, and use a lot of bandwidth - most of it spent
1621 installing the necessary parts of the Android SDK for all the various
1622 platforms. Luckily you only need to do it occasionally. Once you have a
1623 working build server image, if the recipes change (e.g. when packages need
1624 to be added) you can just run that script again and the existing one will
1625 be updated in place.
1626
1627 The main sdk/ndk downloads will automatically be cached to speed things
1628 up the next time, but there's no easy way of doing this for the longer
1629 sections which use the SDK's @code{android} tool to install platforms,
1630 add-ons and tools. However, instead of allowing automatic caching, you
1631 can supply a pre-populated cache directory which includes not only these
1632 downloads, but also .tar.gz files for all the relevant additions. If the
1633 provisioning scripts detect these, they will be used in preference to
1634 running the android tools. For example, if you have
1635 @code{buildserver/addons/cache/platforms/android-19.tar.gz} that will be
1636 used when installing the android-19 platform, instead of re-downloading it
1637 using @code{android update sdk --no-ui -t android-19}. It is possible to
1638 create the cache files of this additions from a local installation of the
1639 SDK including these:
1640
1641 @example
1642 cd /path/to/android-sdk/platforms
1643 tar czf android-19.tar.gz android-19
1644 mv android-19.tar.gz /path/to/buildserver/addons/cache/platforms/
1645 @end example
1646
1647 If you have already built a buildserver it is also possible to get this
1648 files directly from the buildserver:
1649
1650 @example
1651 vagrant ssh -- -C 'tar -C ~/android-sdk/platforms czf android-19.tar.gz android-19'
1652 vagrant ssh -- -C 'cat ~/android-sdk/platforms/android-19.tar.gz' > /path/to/fdroidserver/buildserver/cache/platforms/android19.tar.gz
1653 @end example
1654
1655 Once it's complete you'll have a new base box called 'buildserver' which is
1656 what's used for the actual builds. You can then build packages as normal,
1657 but with the addition of the @code{--server} flag to @code{fdroid build} to
1658 instruct it to do all the hard work within the virtual machine.
1659
1660 The first time a build is done, a new virtual machine is created using the
1661 'buildserver' box as a base. A snapshot of this clean machine state is saved
1662 for use in future builds, to improve performance. You can force discarding
1663 of this snapshot and rebuilding from scratch using the @code{--resetserver}
1664 switch with @code{fdroid build}.
1665
1666 @node Signing
1667 @chapter Signing
1668
1669 There are two kinds of signing involved in running a repository - the signing
1670 of the APK files generated from source builds, and the signing of the repo
1671 index itself. The latter is optional, but very strongly recommended.
1672
1673 @section Repo Index Signing
1674
1675 When setting up the repository, one of the first steps should be to generate
1676 a signing key for the repository index. This will also create a keystore, which
1677 is a file that can be used to hold this and all other keys used. Consider the
1678 location, security and backup status of this file carefully, then create it as
1679 follows:
1680
1681 @code{keytool -genkey -v -keystore my.keystore -alias repokey -keyalg RSA -keysize 2048 -validity 10000}
1682
1683 In the above, replace 'my.keystore' with the name of the keystore file to be
1684 created, and 'repokey' with a name to identify the repo index key by.
1685
1686 You'll be asked for a password for the keystore, AND a password for the key.
1687 They shouldn't be the same. In between, you'll be asked for some identifying
1688 details which will go in the certificate.
1689
1690 The two passwords entered go into @code{config.py}, as @code{keystorepass} and
1691 @code{keypass} respectively. The path to the keystore file, and the alias you
1692 chose for the key also go into that file, as @code{keystore} and
1693 @code{repo_keyalias} respectively.
1694
1695 @section Package Signing
1696
1697 With the repo index signing configured, all that remains to be done for package
1698 signing to work is to set the @code{keydname} field in @code{config.py} to
1699 contain the same identifying details you entered before.
1700
1701 A new key will be generated using these details, for each application that is
1702 built. (If a specific key is required for a particular application, this system
1703 can be overridden using the @code{keyaliases} config settings.
1704
1705
1706 @node GNU Free Documentation License
1707 @appendix GNU Free Documentation License
1708
1709 @include fdl.texi
1710
1711 @node Index
1712 @unnumbered Index
1713
1714 @printindex cp
1715
1716 @bye