chiark / gitweb /
95923d38ffac03ac8114cf980c0a5367ded2a5a0
[dgit.git] / dgit.1
1 .TH dgit 1 "" "Debian Project" "dgit"
2 .SH NAME
3 dgit \- git integration with the Debian archive
4 .
5 .SH SYNOPSIS
6 .B dgit
7 [\fIdgit\-opts\fP] \fBclone\fP [\fIdgit\-opts\fP]
8 \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
9 .br
10 .B dgit
11 [\fIdgit\-opts\fP] \fBfetch\fP|\fBpull\fP [\fIdgit\-opts\fP]
12 [\fIsuite\fP]
13 .br
14 .B dgit
15 [\fIdgit\-opts\fP] \fBbuild\fP|\fBsbuild\fP|\fBbuild-source\fP
16 [\fIbuild\-opts\fp]
17 .br
18 .B dgit
19 [\fIdgit\-opts\fP] \fBpush\fP [\fIdgit\-opts\fP]
20 [\fIsuite\fP]
21 .br
22 .B dgit
23 [\fIdgit\-opts\fP] \fIaction\fR ...
24 .SH DESCRIPTION
25 .B dgit
26 treats the Debian archive as a version control system, and
27 bidirectionally gateways between the archive and git.  The git view of
28 the package can contain the usual upstream git history, and will be
29 augmented by commits representing uploads done by other developers not
30 using dgit.  This git history is stored in a canonical location known
31 as
32 .B dgit-repos
33 which lives outside the Debian archive (currently, on Alioth).
34
35 The usual workflow is: 1. clone or fetch; 2. make and commit changes
36 in git as desired; 3. run dgit build, dgit sbuild or dgit
37 build-source, or generate the source and binary packages for upload
38 some other way; 4. do pre-upload tests of the proposed upload; 5. run
39 dgit push.
40 .TP
41 \fBdgit clone\fR \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
42 Consults the archive and dgit-repos to construct the git view of
43 history for
44 .I package
45 in
46 .I suite
47 .RB ( sid
48 by default)
49 in a new directory (named
50 .BI ./ package
51 by default);
52 also, downloads any necessary orig tarballs.
53
54 The suite's git tip is
55 left on the local branch
56 .BI dgit/ suite
57 ready for work, and on the corresponding dgit remote tracking branch.
58 Also, the
59 .B origin
60 remote will be set up to point to the package's dgit-repos tree
61 for the distro to which
62 .I suite
63 belongs.
64 .TP
65 \fBdgit fetch\fR [\fIsuite\fP]
66 Consults the archive and git-repos to update the git view of
67 history for a specific suite (and downloads any necessary orig
68 tarballs), and updates the remote tracking branch
69 .BR remotes/dgit/dgit/ \fIsuite\fR.
70 If the current branch is
71 .BI dgit/ suite
72 then dgit fetch defaults to
73 .IR suite ;
74 otherwise it parses debian/changelog and uses the suite specified
75 there.
76 .TP
77 \fBdgit pull\fR [\fIsuite\fP]
78 Does dgit fetch, and then merges the new head of the remote tracking
79 branch
80 .BI remotes/dgit/dgit/ suite
81 into the current branch.
82 .TP
83 \fBdgit build\fR ...
84 Runs
85 .B dpkg-buildpackage
86 with some suitable options.  Options and argumments after build
87 will be passed on to dpkg-buildpackage.  It is not necessary to use
88 dgit build when using dgit; it is OK to use any approach which ensures
89 that the generated source package corresponds to the relevant git
90 commit.
91
92 Tagging, signing and actually uploading should be left to dgit push.
93 .TP
94 \fBdgit build-source\fR ...
95 Builds the source package, and a changes file for a prospective
96 source-only upload, using
97 .BR dpkg-source .
98 The output is left in
99 .IR package \fB_\fR version \fB.dsc\fR
100 and
101 .IR package \fB_\fR version \fB_source.changes\fR.
102
103 Tagging, signing and actually uploading should be left to dgit push.
104 .TP
105 .B dgit help
106 Print a usage summary.
107 .TP
108 \fBdgit sbuild\fR ...
109 Constructs the source package, uses
110 .B  sbuild
111 to do a binary build, and uses mergechanges to merge the source and
112 binary changes files.  Options and argumments after sbuild will be
113 passed on to sbuild.  Changes files matching
114 .IB package _ version _*.changes
115 in the parent directory will be removed; the output is left in
116 .IR package \fB_\fR version \fB_multi.changes\fR.
117
118 Tagging, signing and actually uploading should be left to dgit push.
119 .TP
120 \fBdgit git-build\fR ...
121 Runs
122 .B git-buildpackage
123 with some suitable options.  Options and argumments after git-build
124 will be passed on to git-buildpackage.
125
126 Tagging, signing and actually uploading should be left to dgit push.
127 .TP
128 .B dgit push
129 Does an `upload', pushing the current HEAD to the archive (as a source
130 package) and to dgit-repos (as git commits).  The package must already
131 have been built ready for upload, with the .dsc and .changes
132 left in the parent directory.
133
134 In more detail: dgit push checks that the current HEAD corresponds to
135 the .dsc.  It then pushes the HEAD to the suite's dgit-repos branch,
136 makes a signed git tag, edits the .dsc to contain the dgit metadata
137 field, runs debsign to sign the upload (.dsc and .changes), pushes the
138 signed tag, and finally uses dput to upload the .changes to the
139 archive.
140
141 dgit push always uses the package, suite and version specified in the
142 debian/changelog and the .dsc, which must agree.
143
144 If dgit push fails while uploading, it is fine to simply retry the
145 dput on the .changes file at your leisure.
146 .TP
147 .B dgit quilt-fixup
148 Looks to see if the tree is one which dpkg-source cannot properly
149 represent.  If it isn't, dgit will fix it up for you (in quilt terms,
150 by making a new debian/ patch containing your unquilty changes) and
151 make a commit of the changes it has made.
152
153 This is normally done automatically by dgit build and dgit push.
154 .SH OPTIONS
155 .TP
156 .BR --dry-run | -n
157 Go through the motions, fetching all information needed, but do not
158 actually update the output(s).  For push, dgit does
159 the required checks and leaves the new .dsc in a temporary file,
160 but does not sign, tag, push or upload.
161 .TP
162 .BI -k keyid
163 Use
164 .I keyid
165 for signing the tag and the upload.
166 .TP
167 .BR --no-sign
168 does not sign tags or uploads (meaningful only with push).
169 .TP
170 .TP
171 .BI -p package
172 Specifies that we should process source package
173 .I package
174 rather than looking in debian/control or debian/changelog.
175 Valid with dgit fetch and dgit pull, only.
176 .TP
177 .BR --clean=git | -wg
178 The source tree should be cleaned, before building a source package
179 with one of the build options, using
180 .BR "git clean -xdf" .
181 This will delete all files which are not tracked by git.
182 .TP
183 .BR --clean=none | -wn
184 Do not clean the tree before building a source package.  If there are
185 files which are not in git, a subsequent dgit push will fail.
186 .TP
187 .BR --clean=dpkg-source | -wd
188 Use dpkg-buildpackage to do the build, so that the source package
189 is cleaned by dpkg-source running the package's clean target.
190 This is the default.  It requires the package's build dependencies.
191 .TP
192 .BR -N | --new
193 The package may be new in this suite.  Without this, dgit will
194 refuse to push.
195 .TP
196 .BR --ignore-dirty
197 Do not complain if the working tree does not match your git HEAD.
198 This can be useful with build, if you plan to commit later.  (dgit
199 push will still ensure that the .dsc you upload and the git tree
200 you push are identical, so this option won't make broken pushes.)
201
202 This option may not work properly on `3.0 (quilt)' packages, as in
203 that case dgit needs to use and perhaps commit parts of your working
204 tree.
205 .TP
206 .BR --no-quilt-fixup
207 Do not fix up source format `3.0 (quilt)' metadata.  If you use this
208 option and the package did in fact need fixing up, dgit push will
209 fail.
210 .TP
211 .BI -D
212 Prints debugging information to stderr.  Repeating the option produces
213 more output (currently, up to -DD is meaningfully different).
214 .TP
215 .BI -c name = value
216 Specifies a git configuration option.  dgit itself is also controlled
217 by git configuration options.
218 .TP
219 .RI \fB-v\fR version |\fB-m\fR maintaineraddress
220 Passed to dpkg-genchanges (eventually).
221 .TP
222 .RI \fB--ch:\fR option
223 Specifies a single additional option to pass, eventually, to
224 dpkg-genchanges.
225 .TP
226 .RI \fB--dget=\fR program |\fB--dput=\fR program |...
227 Specifies alternative programs to use instead of
228 .BR dget ,
229 .BR dput ,
230 .BR debsign ,
231 .BR dpkg-source ,
232 .BR dpkg-buildpackage ,
233 .BR dpkg-genchanges ,
234 .BR sbuild ,
235 or
236 .BR mergechanges .
237 This applies only when the program is invoked directly by dgit.
238 .TP
239 .RI \fB--dget:\fR option |\fB--dput:\fR option |...
240 Specifies a single additional option to pass to
241 .BR dget ,
242 .BR dput ,
243 .BR debsign ,
244 .BR dpkg-source ,
245 .BR dpkg-buildpackage ,
246 .BR dpkg-genchanges ,
247 .BR sbuild ,
248 or
249 .BR mergechanges .
250 Can be repeated as necessary.
251 This applies only when the program is invoked directly by dgit.
252 Usually, for passing options to dpkg-genchanges, use
253 .BR --ch: \fIoption\fR.
254 .TP
255 .BR -d "\fIdistro\fR | " --distro= \fIdistro\fR
256 Specifies that the suite to be operated on is part of distro
257 .IR distro .
258 This overrides the default value found from the git config option
259 .BR dgit-suite. \fIsuite\fR .distro .
260 The only effect is that other configuration variables (used
261 for accessing the archive and dgit-repos) used are
262 .BR dgit-distro. \fIdistro\fR .* .
263
264 If your suite is part of a distro that dgit already knows about, you
265 can use this option to make dgit work even if your dgit doesn't know
266 about the suite.  For example, specifying
267 .B -ddebian
268 will work when the suite is an unknown suite in the Debian archive.
269
270 To define a new distro it is necessary to define methods and URLs
271 for fetching (and, for dgit push, altering) a variety of information both
272 in the archive and in dgit-repos.  How to do this is not yet
273 documented, and currently the arrangements are unpleasant.  See
274 BUGS.
275 .TP
276 .BI -C changesfile
277 Specifies the .changes file which is to be uploaded.  By default
278 dgit push looks for single .changes file in the parent directory whose
279 filename suggests it is for the right package and version - or,
280 if there is a _multi.changes file, dgit uses that.
281 .TP
282 .BI --existing-package= package
283 dgit push needs to canonicalise the suite name.  But currently
284 there is no way to ask the archive to do this without knowing the
285 name of an existing package.  Without --new we can just use the
286 package we are trying to push.  But with --new that will not work, so
287 we guess
288 .B dpkg
289 or use the value of this option.
290 .TP
291 .BR -h | --help
292 Print a usage summary.
293 .SH WORKFLOW - SIMPLE
294 It is always possible with dgit to clone or fetch a package, make
295 changes in git (using git-commit) on the suite branch
296 .RB ( "git checkout dgit/" \fIsuite\fR)
297 and then dgit push.  You can use whatever gitish techniques you like
298 to construct the commit to push; the only requirement is that it is a
299 descendant of the state of the archive, as provided by dgit in the
300 remote tracking branch
301 .BR remotes/dgit/dgit/ \fIsuite\fR.
302
303 If you are lucky the other uploaders have also used dgit and
304 integrated the other relevant git history; if not you can fetch it
305 into your tree and cherry-pick etc. as you wish.
306 .SH WORKFLOW - INTEGRATING BETWEEN DGIT AND OTHER GIT HISTORY
307 If you are the maintainer of a package dealing with uploads made
308 without dgit, you will probably want to merge the synthetic commits
309 (made by dgit to represent the uploads) into your git history.
310 Normally you can just merge the dgit branch into your own master, or
311 indeed if you do your work on the dgit local suite branch
312 .BI dgit/ suite
313 you can just use dgit pull.
314
315 However the first time dgit is used it will generate a new origin
316 commit from the archive which won't be linked into the rest of your
317 git history.  You will need to merge this.
318
319 If last upload was in fact made with git, you should usually proceed
320 as follows: identify the commit which was actually used to build the
321 package.  (Hopefully you have a tag for this.)  Check out the dgit
322 branch
323 .RB ( "git checkout dgit/" \fIsuite\fR)
324 and merge that other commit
325 .RB ( "git merge debian/" \fIversion\fR).
326 Hopefully this merge will be trivial because the two trees should
327 be the same.  The resulting branch head can be merged into your
328 working branches
329 .RB ( "git checkout master && git merge dgit/" \fIsuite\fR).
330
331 If last upload was not made with git, a different approach is required
332 to start using dgit.  First, do
333 .B dgit fetch
334 (or clone) to obtain a git history representation of what's in the
335 archive and record it in the
336 .BI remotes/dgit/dgit/ suite
337 tracking branch.  Then somehow, using your other git history
338 plus appropriate diffs and cherry picks from the dgit remote tracking
339 branch, construct a git commit whose tree corresponds to the tree to use for the
340 next upload.  If that commit-to-be-uploaded is not a descendant of the
341 dig remote tracking branch, check it out and say
342 .BR "git merge -s ours remotes/dgit/dgit/" \fIsuite\fR;
343 that tells git that we are deliberately throwing away any differences
344 between what's in the archive and what you intend to upload.
345 Then run
346 .BR "dgit push"
347 to actually upload the result.
348 .SH MODEL
349 You may use any suitable git workflow with dgit, provided you
350 satisfy dgit's requirements:
351
352 dgit maintains a pseudo-remote called
353 .BR dgit ,
354 with one branch per suite.  This remote cannot be used with
355 plain git.
356
357 The
358 .B dgit-repos
359 repository for each package contains one ref per suite named
360 \fBrefs/dgit/\fR\fIsuite\fR.  These should be pushed to only by
361 dgit.  They are fast forwarding.  Each push on this branch
362 corresponds to an upload (or attempted upload).
363
364 However, it is perfectly fine to have other branches in dgit-repos;
365 normally the dgit-repos repo for the package will be accessible via
366 the remote name `origin'.
367
368 dgit push will also (by default) make signed tags called
369 .BI debian/ version
370 and push them to dgit-repos, but nothing depends on these tags
371 existing.
372
373 dgit push can operate on any commit which is a descendant of the
374 current dgit/suite tip in dgit-repos.
375
376 Uploads made by dgit contain an additional field
377 .B Dgit
378 in the source package .dsc.  (This is added by dgit push.)
379 This specifies a commit (an ancestor of the dgit/suite
380 branch) whose tree is identical to the unpacked source upload.
381
382 Uploads not made by dgit are represented in git by commits which are
383 synthesised by dgit.  The tree of each such commit corresponds to the
384 unpacked source; there is an origin commit with the contents, and a
385 psuedo-merge from last known upload - that is, from the contents of
386 the dgit/suite branch.
387
388 dgit expects repos that it works with to have a
389 .B dgit
390 remote.  This refers to the well-known dgit-repos location
391 (currently, the dgit-repos project on Alioth).  dgit fetch updates
392 the remote tracking branch for dgit/suite.
393
394 dgit does not (currently) represent the orig tarball(s) in git; nor
395 does it represent the patch statck of a `3.0 (quilt)' package.  The
396 orig tarballs are downloaded and kept in the parent directory, as with
397 a traditional (non-gitish) dpkg-source workflow.
398
399 To a user looking at the archive, changes pushed using dgit look like
400 changes made in an NMU: in a `3.0 (quilt)' package the delta from the
401 previous upload is recorded in a new patch constructed by dpkg-source.
402 .SH PACKAGE SOURCE FORMATS
403 If you are not the maintainer, you do not need to worry about the
404 source format of the package.  You can just make changes as you like
405 in git.  If the package is a `3.0 (quilt)' package, the patch stack
406 will usually not be represented in the git history.
407
408 If you are the maintainer of a non-native package, you currently have
409 two sensible options:
410
411 Firstly, you can regard your git history as primary, and the archive
412 as an export format.  For example, you could maintain topic branches
413 in git and a fast-forwarding release branch; or you could do your work
414 directly in a merging way on the
415 .BI dgit/ suite
416 branches.  If you do this you should probably use a `1.0' format
417 source package if you can.  In the archive, the delta between upstream
418 will be represented in the single Debian patch.
419
420 Secondly, you can use `3.0 (quilt)', and regard your quiltish patch
421 stack in the archive as primary.  You will have to use other tools
422 besides dgit to import and export this patch stack.  But see below:
423 .SH FORMAT 3.0 (QUILT)
424 For a format `3.0 (quilt)' source package, dgit may have to make a
425 commit on your current branch to contain metadata used by quilt and
426 dpkg-source.
427
428 This is because (i) the `3.0 (quilt)' source format cannot represent
429 certain trees, and (ii) packing up a tree in `3.0 (quilt)' and then
430 unpacking it does not always yield the same tree.  Instead,
431 dpkg-source insists on the trees having extra quilty metadata and
432 patch files in the debian/ and .pc/ directories, which dpkg-source
433 sometimes modifies.
434
435 dgit will automatically work around this braindamage for you when
436 building and pushing.  The only thing you need to know is that dgit
437 build, sbuild, etc., may make a new commit on your HEAD.  If you're
438 not a quilt user this commit won't contain any changes to files you
439 care about.
440
441 You can explicitly request that dgit do just this fixup, by running
442 dgit quilt-fixup.
443
444 We recommend against the use of `3.0 (quilt)'.
445 .SH FILES IN THE SOURCE PACKAGE BUT NOT IN GIT
446 This section is mainly of interest to maintainers who want to use dgit
447 with their existing git history for the Debian package.
448
449 Some developers like to have an extra-clean git tree which lacks files
450 which are normally found in source tarballs and therefore in Debian
451 source packages.  For example, it is conventional to ship ./configure
452 in the source tarball, but some people prefer not to have it present
453 in the git view of their project.
454
455 dgit requires that the source package unpacks to exactly the same
456 files as are in the git commit on which dgit push operates.  So if you
457 just try to dgit push directly from one of these extra-clean git
458 branches, it will fail.
459
460 As the maintainer you therefore have the following options:
461 .TP
462 \(bu
463 Persuade upstream that the source code in their git history and the
464 source they ship as tarballs should be identical.  Of course simply
465 removing the files from the tarball may make the tarball hard for
466 people to use.
467 .IP
468 One answer is to commit the (maybe autogenerated)
469 files, perhaps with some simple automation to deal with conflicts and
470 spurious changes.  This has the advantage that someone who clones
471 the git repository finds the program just as easy to build as someone
472 who uses the tarball.
473 .TP
474 \(bu
475 Have separate git branches which do contain the extra files, and after
476 regenerating the extra files (whenever you would have to anyway),
477 commit the result onto those branches.
478 .TP
479 \(bu
480 Provide source packages which lack the files you don't want
481 in git, and arrange for your package build to create them as needed.
482 This may mean not using upstream source tarballs and makes the Debian
483 source package less useful for people without Debian build
484 infrastructure.
485 .LP
486 Of course it may also be that the differences are due to build system
487 bugs, which cause unintended files to end up in the source package.
488 dgit will notice this and complain.  You may have to fix these bugs
489 before you can unify your existing git history with dgit's.
490 .SH CONFIGURATION
491 dgit looks at the following git config keys to control its behaviour.
492 You may set them with git-config (either in system-global or per-tree
493 configuration), or provide
494 .BI -c key = value
495 on the dgit command line.
496 .TP
497 .BI dgit-suite. suite .distro
498 .TP
499 .BI dgit.default.distro
500 .TP
501 .BI dgit-distro. distro .username
502 .TP
503 .BI dgit-distro. distro .git-url
504 .TP
505 .BI dgit-distro. distro .git-user
506 .TP
507 .BI dgit-distro. distro .git-host
508 .TP
509 .BI dgit-distro. distro .git-proto
510 .TP
511 .BI dgit-distro. distro .git-path
512 .TP
513 .BI dgit-distro. distro .git-check
514 .TP
515 .BI dgit-distro. distro .git-create
516 .TP
517 .BI dgit-distro. distro .upload-host
518 .TP
519 .BI dgit-distro. distro .mirror
520 .TP
521 .BI dgit-distro. distro .archive-query
522 .TP
523 .BI dgit-distro. distro .archive-query-default-component
524 .TP
525 .BI dgit-distro. distro .sshdakls-user
526 .TP
527 .BI dgit-distro. distro .sshdakls-host
528 .TP
529 .BI dgit-distro. distro .sshdakls-dir
530 .TP
531 .BI dgit-distro. distro .ssh
532 .TP
533 .BI dgit-distro. distro .keyid
534 .TP
535 .BR dgit.default. *
536 for each
537 .BR dgit-distro. \fIdistro\fR . *
538 .SH BUGS
539 We should be using some kind of vhost/vpath setup for the git repos on
540 alioth, so that they can be moved later if and when this turns out to
541 be a good idea.
542
543 Debian Policy needs to be updated to describe the new Dgit .dsc
544 field (and to specify that it is an RC bug for that field to refer
545 to an unavailable commit).
546
547 The method of canonicalising suite names is bizarre.  See the
548 .B --existing-package
549 option for one of the implications.
550
551 dgit push should perhaps do `git push origin', or something similar,
552 by default.
553
554 Debian does not have a working rmadison server, so to find out what
555 version of a package is in the archive, or to canonicalise suite
556 names, we ssh directly into the ftpmaster server.
557
558 The mechanism for checking for and creating per-package repos on
559 alioth is a hideous bodge.  One consequence is that dgit currently
560 only works for people with push access.
561
562 Debian Maintainers are currently not able to push, as there is not
563 currently any mechanism for determining and honouring the archive's
564 ideas about access control.  Currently only DDs can push.
565
566 dgit's representation of format `3.0 (quilt)' source packages does not
567 represent the patch stack.  Currently the patch series representation
568 cannot round trip through the archive.  Ideally dgit would represent a
569 quilty package with an origin commit of some kind followed by the
570 patch stack as a series of commits followed by a pseudo-merge (to make
571 the branch fast-forwarding).  This would also mean a new `dgit
572 rebase-prep' command or some such to turn such a fast-forwarding
573 branch back into a rebasing patch stack, and a `force' option to dgit
574 push (perhaps enabled automatically by a note left by rebase-prep)
575 which will make the required pseudo-merge.
576
577 If the dgit push fails halfway through, it should be restartable and
578 idempotent.  However this is not true for the git tag operation.
579 Also, it would be good to check that the proposed signing key is
580 available before starting work.
581
582 dgit's handling of .orig.tar.gz is not very sophisticated.  Ideally
583 the .orig.tar.gz could be transported via the git repo as git tags.
584 Doing this is made more complicated by the possibility of a `3.0
585 (quilt)' package with multiple .orig tarballs.
586
587 dgit's build functions, and dgit push, should not make any changes to
588 your current HEAD.  Sadly this is necessary for packages in the `3.0
589 (quilt)' source format.  This is ultimately due to design problems in
590 quilt and dpkg-source.
591
592 There should be an option which arranges for the `3.0 (quilt)'
593 autocommit to not appear on your HEAD, but instead only in the
594 remote tracking suite branch.
595
596 There should at the very least be some advice in the manpage about how
597 to use dgit when the signing key is not available on the same machine
598 as the build host.
599
600 The option parser requires values to be cuddled to the option name.
601
602 dgit assumes knowledge of the archive layout.  There appears to be no
603 sane way to find the path in the archive pool of the .dsc for a
604 particular suite.  I'm assured that the archive layout is a
605 `well known algorithm' by now.
606
607 --dry-run does not always work properly, as not doing some of the git
608 fetches may result in subsequent actions being different.  Doing a
609 non-dry-run dgit fetch first will help.
610 .SH SEE ALSO
611 \fBdget\fP(1),
612 \fBdput\fP(1),
613 \fBdebsign\fP(1),
614 \fBgit-config\fP(1),
615 \fBgit-buildpackage\fP(1),
616 \fBdpkg-buildpackage\fP(1),
617 .br
618 https://wiki.debian.org/Alioth