chiark / gitweb /
Reuse already-downloaded .orig files after checking their hashes. Closes: #720526...
[dgit.git] / dgit.1
1 .TH dgit 1 "" "Debian Project" "dgit"
2 .SH NAME
3 dgit \- git integration with the Debian archive
4 .
5 .SH SYNOPSIS
6 .B dgit
7 [\fIdgit\-opts\fP] \fBclone\fP [\fIdgit\-opts\fP]
8 \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
9 .br
10 .B dgit
11 [\fIdgit\-opts\fP] \fBfetch\fP|\fBpull\fP [\fIdgit\-opts\fP]
12 [\fIsuite\fP]
13 .br
14 .B dgit
15 [\fIdgit\-opts\fP] \fBbuild\fP|\fBsbuild\fP|\fBbuild-source\fP
16 [\fIbuild\-opts\fp]
17 .br
18 .B dgit
19 [\fIdgit\-opts\fP] \fBpush\fP [\fIdgit\-opts\fP]
20 [\fIsuite\fP]
21 .br
22 .B dgit
23 [\fIdgit\-opts\fP] \fIaction\fR ...
24 .SH DESCRIPTION
25 .B dgit
26 treats the Debian archive as a version control system, and
27 bidirectionally gateways between the archive and git.  The git view of
28 the package can contain the usual upstream git history, and will be
29 augmented by commits representing uploads done by other developers not
30 using dgit.  This git history is stored in a canonical location known
31 as
32 .B dgit-repos
33 which lives outside the Debian archive (currently, on Alioth).
34
35 The usual workflow is: 1. clone or fetch; 2. make and commit changes
36 in git as desired; 3. run dgit build, dgit sbuild or dgit
37 build-source, or generate the source and binary packages for upload
38 some other way; 4. do pre-upload tests of the proposed upload; 5. run
39 dgit push.
40 .TP
41 \fBdgit clone\fR \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
42 Consults the archive and dgit-repos to construct the git view of
43 history for
44 .I package
45 in
46 .I suite
47 .RB ( sid
48 by default)
49 in a new directory (named
50 .BI ./ package
51 by default);
52 also, downloads any necessary orig tarballs.
53
54 The suite's git tip is
55 left on the local branch
56 .BI dgit/ suite
57 ready for work, and on the corresponding dgit remote tracking branch.
58 Also, the
59 .B origin
60 remote will be set up to point to the package's dgit-repos tree
61 for the distro to which
62 .I suite
63 belongs.
64 .TP
65 \fBdgit fetch\fR [\fIsuite\fP]
66 Consults the archive and git-repos to update the git view of
67 history for a specific suite (and downloads any necessary orig
68 tarballs), and updates the remote tracking branch
69 .BR remotes/dgit/dgit/ \fIsuite\fR.
70 If the current branch is
71 .BI dgit/ suite
72 then dgit fetch defaults to
73 .IR suite ;
74 otherwise it parses debian/changelog and uses the suite specified
75 there.
76 .TP
77 \fBdgit pull\fR [\fIsuite\fP]
78 Does dgit fetch, and then merges the new head of the remote tracking
79 branch
80 .BI remotes/dgit/dgit/ suite
81 into the current branch.
82 .TP
83 \fBdgit build\fR ...
84 Runs
85 .B dpkg-buildpackage
86 with some suitable options.  Options and argumments after build
87 will be passed on to dpkg-buildpackage.  It is not necessary to use
88 dgit build when using dgit; it is OK to use any approach which ensures
89 that the generated source package corresponds to the relevant git
90 commit.
91
92 Tagging, signing and actually uploading should be left to dgit push.
93 .TP
94 \fBdgit build-source\fR ...
95 Builds the source package, and a changes file for a prospective
96 source-only upload, using
97 .BR dpkg-source .
98 The output is left in
99 .IR package \fB_\fR version \fB.dsc\fR
100 and
101 .IR package \fB_\fR version \fB_source.changes\fR.
102
103 Tagging, signing and actually uploading should be left to dgit push.
104 .TP
105 \fBdgit sbuild\fR ...
106 Constructs the source package, uses
107 .B  sbuild
108 to do a binary build, and uses mergechanges to merge the source and
109 binary changes files.  Options and argumments after sbuild will be
110 passed on to sbuild.  Changes files matching
111 .IB package _ version _*.changes
112 in the parent directory will be removed; the output is left in
113 .IR package \fB_\fR version \fB_multi.changes\fR.
114
115 Tagging, signing and actually uploading should be left to dgit push.
116 .TP
117 \fBdgit git-build\fR ...
118 Runs
119 .B git-buildpackage
120 with some suitable options.  Options and argumments after git-build
121 will be passed on to git-buildpackage.
122
123 Tagging, signing and actually uploading should be left to dgit push.
124 .TP
125 .B dgit push
126 Does an `upload', pushing the current HEAD to the archive (as a source
127 package) and to dgit-repos (as git commits).  The package must already
128 have been built ready for upload, with the .dsc and .changes
129 left in the parent directory.
130
131 In more detail: dgit push checks that the current HEAD corresponds to
132 the .dsc.  It then pushes the HEAD to the suite's dgit-repos branch,
133 makes a signed git tag, edits the .dsc to contain the dgit metadata
134 field, runs debsign to sign the upload (.dsc and .changes), pushes the
135 signed tag, and finally uses dput to upload the .changes to the
136 archive.
137
138 dgit push always uses the package, suite and version specified in the
139 debian/changelog and the .dsc, which must agree.
140
141 If dgit push fails while uploading, it is fine to simply retry the
142 dput on the .changes file at your leisure.
143 .TP
144 .B dgit quilt-fixup
145 Looks to see if the tree is one which dpkg-source cannot properly
146 represent.  If it isn't, dgit will fix it up for you (in quilt terms,
147 by making a new debian/ patch containing your unquilty changes) and
148 make a commit of the changes it has made.
149
150 This is normally done automatically by dgit build and dgit push.
151 .SH WORKFLOW - SIMPLE
152 It is always possible with dgit to clone or fetch a package, make
153 changes in git (using git-commit) on the suite branch
154 .RB ( "git checkout dgit/" \fIsuite\fR)
155 and then dgit push.  You can use whatever gitish techniques you like
156 to construct the commit to push; the only requirement is that it is a
157 descendant of the state of the archive, as provided by dgit in the
158 remote tracking branch
159 .BR remotes/dgit/dgit/ \fIsuite\fR.
160
161 If you are lucky the other uploaders have also used dgit and
162 integrated the other relevant git history; if not you can fetch it
163 into your tree and cherry-pick etc. as you wish.
164 .SH WORKFLOW - INTEGRATING BETWEEN DGIT AND OTHER GIT HISTORY
165 If you are the maintainer of a package dealing with uploads made
166 without dgit, you will probably want to merge the synthetic commits
167 (made by dgit to represent the uploads) into your git history.
168 Normally you can just merge the dgit branch into your own master, or
169 indeed if you do your work on the dgit local suite branch
170 .BI dgit/ suite
171 you can just use dgit pull.
172
173 However the first time dgit is used it will generate a new origin
174 commit from the archive which won't be linked into the rest of your
175 git history.  You will need to merge this.
176
177 If last upload was in fact made with git, you should usually proceed
178 as follows: identify the commit which was actually used to build the
179 package.  (Hopefully you have a tag for this.)  Check out the dgit
180 branch
181 .RB ( "git checkout dgit/" \fIsuite\fR)
182 and merge that other commit
183 .RB ( "git merge debian/" \fIversion\fR).
184 Hopefully this merge will be trivial because the two trees should
185 be the same.  The resulting branch head can be merged into your
186 working branches
187 .RB ( "git checkout master && git merge dgit/" \fIsuite\fR).
188
189 If last upload was not made with git, a different approach is required
190 to start using dgit.  First, do
191 .B dgit fetch
192 (or clone) to obtain a git history representation of what's in the
193 archive and record it in the
194 .BI remotes/dgit/dgit/ suite
195 tracking branch.  Then somehow, using your other git history
196 plus appropriate diffs and cherry picks from the dgit remote tracking
197 branch, construct a git commit whose tree corresponds to the tree to use for the
198 next upload.  If that commit-to-be-uploaded is not a descendant of the
199 dig remote tracking branch, check it out and say
200 .BR "git merge -s ours remotes/dgit/dgit/" \fIsuite\fR;
201 that tells git that we are deliberately throwing away any differences
202 between what's in the archive and what you intend to upload.
203 Then run
204 .BR "dgit push"
205 to actually upload the result.
206 .SH MODEL
207 You may use any suitable git workflow with dgit, provided you
208 satisfy dgit's requirements:
209
210 dgit maintains a pseudo-remote called
211 .BR dgit ,
212 with one branch per suite.  This remote cannot be used with
213 plain git.
214
215 The
216 .B dgit-repos
217 repository for each package contains one ref per suite named
218 \fBrefs/dgit/\fR\fIsuite\fR.  These should be pushed to only by
219 dgit.  They are fast forwarding.  Each push on this branch
220 corresponds to an upload (or attempted upload).
221
222 However, it is perfectly fine to have other branches in dgit-repos;
223 normally the dgit-repos repo for the package will be accessible via
224 the remote name `origin'.
225
226 dgit push will also (by default) make signed tags called
227 .BI debian/ version
228 and push them to dgit-repos, but nothing depends on these tags
229 existing.
230
231 dgit push can operate on any commit which is a descendant of the
232 current dgit/suite tip in dgit-repos.
233
234 Uploads made by dgit contain an additional field
235 .B Vcs-Dgit-Master
236 in the source package .dsc.  (This is added by dgit push.)
237 This specifies a commit (an ancestor of the dgit/suite
238 branch) whose tree is identical to the unpacked source upload.
239
240 Uploads not made by dgit are represented in git by commits which are
241 synthesised by dgit.  The tree of each such commit corresponds to the
242 unpacked source; there is an origin commit with the contents, and a
243 psuedo-merge from last known upload - that is, from the contents of
244 the dgit/suite branch.
245
246 dgit expects repos that it works with to have a
247 .B dgit
248 remote.  This refers to the well-known dgit-repos location
249 (currently, the dgit-repos project on Alioth).  dgit fetch updates
250 the remote tracking branch for dgit/suite.
251
252 dgit does not (currently) represent the orig tarball(s) in git; nor
253 does it represent the patch statck of a `3.0 (quilt)' package.  The
254 orig tarballs are downloaded and kept in the parent directory, as with
255 a traditional (non-gitish) dpkg-source workflow.
256
257 To a user looking at the archive, changes pushed using dgit look like
258 changes made in an NMU: in a `3.0 (quilt)' package the delta from the
259 previous upload is recorded in a new patch constructed by dpkg-source.
260 .SH PACKAGE SOURCE FORMATS
261 If you are not the maintainer, you do not need to worry about the
262 source format of the package.  You can just make changes as you like
263 in git.  If the package is a `3.0 (quilt)' package, the patch stack
264 will usually not be represented in the git history.
265
266 If you are the maintainer of a non-native package, you currently have
267 two sensible options:
268
269 Firstly, you can regard your git history as primary, and the archive
270 as an export format.  For example, you could maintain topic branches
271 in git and a fast-forwarding release branch; or you could do your work
272 directly in a merging way on the
273 .BI dgit/ suite
274 branches.  If you do this you should probably use a `1.0' format
275 source package if you can.  In the archive, the delta between upstream
276 will be represented in the single Debian patch.
277
278 Secondly, you can use `3.0 (quilt)', and regard your quiltish patch
279 stack in the archive as primary.  You will have to use other tools
280 besides dgit to import and export this patch stack.  But see below:
281 .SH FORMAT 3.0 (QUILT)
282 For a format `3.0 (quilt)' source package, dgit may have to make a
283 commit on your current branch to contain metadata used by quilt and
284 dpkg-source.
285
286 This is because (i) the `3.0 (quilt)' source format cannot represent
287 certain trees, and (ii) packing up a tree in `3.0 (quilt)' and then
288 unpacking it does not always yield the same tree.  Instead,
289 dpkg-source insists on the trees having extra quilty metadata and
290 patch files in the debian/ and .pc/ directories, which dpkg-source
291 sometimes modifies.
292
293 dgit will automatically work around this braindamage for you when
294 building and pushing.  The only thing you need to know is that dgit
295 build, sbuild, etc., may make a new commit on your HEAD.  If you're
296 not a quilt user this commit won't contain any changes to files you
297 care about.
298
299 You can explicitly request that dgit do just this fixup, by running
300 dgit quilt-fixup.
301
302 We recommend against the use of `3.0 (quilt)'.
303 .SH OPTIONS
304 .TP
305 .BR --dry-run | -n
306 Go through the motions, fetching all information needed, but do not
307 actually update the output(s).  For push, dgit does
308 the required checks and leaves the new .dsc in a temporary file,
309 but does not sign, tag, push or upload.
310 .TP
311 .BI -k keyid
312 Use
313 .I keyid
314 for signing the tag and the upload.
315 .TP
316 .BR --no-sign
317 does not sign tags or uploads (meaningful only with push).
318 .TP
319 .TP
320 .BI -p package
321 Specifies that we should process source package
322 .I package
323 rather than looking in debian/control or debian/changelog.
324 Valid with dgit fetch and dgit pull, only.
325 .TP
326 .BR --clean=git | -wg
327 The source tree should be cleaned, before building a source package
328 with one of the build options, using
329 .BR "git clean -xdf" .
330 This will delete all files which are not tracked by git.
331 .TP
332 .BR --clean=none | -wn
333 Do not clean the tree before building a source package.  If there are
334 files which are not in git, a subsequent dgit push will fail.
335 .TP
336 .BR --clean=dpkg-source | -wd
337 Use dpkg-buildpackage to do the build, so that the source package
338 is cleaned by dpkg-source running the package's clean target.
339 This is the default.  It requires the package's build dependencies.
340 .TP
341 .BR -N | --new
342 The package may be new in this suite.  Without this, dgit will
343 refuse to push.
344 .TP
345 .BR --ignore-dirty
346 Do not complain if the working tree does not match your git HEAD.
347 This can be useful with build, if you plan to commit later.  (dgit
348 push will still ensure that the .dsc you upload and the git tree
349 you push are identical, so this option won't make broken pushes.)
350
351 This option may not work properly on `3.0 (quilt)' packages, as in
352 that case dgit needs to use and perhaps commit parts of your working
353 tree.
354 .TP
355 .BR --no-quilt-fixup
356 Do not fix up source format `3.0 (quilt)' metadata.  If you use this
357 option and the package did in fact need fixing up, dgit push will
358 fail.
359 .TP
360 .BI -D
361 Prints debugging information to stderr.  Repeating the option produces
362 more output (currently, up to -DD is meaningfully different).
363 .TP
364 .BI -c name = value
365 Specifies a git configuration option.  dgit itself is also controlled
366 by git configuration options.
367 .TP
368 .RI \fB-v\fR version |\fB-m\fR maintaineraddress
369 Passed to dpkg-genchanges (eventually).
370 .TP
371 .RI \fB--ch:\fR option
372 Specifies a single additional option to pass, eventually, to
373 dpkg-genchanges.
374 .TP
375 .RI \fB--dget=\fR program |\fB--dput=\fR program |...
376 Specifies alternative programs to use instead of
377 .BR dget ,
378 .BR dput ,
379 .BR debsign ,
380 .BR dpkg-source ,
381 .BR dpkg-buildpackage ,
382 .BR dpkg-genchanges ,
383 .BR sbuild ,
384 or
385 .BR mergechanges .
386 This applies only when the program is invoked directly by dgit.
387 .TP
388 .RI \fB--dget:\fR option |\fB--dput:\fR option |...
389 Specifies a single additional option to pass to
390 .BR dget ,
391 .BR dput ,
392 .BR debsign ,
393 .BR dpkg-source ,
394 .BR dpkg-buildpackage ,
395 .BR dpkg-genchanges ,
396 .BR sbuild ,
397 or
398 .BR mergechanges .
399 Can be repeated as necessary.
400 This applies only when the program is invoked directly by dgit.
401 Usually, for passing options to dpkg-genchanges, use
402 .BR --ch: \fIoption\fR.
403 .TP
404 .BR -d "\fIdistro\fR | " --distro= \fIdistro\fR
405 Specifies that the suite to be operated on is part of distro
406 .IR distro .
407 This overrides the default value found from the git config option
408 .BR dgit-suite. \fIsuite\fR .distro .
409 The only effect is that other configuration variables (used
410 for accessing the archive and dgit-repos) used are
411 .BR dgit-distro. \fIdistro\fR .* .
412
413 If your suite is part of a distro that dgit already knows about, you
414 can use this option to make dgit work even if your dgit doesn't know
415 about the suite.  For example, specifying
416 .B -ddebian
417 will work when the suite is an unknown suite in the Debian archive.
418
419 To define a new distro it is necessary to define methods and URLs
420 for fetching (and, for dgit push, altering) a variety of information both
421 in the archive and in dgit-repos.  How to do this is not yet
422 documented, and currently the arrangements are unpleasant.  See
423 BUGS.
424 .TP
425 .BI -C changesfile
426 Specifies the .changes file which is to be uploaded.  By default
427 dgit push looks for single .changes file in the parent directory whose
428 filename suggests it is for the right package and version - or,
429 if there is a _multi.changes file, dgit uses that.
430 .TP
431 .BI --existing-package= package
432 dgit push needs to canonicalise the suite name.  But currently
433 there is no way to ask the archive to do this without knowing the
434 name of an existing package.  Without --new we can just use the
435 package we are trying to push.  But with --new that will not work, so
436 we guess
437 .B dpkg
438 or use the value of this option.
439 .TP
440 .BR -h | --help
441 Print a usage summary.
442 .SH SEE ALSO
443 \fBdget\fP(1),
444 \fBdput\fP(1),
445 \fBdebsign\fP(1),
446 \fBgit-config\fP(1),
447 \fBgit-buildpackage\fP(1),
448 \fBdpkg-buildpackage\fP(1),
449 .br
450 https://wiki.debian.org/Alioth
451 .SH CONFIGURATION
452 dgit looks at the following git config keys to control its behaviour.
453 You may set them with git-config (either in system-global or per-tree
454 configuration), or provide
455 .BI -c key = value
456 on the dgit command line.
457 .TP
458 .BI dgit-suite. suite .distro
459 .TP
460 .BI dgit.default.distro
461 .TP
462 .BI dgit-distro. distro .username
463 .TP
464 .BI dgit-distro. distro .git-url
465 .TP
466 .BI dgit-distro. distro .git-user
467 .TP
468 .BI dgit-distro. distro .git-host
469 .TP
470 .BI dgit-distro. distro .git-proto
471 .TP
472 .BI dgit-distro. distro .git-path
473 .TP
474 .BI dgit-distro. distro .git-check
475 .TP
476 .BI dgit-distro. distro .git-create
477 .TP
478 .BI dgit-distro. distro .upload-host
479 .TP
480 .BI dgit-distro. distro .mirror
481 .TP
482 .BI dgit-distro. distro .archive-query
483 .TP
484 .BI dgit-distro. distro .archive-query-default-component
485 .TP
486 .BI dgit-distro. distro .sshdakls-user
487 .TP
488 .BI dgit-distro. distro .sshdakls-host
489 .TP
490 .BI dgit-distro. distro .sshdakls-dir
491 .TP
492 .BI dgit-distro. distro .ssh
493 .TP
494 .BI dgit-distro. distro .keyid
495 .TP
496 .BR dgit.default. *
497 for each
498 .BR dgit-distro. \fIdistro\fR . *
499 .SH BUGS
500 We should be using some kind of vhost/vpath setup for the git repos on
501 alioth, so that they can be moved later if and when this turns out to
502 be a good idea.
503
504 Debian Policy needs to be updated to describe the new Vcs-Dgit-Master
505 field (and to specify that it is an RC bug for that field to refer
506 to an unavailable commit).
507
508 The method of canonicalising suite names is bizarre.  See the
509 .B --existing-package
510 option for one of the implications.
511
512 dgit push should perhaps do `git push origin', or something similar,
513 by default.
514
515 Debian does not have a working rmadison server, so to find out what
516 version of a package is in the archive, or to canonicalise suite
517 names, we ssh directly into the ftpmaster server.
518
519 The mechanism for checking for and creating per-package repos on
520 alioth is a hideous bodge.  One consequence is that dgit currently
521 only works for people with push access.
522
523 Debian Maintainers are currently not able to push, as there is not
524 currently any mechanism for determining and honouring the archive's
525 ideas about access control.  Currently only DDs can push.
526
527 dgit's representation of format `3.0 (quilt)' source packages does not
528 represent the patch stack.  Currently the patch series representation
529 cannot round trip through the archive.  Ideally dgit would represent a
530 quilty package with an origin commit of some kind followed by the
531 patch stack as a series of commits followed by a pseudo-merge (to make
532 the branch fast-forwarding).  This would also mean a new `dgit
533 rebase-prep' command or some such to turn such a fast-forwarding
534 branch back into a rebasing patch stack, and a `force' option to dgit
535 push (perhaps enabled automatically by a note left by rebase-prep)
536 which will make the required pseudo-merge.
537
538 If the dgit push fails halfway through, it should be restartable and
539 idempotent.  However this is not true for the git tag operation.
540 Also, it would be good to check that the proposed signing key is
541 available before starting work.
542
543 dgit's handling of .orig.tar.gz is not very sophisticated.  Ideally
544 the .orig.tar.gz could be transported via the git repo as git tags.
545 Doing this is made more complicated by the possibility of a `3.0
546 (quilt)' package with multiple .orig tarballs.
547
548 dgit's build functions, and dgit push, should not make any changes to
549 your current HEAD.  Sadly this is necessary for packages in the `3.0
550 (quilt)' source format.  This is ultimately due to design problems in
551 quilt and dpkg-source.
552
553 There should be an option which arranges for the `3.0 (quilt)'
554 autocommit to not appear on your HEAD, but instead only in the
555 remote tracking suite branch.
556
557 There should at the very least be some advice in the manpage about how
558 to use dgit when the signing key is not available on the same machine
559 as the build host.
560
561 The option parser requires values to be cuddled to the option name.
562
563 dgit assumes knowledge of the archive layout.  There appears to be no
564 sane way to find the path in the archive pool of the .dsc for a
565 particular suite.  I'm assured that the archive layout is a
566 `well known algorithm' by now.
567
568 --dry-run often does not work with fetch, even though this is a
569 logically plausible request.  (It fails, instead.)