chiark / gitweb /
wip changes for remote push - fixes, todos
[dgit.git] / dgit.1
1 .TH dgit 1 "" "Debian Project" "dgit"
2 .SH NAME
3 dgit \- git integration with the Debian archive
4 .
5 .SH SYNOPSIS
6 .B dgit
7 [\fIdgit\-opts\fP] \fBclone\fP [\fIdgit\-opts\fP]
8 \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
9 .br
10 .B dgit
11 [\fIdgit\-opts\fP] \fBfetch\fP|\fBpull\fP [\fIdgit\-opts\fP]
12 [\fIsuite\fP]
13 .br
14 .B dgit
15 [\fIdgit\-opts\fP] \fBbuild\fP|\fBsbuild\fP|\fBbuild-source\fP
16 [\fIbuild\-opts\fp]
17 .br
18 .B dgit
19 [\fIdgit\-opts\fP] \fBpush\fP [\fIdgit\-opts\fP]
20 [\fIsuite\fP]
21 .br
22 .B dgit
23 [\fIdgit\-opts\fP] \fIaction\fR ...
24 .SH DESCRIPTION
25 .B dgit
26 treats the Debian archive as a version control system, and
27 bidirectionally gateways between the archive and git.  The git view of
28 the package can contain the usual upstream git history, and will be
29 augmented by commits representing uploads done by other developers not
30 using dgit.  This git history is stored in a canonical location known
31 as
32 .B dgit-repos
33 which lives outside the Debian archive (currently, on Alioth).
34
35 The usual workflow is: 1. clone or fetch; 2. make and commit changes
36 in git as desired; 3. run dgit build, dgit sbuild or dgit
37 build-source, or generate the source and binary packages for upload
38 some other way; 4. do pre-upload tests of the proposed upload; 5. run
39 dgit push.
40 .TP
41 \fBdgit clone\fR \fIpackage\fP [\fIsuite\fP] [\fB./\fP\fIdir|\fB/\fP\fIdir\fR]
42 Consults the archive and dgit-repos to construct the git view of
43 history for
44 .I package
45 in
46 .I suite
47 .RB ( sid
48 by default)
49 in a new directory (named
50 .BI ./ package
51 by default);
52 also, downloads any necessary orig tarballs.
53
54 The suite's git tip is
55 left on the local branch
56 .BI dgit/ suite
57 ready for work, and on the corresponding dgit remote tracking branch.
58 Also, the
59 .B origin
60 remote will be set up to point to the package's dgit-repos tree
61 for the distro to which
62 .I suite
63 belongs.
64 .TP
65 \fBdgit fetch\fR [\fIsuite\fP]
66 Consults the archive and git-repos to update the git view of
67 history for a specific suite (and downloads any necessary orig
68 tarballs), and updates the remote tracking branch
69 .BR remotes/dgit/dgit/ \fIsuite\fR.
70 If the current branch is
71 .BI dgit/ suite
72 then dgit fetch defaults to
73 .IR suite ;
74 otherwise it parses debian/changelog and uses the suite specified
75 there.
76 .TP
77 \fBdgit pull\fR [\fIsuite\fP]
78 Does dgit fetch, and then merges the new head of the remote tracking
79 branch
80 .BI remotes/dgit/dgit/ suite
81 into the current branch.
82 .TP
83 \fBdgit build\fR ...
84 Runs
85 .B dpkg-buildpackage
86 with some suitable options.  Options and argumments after build
87 will be passed on to dpkg-buildpackage.  It is not necessary to use
88 dgit build when using dgit; it is OK to use any approach which ensures
89 that the generated source package corresponds to the relevant git
90 commit.
91
92 Tagging, signing and actually uploading should be left to dgit push.
93 .TP
94 \fBdgit build-source\fR ...
95 Builds the source package, and a changes file for a prospective
96 source-only upload, using
97 .BR dpkg-source .
98 The output is left in
99 .IR package \fB_\fR version \fB.dsc\fR
100 and
101 .IR package \fB_\fR version \fB_source.changes\fR.
102
103 Tagging, signing and actually uploading should be left to dgit push.
104 .TP
105 .B dgit help
106 Print a usage summary.
107 .TP
108 \fBdgit sbuild\fR ...
109 Constructs the source package, uses
110 .B  sbuild
111 to do a binary build, and uses mergechanges to merge the source and
112 binary changes files.  Options and argumments after sbuild will be
113 passed on to sbuild.  Changes files matching
114 .IB package _ version _*.changes
115 in the parent directory will be removed; the output is left in
116 .IR package \fB_\fR version \fB_multi.changes\fR.
117
118 Tagging, signing and actually uploading should be left to dgit push.
119 .TP
120 \fBdgit git-build\fR ...
121 Runs
122 .B git-buildpackage
123 with some suitable options.  Options and argumments after git-build
124 will be passed on to git-buildpackage.
125
126 Tagging, signing and actually uploading should be left to dgit push.
127 .TP
128 .B dgit push
129 Does an `upload', pushing the current HEAD to the archive (as a source
130 package) and to dgit-repos (as git commits).  The package must already
131 have been built ready for upload, with the .dsc and .changes
132 left in the parent directory.
133
134 In more detail: dgit push checks that the current HEAD corresponds to
135 the .dsc.  It then pushes the HEAD to the suite's dgit-repos branch,
136 makes a signed git tag, edits the .dsc to contain the dgit metadata
137 field, runs debsign to sign the upload (.dsc and .changes), pushes the
138 signed tag, and finally uses dput to upload the .changes to the
139 archive.
140
141 dgit push always uses the package, suite and version specified in the
142 debian/changelog and the .dsc, which must agree.
143
144 If dgit push fails while uploading, it is fine to simply retry the
145 dput on the .changes file at your leisure.
146 .TP
147 .B dgit quilt-fixup
148 Looks to see if the tree is one which dpkg-source cannot properly
149 represent.  If it isn't, dgit will fix it up for you (in quilt terms,
150 by making a new debian/ patch containing your unquilty changes) and
151 make a commit of the changes it has made.
152
153 This is normally done automatically by dgit build and dgit push.
154 .TP
155 .B dgit version
156 Prints version information and exits.
157 .SH OPTIONS
158 .TP
159 .BR --dry-run | -n
160 Go through the motions, fetching all information needed, but do not
161 actually update the output(s).  For push, dgit does
162 the required checks and leaves the new .dsc in a temporary file,
163 but does not sign, tag, push or upload.
164 .TP
165 .BI -k keyid
166 Use
167 .I keyid
168 for signing the tag and the upload.
169 .TP
170 .BR --no-sign
171 does not sign tags or uploads (meaningful only with push).
172 .TP
173 .TP
174 .BI -p package
175 Specifies that we should process source package
176 .I package
177 rather than looking in debian/control or debian/changelog.
178 Valid with dgit fetch and dgit pull, only.
179 .TP
180 .BR --clean=git | -wg
181 The source tree should be cleaned, before building a source package
182 with one of the build options, using
183 .BR "git clean -xdf" .
184 This will delete all files which are not tracked by git.
185 .TP
186 .BR --clean=none | -wn
187 Do not clean the tree before building a source package.  If there are
188 files which are not in git, a subsequent dgit push will fail.
189 .TP
190 .BR --clean=dpkg-source | -wd
191 Use dpkg-buildpackage to do the build, so that the source package
192 is cleaned by dpkg-source running the package's clean target.
193 This is the default.  It requires the package's build dependencies.
194 .TP
195 .BR -N | --new
196 The package may be new in this suite.  Without this, dgit will
197 refuse to push.
198 .TP
199 .BR --ignore-dirty
200 Do not complain if the working tree does not match your git HEAD.
201 This can be useful with build, if you plan to commit later.  (dgit
202 push will still ensure that the .dsc you upload and the git tree
203 you push are identical, so this option won't make broken pushes.)
204
205 This option may not work properly on `3.0 (quilt)' packages, as in
206 that case dgit needs to use and perhaps commit parts of your working
207 tree.
208 .TP
209 .BR --no-quilt-fixup
210 Do not fix up source format `3.0 (quilt)' metadata.  If you use this
211 option and the package did in fact need fixing up, dgit push will
212 fail.
213 .TP
214 .BI -D
215 Prints debugging information to stderr.  Repeating the option produces
216 more output (currently, up to -DD is meaningfully different).
217 .TP
218 .BI -c name = value
219 Specifies a git configuration option.  dgit itself is also controlled
220 by git configuration options.
221 .TP
222 .RI \fB-v\fR version |\fB-m\fR maintaineraddress
223 Passed to dpkg-genchanges (eventually).
224 .TP
225 .RI \fB--ch:\fR option
226 Specifies a single additional option to pass, eventually, to
227 dpkg-genchanges.
228 .TP
229 .RI \fB--dget=\fR program |\fB--dput=\fR program |...
230 Specifies alternative programs to use instead of
231 .BR dget ,
232 .BR dput ,
233 .BR debsign ,
234 .BR dpkg-source ,
235 .BR dpkg-buildpackage ,
236 .BR dpkg-genchanges ,
237 .BR sbuild ,
238 or
239 .BR mergechanges .
240 This applies only when the program is invoked directly by dgit.
241 .TP
242 .RI \fB--dget:\fR option |\fB--dput:\fR option |...
243 Specifies a single additional option to pass to
244 .BR dget ,
245 .BR dput ,
246 .BR debsign ,
247 .BR dpkg-source ,
248 .BR dpkg-buildpackage ,
249 .BR dpkg-genchanges ,
250 .BR sbuild ,
251 or
252 .BR mergechanges .
253 Can be repeated as necessary.
254 This applies only when the program is invoked directly by dgit.
255 Usually, for passing options to dpkg-genchanges, use
256 .BR --ch: \fIoption\fR.
257 .TP
258 .BR -d "\fIdistro\fR | " --distro= \fIdistro\fR
259 Specifies that the suite to be operated on is part of distro
260 .IR distro .
261 This overrides the default value found from the git config option
262 .BR dgit-suite. \fIsuite\fR .distro .
263 The only effect is that other configuration variables (used
264 for accessing the archive and dgit-repos) used are
265 .BR dgit-distro. \fIdistro\fR .* .
266
267 If your suite is part of a distro that dgit already knows about, you
268 can use this option to make dgit work even if your dgit doesn't know
269 about the suite.  For example, specifying
270 .B -ddebian
271 will work when the suite is an unknown suite in the Debian archive.
272
273 To define a new distro it is necessary to define methods and URLs
274 for fetching (and, for dgit push, altering) a variety of information both
275 in the archive and in dgit-repos.  How to do this is not yet
276 documented, and currently the arrangements are unpleasant.  See
277 BUGS.
278 .TP
279 .BI -C changesfile
280 Specifies the .changes file which is to be uploaded.  By default
281 dgit push looks for single .changes file in the parent directory whose
282 filename suggests it is for the right package and version - or,
283 if there is a _multi.changes file, dgit uses that.
284 .TP
285 .BI --existing-package= package
286 dgit push needs to canonicalise the suite name.  But currently
287 there is no way to ask the archive to do this without knowing the
288 name of an existing package.  Without --new we can just use the
289 package we are trying to push.  But with --new that will not work, so
290 we guess
291 .B dpkg
292 or use the value of this option.
293 .TP
294 .BR -h | --help
295 Print a usage summary.
296 .SH WORKFLOW - SIMPLE
297 It is always possible with dgit to clone or fetch a package, make
298 changes in git (using git-commit) on the suite branch
299 .RB ( "git checkout dgit/" \fIsuite\fR)
300 and then dgit push.  You can use whatever gitish techniques you like
301 to construct the commit to push; the only requirement is that it is a
302 descendant of the state of the archive, as provided by dgit in the
303 remote tracking branch
304 .BR remotes/dgit/dgit/ \fIsuite\fR.
305
306 If you are lucky the other uploaders have also used dgit and
307 integrated the other relevant git history; if not you can fetch it
308 into your tree and cherry-pick etc. as you wish.
309 .SH WORKFLOW - INTEGRATING BETWEEN DGIT AND OTHER GIT HISTORY
310 If you are the maintainer of a package dealing with uploads made
311 without dgit, you will probably want to merge the synthetic commits
312 (made by dgit to represent the uploads) into your git history.
313 Normally you can just merge the dgit branch into your own master, or
314 indeed if you do your work on the dgit local suite branch
315 .BI dgit/ suite
316 you can just use dgit pull.
317
318 However the first time dgit is used it will generate a new origin
319 commit from the archive which won't be linked into the rest of your
320 git history.  You will need to merge this.
321
322 If last upload was in fact made with git, you should usually proceed
323 as follows: identify the commit which was actually used to build the
324 package.  (Hopefully you have a tag for this.)  Check out the dgit
325 branch
326 .RB ( "git checkout dgit/" \fIsuite\fR)
327 and merge that other commit
328 .RB ( "git merge debian/" \fIversion\fR).
329 Hopefully this merge will be trivial because the two trees should
330 be the same.  The resulting branch head can be merged into your
331 working branches
332 .RB ( "git checkout master && git merge dgit/" \fIsuite\fR).
333
334 If last upload was not made with git, a different approach is required
335 to start using dgit.  First, do
336 .B dgit fetch
337 (or clone) to obtain a git history representation of what's in the
338 archive and record it in the
339 .BI remotes/dgit/dgit/ suite
340 tracking branch.  Then somehow, using your other git history
341 plus appropriate diffs and cherry picks from the dgit remote tracking
342 branch, construct a git commit whose tree corresponds to the tree to use for the
343 next upload.  If that commit-to-be-uploaded is not a descendant of the
344 dig remote tracking branch, check it out and say
345 .BR "git merge -s ours remotes/dgit/dgit/" \fIsuite\fR;
346 that tells git that we are deliberately throwing away any differences
347 between what's in the archive and what you intend to upload.
348 Then run
349 .BR "dgit push"
350 to actually upload the result.
351 .SH MODEL
352 You may use any suitable git workflow with dgit, provided you
353 satisfy dgit's requirements:
354
355 dgit maintains a pseudo-remote called
356 .BR dgit ,
357 with one branch per suite.  This remote cannot be used with
358 plain git.
359
360 The
361 .B dgit-repos
362 repository for each package contains one ref per suite named
363 \fBrefs/dgit/\fR\fIsuite\fR.  These should be pushed to only by
364 dgit.  They are fast forwarding.  Each push on this branch
365 corresponds to an upload (or attempted upload).
366
367 However, it is perfectly fine to have other branches in dgit-repos;
368 normally the dgit-repos repo for the package will be accessible via
369 the remote name `origin'.
370
371 dgit push will also (by default) make signed tags called
372 .BI debian/ version
373 and push them to dgit-repos, but nothing depends on these tags
374 existing.
375
376 dgit push can operate on any commit which is a descendant of the
377 current dgit/suite tip in dgit-repos.
378
379 Uploads made by dgit contain an additional field
380 .B Dgit
381 in the source package .dsc.  (This is added by dgit push.)
382 This specifies a commit (an ancestor of the dgit/suite
383 branch) whose tree is identical to the unpacked source upload.
384
385 Uploads not made by dgit are represented in git by commits which are
386 synthesised by dgit.  The tree of each such commit corresponds to the
387 unpacked source; there is an origin commit with the contents, and a
388 psuedo-merge from last known upload - that is, from the contents of
389 the dgit/suite branch.
390
391 dgit expects repos that it works with to have a
392 .B dgit
393 remote.  This refers to the well-known dgit-repos location
394 (currently, the dgit-repos project on Alioth).  dgit fetch updates
395 the remote tracking branch for dgit/suite.
396
397 dgit does not (currently) represent the orig tarball(s) in git; nor
398 does it represent the patch statck of a `3.0 (quilt)' package.  The
399 orig tarballs are downloaded and kept in the parent directory, as with
400 a traditional (non-gitish) dpkg-source workflow.
401
402 To a user looking at the archive, changes pushed using dgit look like
403 changes made in an NMU: in a `3.0 (quilt)' package the delta from the
404 previous upload is recorded in a new patch constructed by dpkg-source.
405 .SH PACKAGE SOURCE FORMATS
406 If you are not the maintainer, you do not need to worry about the
407 source format of the package.  You can just make changes as you like
408 in git.  If the package is a `3.0 (quilt)' package, the patch stack
409 will usually not be represented in the git history.
410
411 If you are the maintainer of a non-native package, you currently have
412 two sensible options:
413
414 Firstly, you can regard your git history as primary, and the archive
415 as an export format.  For example, you could maintain topic branches
416 in git and a fast-forwarding release branch; or you could do your work
417 directly in a merging way on the
418 .BI dgit/ suite
419 branches.  If you do this you should probably use a `1.0' format
420 source package if you can.  In the archive, the delta between upstream
421 will be represented in the single Debian patch.
422
423 Secondly, you can use `3.0 (quilt)', and regard your quiltish patch
424 stack in the archive as primary.  You will have to use other tools
425 besides dgit to import and export this patch stack.  But see below:
426 .SH FORMAT 3.0 (QUILT)
427 For a format `3.0 (quilt)' source package, dgit may have to make a
428 commit on your current branch to contain metadata used by quilt and
429 dpkg-source.
430
431 This is because (i) the `3.0 (quilt)' source format cannot represent
432 certain trees, and (ii) packing up a tree in `3.0 (quilt)' and then
433 unpacking it does not always yield the same tree.  Instead,
434 dpkg-source insists on the trees having extra quilty metadata and
435 patch files in the debian/ and .pc/ directories, which dpkg-source
436 sometimes modifies.
437
438 dgit will automatically work around this braindamage for you when
439 building and pushing.  The only thing you need to know is that dgit
440 build, sbuild, etc., may make a new commit on your HEAD.  If you're
441 not a quilt user this commit won't contain any changes to files you
442 care about.
443
444 You can explicitly request that dgit do just this fixup, by running
445 dgit quilt-fixup.
446
447 We recommend against the use of `3.0 (quilt)'.
448 .SH FILES IN THE SOURCE PACKAGE BUT NOT IN GIT
449 This section is mainly of interest to maintainers who want to use dgit
450 with their existing git history for the Debian package.
451
452 Some developers like to have an extra-clean git tree which lacks files
453 which are normally found in source tarballs and therefore in Debian
454 source packages.  For example, it is conventional to ship ./configure
455 in the source tarball, but some people prefer not to have it present
456 in the git view of their project.
457
458 dgit requires that the source package unpacks to exactly the same
459 files as are in the git commit on which dgit push operates.  So if you
460 just try to dgit push directly from one of these extra-clean git
461 branches, it will fail.
462
463 As the maintainer you therefore have the following options:
464 .TP
465 \(bu
466 Persuade upstream that the source code in their git history and the
467 source they ship as tarballs should be identical.  Of course simply
468 removing the files from the tarball may make the tarball hard for
469 people to use.
470 .IP
471 One answer is to commit the (maybe autogenerated)
472 files, perhaps with some simple automation to deal with conflicts and
473 spurious changes.  This has the advantage that someone who clones
474 the git repository finds the program just as easy to build as someone
475 who uses the tarball.
476 .TP
477 \(bu
478 Have separate git branches which do contain the extra files, and after
479 regenerating the extra files (whenever you would have to anyway),
480 commit the result onto those branches.
481 .TP
482 \(bu
483 Provide source packages which lack the files you don't want
484 in git, and arrange for your package build to create them as needed.
485 This may mean not using upstream source tarballs and makes the Debian
486 source package less useful for people without Debian build
487 infrastructure.
488 .LP
489 Of course it may also be that the differences are due to build system
490 bugs, which cause unintended files to end up in the source package.
491 dgit will notice this and complain.  You may have to fix these bugs
492 before you can unify your existing git history with dgit's.
493 .SH CONFIGURATION
494 dgit looks at the following git config keys to control its behaviour.
495 You may set them with git-config (either in system-global or per-tree
496 configuration), or provide
497 .BI -c key = value
498 on the dgit command line.
499 .TP
500 .BI dgit-suite. suite .distro
501 .TP
502 .BI dgit.default.distro
503 .TP
504 .BI dgit-distro. distro .username
505 .TP
506 .BI dgit-distro. distro .git-url
507 .TP
508 .BI dgit-distro. distro .git-user
509 .TP
510 .BI dgit-distro. distro .git-host
511 .TP
512 .BI dgit-distro. distro .git-proto
513 .TP
514 .BI dgit-distro. distro .git-path
515 .TP
516 .BI dgit-distro. distro .git-check
517 .TP
518 .BI dgit-distro. distro .git-create
519 .TP
520 .BI dgit-distro. distro .upload-host
521 .TP
522 .BI dgit-distro. distro .mirror
523 .TP
524 .BI dgit-distro. distro .archive-query
525 .TP
526 .BI dgit-distro. distro .archive-query-default-component
527 .TP
528 .BI dgit-distro. distro .sshdakls-user
529 .TP
530 .BI dgit-distro. distro .sshdakls-host
531 .TP
532 .BI dgit-distro. distro .sshdakls-dir
533 .TP
534 .BI dgit-distro. distro .ssh
535 .TP
536 .BI dgit-distro. distro .keyid
537 .TP
538 .BR dgit.default. *
539 for each
540 .BR dgit-distro. \fIdistro\fR . *
541 .SH BUGS
542 We should be using some kind of vhost/vpath setup for the git repos on
543 alioth, so that they can be moved later if and when this turns out to
544 be a good idea.
545
546 Debian Policy needs to be updated to describe the new Dgit .dsc
547 field (and to specify that it is an RC bug for that field to refer
548 to an unavailable commit).
549
550 The method of canonicalising suite names is bizarre.  See the
551 .B --existing-package
552 option for one of the implications.
553
554 dgit push should perhaps do `git push origin', or something similar,
555 by default.
556
557 Debian does not have a working rmadison server, so to find out what
558 version of a package is in the archive, or to canonicalise suite
559 names, we ssh directly into the ftpmaster server.
560
561 The mechanism for checking for and creating per-package repos on
562 alioth is a hideous bodge.  One consequence is that dgit currently
563 only works for people with push access.
564
565 Debian Maintainers are currently not able to push, as there is not
566 currently any mechanism for determining and honouring the archive's
567 ideas about access control.  Currently only DDs can push.
568
569 dgit's representation of format `3.0 (quilt)' source packages does not
570 represent the patch stack.  Currently the patch series representation
571 cannot round trip through the archive.  Ideally dgit would represent a
572 quilty package with an origin commit of some kind followed by the
573 patch stack as a series of commits followed by a pseudo-merge (to make
574 the branch fast-forwarding).  This would also mean a new `dgit
575 rebase-prep' command or some such to turn such a fast-forwarding
576 branch back into a rebasing patch stack, and a `force' option to dgit
577 push (perhaps enabled automatically by a note left by rebase-prep)
578 which will make the required pseudo-merge.
579
580 If the dgit push fails halfway through, it should be restartable and
581 idempotent.  However this is not true for the git tag operation.
582 Also, it would be good to check that the proposed signing key is
583 available before starting work.
584
585 dgit's handling of .orig.tar.gz is not very sophisticated.  Ideally
586 the .orig.tar.gz could be transported via the git repo as git tags.
587 Doing this is made more complicated by the possibility of a `3.0
588 (quilt)' package with multiple .orig tarballs.
589
590 dgit's build functions, and dgit push, should not make any changes to
591 your current HEAD.  Sadly this is necessary for packages in the `3.0
592 (quilt)' source format.  This is ultimately due to design problems in
593 quilt and dpkg-source.
594
595 There should be an option which arranges for the `3.0 (quilt)'
596 autocommit to not appear on your HEAD, but instead only in the
597 remote tracking suite branch.
598
599 There should at the very least be some advice in the manpage about how
600 to use dgit when the signing key is not available on the same machine
601 as the build host.
602
603 The option parser requires values to be cuddled to the option name.
604
605 dgit assumes knowledge of the archive layout.  There appears to be no
606 sane way to find the path in the archive pool of the .dsc for a
607 particular suite.  I'm assured that the archive layout is a
608 `well known algorithm' by now.
609
610 --dry-run does not always work properly, as not doing some of the git
611 fetches may result in subsequent actions being different.  Doing a
612 non-dry-run dgit fetch first will help.
613 .SH SEE ALSO
614 \fBdget\fP(1),
615 \fBdput\fP(1),
616 \fBdebsign\fP(1),
617 \fBgit-config\fP(1),
618 \fBgit-buildpackage\fP(1),
619 \fBdpkg-buildpackage\fP(1),
620 .br
621 https://wiki.debian.org/Alioth