chiark / gitweb /
rename package and finalise changelog
[autopkgtest.git] / runner / adt-run.1
1 .TH adt\-run 1 2006 autopkgtest "Linux Programmer's Manual"
2 .SH NAME
3 adt\-run \- test an installed binary package using the package's tests
4 .SH SYNOPSYS
5 .B adt\-run
6 .IR options ...
7 .B \-\-\-
8 .I virt\-server
9 .RI [ virt\-server\-arg ...]
10 .br
11 .SH DESCRIPTION
12 .B adt\-run
13 is the program for invoking the autopkgtest package testing machinery.
14
15 autopkgtest is a facility for testing binary packages, as installed on
16 a system (such as a testbed system).  The tests are those supplied in
17 the source package.
18
19 adt\-run runs each test supplied by a particular package and reports
20 the results.  It drives the specified virtualisation regime as
21 appropriate, and parses the test description metadata, and arranges
22 for data to be copied to and from the testbed as required.
23
24 adt\-run should be invoked (unless options to the contrary are
25 supplied) in the top level directory of the built source tree, on the
26 host.  The package should be installed on the testbed.
27
28 .SH OPTIONS
29 .TP
30 .BR \-\-build\-tree [ \-tb ] " " \fIdirectory\fR
31 Specifies that the built source tree can be found in
32 .IR directory .
33 (Default: adt\-run's current directory, on the host.)
34 .TP
35 .BR \-\-control [ \-tb ] " " \fIcontrol\fR
36 Specifies that
37 .I control
38 should be used as the test control file instead of
39 .B debian/tests/control
40 in the build tree.  Note that it is not an error for this file not to
41 exist; that just means that there are no tests.
42 .TP
43 .BR \-\-output\-dir [ \-tb ] " " \fIoutput\-dir\fR
44 Specifies that stderr and stdout from the tests should be placed in
45 .IR output\-dir .
46 The files are named
47 .BI stderr\- test
48 and
49 .BI stdout\- test
50 for each test
51 .IR test .
52 .TP
53 .BR \-d " | " \-\-debug
54 Enables debugging output.  Probably not hugely interesting.
55 .TP
56 \fB\-\-\-\fR \fIvirt\-server virt\-server\-arg\fR...
57 Specifies the virtualisation regime server, as a command and arguments
58 to invoke.  All the remaining arguments and options after
59 .B \-\-\-
60 are passed to the virtualisation server program.
61
62 .SS NOTES
63 Some options which come in variants with and without
64 .BR \-tb .
65 These specify paths on the testbed and the host, respectively.  The
66 data will be copied by
67 .B adt\-run
68 to where it is needed.
69
70 .SH OUTPUT FORMAT
71 During a normal test run, one line is printed for each test.  This
72 consists of the name of the test, some horizontal whitespace, and
73 either
74 .B PASS
75 or
76 .BR FAIL " reason"
77 or
78 .BR SKIP " reason"
79 where the pass/fail indication is separated by any reason by some
80 horizontal whitespace.
81
82 Sometimes a
83 .B SKIP
84 will be reported when the name of the test is not known or not
85 applicable: for example, when there are no tests in the package, or a
86 there is a test stanza which contains features not understood by this
87 version of
88 .BR adt\-run .
89 In this case
90 .B *
91 will appear where the name of the test should be.
92
93 .SH EXIT STATUS
94 0       all tests passed
95 .br
96 2       at least one test skipped
97 .br
98 4       at least one test failed
99 .br
100 6       at least one test failed and at least one test skipped
101 .br
102 8       no tests in this package
103 .br
104 12      erroneous package
105 .br
106 16      testbed failure
107 .br
108 20      other unexpected failures including bad usage
109
110 .SH SEE ALSO
111 \fBadt\-virt\-chroot\fR(1)
112
113 .SH BUGS
114 This tool still lacks many important features.
115
116 .SH AUTHORS AND COPYRIGHT
117 This manpage is part of autopkgtest, a tool for testing Debian binary
118 packages.  autopkgtest is Copyright (C) 2006 Canonical Ltd and others.
119
120 See \fB/usr/share/doc/autopkgtest/CREDITS\fR for the list of
121 contributors and full copying conditions.