chiark / gitweb /
cacd94cdbd24d50c5a25938a4c9afe8da96d0a00
[mLib] / test / tvec-output.c
1 /* -*-c-*-
2  *
3  * Test vector output management
4  *
5  * (c) 2023 Straylight/Edgeware
6  */
7
8 /*----- Licensing notice --------------------------------------------------*
9  *
10  * This file is part of the mLib utilities library.
11  *
12  * mLib is free software: you can redistribute it and/or modify it under
13  * the terms of the GNU Library General Public License as published by
14  * the Free Software Foundation; either version 2 of the License, or (at
15  * your option) any later version.
16  *
17  * mLib is distributed in the hope that it will be useful, but WITHOUT
18  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
19  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU Library General Public
20  * License for more details.
21  *
22  * You should have received a copy of the GNU Library General Public
23  * License along with mLib.  If not, write to the Free Software
24  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307,
25  * USA.
26  */
27
28 /*----- Header files ------------------------------------------------------*/
29
30 #include "config.h"
31
32 #include <assert.h>
33 #include <ctype.h>
34 #include <stdarg.h>
35 #include <stdio.h>
36 #include <string.h>
37
38 #include <unistd.h>
39
40 #include "alloc.h"
41 #include "bench.h"
42 #include "dstr.h"
43 #include "macros.h"
44 #include "quis.h"
45 #include "report.h"
46 #include "tvec.h"
47
48 /*----- Common machinery --------------------------------------------------*/
49
50 /* --- @regdisp@ --- *
51  *
52  * Arguments:   @unsigned disp@ = a @TVRD_...@ disposition code
53  *
54  * Returns:     A human-readable adjective describing the register
55  *              disposition.
56  */
57
58 static const char *regdisp(unsigned disp)
59 {
60   switch (disp) {
61     case TVRD_INPUT: return "input";
62     case TVRD_OUTPUT: return "output";
63     case TVRD_MATCH: return "matched";
64     case TVRD_EXPECT: return "expected";
65     case TVRD_FOUND: return "found";
66     default: abort();
67   }
68 }
69
70 /* --- @getenv_boolean@ --- *
71  *
72  * Arguments:   @const char *var@ = environment variable name
73  *              @int dflt@ = default value
74  *
75  * Returns:     @0@ if the variable is set to something falseish, @1@ if it's
76  *              set to something truish, or @dflt@ otherwise.
77  */
78
79 static int getenv_boolean(const char *var, int dflt)
80 {
81   const char *p;
82
83   p = getenv(var);
84   if (!p)
85     return (dflt);
86   else if (STRCMP(p, ==, "y") || STRCMP(p, ==, "yes") ||
87            STRCMP(p, ==, "t") || STRCMP(p, ==, "true") ||
88            STRCMP(p, ==, "on") || STRCMP(p, ==, "force") ||
89            STRCMP(p, ==, "1"))
90     return (1);
91   else if (STRCMP(p, ==, "n") || STRCMP(p, ==, "no") ||
92            STRCMP(p, ==, "f") || STRCMP(p, ==, "false") ||
93            STRCMP(p, ==, "nil") || STRCMP(p, ==, "off") ||
94            STRCMP(p, ==, "0"))
95     return (0);
96   else {
97     moan("ignoring unexpected value `%s' for environment variable `%s'",
98          var, p);
99     return (dflt);
100   }
101 }
102
103 /* --- @register_maxnamelen@ --- *
104  *
105  * Arguments:   @const struct tvec_state *tv@ = test vector state
106  *
107  * Returns:     The maximum length of a register name in the current test.
108  */
109
110 static int register_maxnamelen(const struct tvec_state *tv)
111 {
112   const struct tvec_regdef *rd;
113   int maxlen = 10, n;
114
115   for (rd = tv->test->regs; rd->name; rd++)
116     { n = strlen(rd->name); if (n > maxlen) maxlen = n; }
117   return (maxlen);
118 }
119
120 /*----- Output layout -----------------------------------------------------*/
121
122 /* We have two main jobs in output layout: trimming trailing blanks; and
123  * adding a prefix to each line.
124  *
125  * This is somehow much more complicated than it ought to be.
126  */
127
128 struct layout {
129   FILE *fp;                              /* output file */
130   const char *prefix, *pfxtail, *pfxlim; /* prefix pointers */
131   dstr w;                               /* trailing whitespace */
132   unsigned f;                           /* flags */
133 #define LYTF_NEWL 1u                    /*   start of output line */
134 };
135
136 /* Support macros.  These assume `lyt' is defined as a pointer to the `struct
137  * layout' state.
138  */
139
140 #define SPLIT_RANGE(tail, base, limit) do {                             \
141   /* Set TAIL to point just after the last nonspace character between   \
142    * BASE and LIMIT.  If there are no nonspace characters, then set     \
143    * TAIL to equal BASE.                                                \
144    */                                                                   \
145                                                                         \
146   for (tail = limit; tail > base && ISSPACE(tail[-1]); tail--);         \
147 } while (0)
148
149 #define PUT_RANGE(base, limit) do {                                     \
150   /* Write the range of characters between BASE and LIMIT to the output \
151    * file.  Return immediately on error.                                \
152    */                                                                   \
153                                                                         \
154   size_t _n = limit - base;                                             \
155   if (_n && fwrite(base, 1, _n, lyt->fp) < _n) return (-1);             \
156 } while (0)
157
158 #define PUT_CHAR(ch) do {                                               \
159   /* Write CH to the output. Return immediately on error. */            \
160                                                                         \
161   if (putc(ch, lyt->fp) == EOF) return (-1);                            \
162 } while (0)
163
164 #define PUT_PREFIX do {                                                 \
165   /* Output the prefix, if there is one.  Return immediately on error. */ \
166                                                                         \
167   if (lyt->prefix) PUT_RANGE(lyt->prefix, lyt->pfxlim);                 \
168 } while (0)
169
170 #define PUT_SAVED do {                                                  \
171   /* Output the saved trailing blank material in the buffer. */         \
172                                                                         \
173   size_t _n = lyt->w.len;                                               \
174   if (_n && fwrite(lyt->w.buf, 1, _n, lyt->fp) < _n) return (-1);       \
175 } while (0)
176
177 #define PUT_PFXINB do {                                                 \
178   /* Output the initial nonblank portion of the prefix, if there is     \
179    * one.  Return immediately on error.                                 \
180    */                                                                   \
181                                                                         \
182   if (lyt->prefix) PUT_RANGE(lyt->prefix, lyt->pfxtail);                \
183 } while (0)
184
185 #define SAVE_PFXTAIL do {                                               \
186   /* Save the trailing blank portion of the prefix. */                  \
187                                                                         \
188   if (lyt->prefix)                                                      \
189     DPUTM(&lyt->w, lyt->pfxtail, lyt->pfxlim - lyt->pfxtail);           \
190 } while (0)
191
192 /* --- @set_layout_prefix@ --- *
193  *
194  * Arguments:   @struct layout *lyt@ = layout state
195  *              @const char *prefix@ = new prefix string or null
196  *
197  * Returns:     ---
198  *
199  * Use:         Change the configured prefix string.  The change takes effect
200  *              at the start of the next line (or the current line if it's
201  *              empty or only whitespace so far).
202  */
203
204 static void set_layout_prefix(struct layout *lyt, const char *prefix)
205 {
206   const char *q, *l;
207
208  if (!prefix || !*prefix)
209     lyt->prefix = lyt->pfxtail = lyt->pfxlim = 0;
210   else {
211     lyt->prefix = prefix;
212     l = lyt->pfxlim = prefix + strlen(prefix);
213     SPLIT_RANGE(q, prefix, l); lyt->pfxtail = q;
214   }
215 }
216
217 /* --- @init_layout@ --- *
218  *
219  * Arguments:   @struct layout *lyt@ = layout state to initialize
220  *              @FILE *fp@ = output file
221  *              @const char *prefix@ = prefix string (or null if empty)
222  *
223  * Returns:     ---
224  *
225  * Use:         Initialize a layout state.
226  */
227
228 static void init_layout(struct layout *lyt, FILE *fp, const char *prefix)
229 {
230   lyt->fp = fp;
231   lyt->f = LYTF_NEWL;
232   dstr_create(&lyt->w);
233   set_layout_prefix(lyt, prefix);
234 }
235
236 /* --- @destroy_layout@ --- *
237  *
238  * Arguments:   @struct layout *lyt@ = layout state
239  *              @unsigned f@ = flags (@DLF_...@)
240  *
241  * Returns:     ---
242  *
243  * Use:         Releases a layout state and the resources it holds.
244  *              Close the file if @DLF_CLOSE@ is set in @f@; otherwise leave
245  *              it open (in case it's @stderr@ or something).
246  */
247
248 #define DLF_CLOSE 1u
249 static void destroy_layout(struct layout *lyt, unsigned f)
250 {
251   if (f&DLF_CLOSE) fclose(lyt->fp);
252   dstr_destroy(&lyt->w);
253 }
254
255 /* --- @layout_char@ --- *
256  *
257  * Arguments:   @struct layout *lyt@ = layout state
258  *              @int ch@ = character to write
259  *
260  * Returns:     Zero on success, @-1@ on failure.
261  *
262  * Use:         Write a single character to the output.
263  */
264
265 static int layout_char(struct layout *lyt, int ch)
266 {
267   if (ch == '\n') {
268     if (lyt->f&LYTF_NEWL) PUT_PFXINB;
269     PUT_CHAR('\n'); lyt->f |= LYTF_NEWL; DRESET(&lyt->w);
270   } else if (isspace(ch))
271     DPUTC(&lyt->w, ch);
272   else {
273     if (lyt->f&LYTF_NEWL) { PUT_PFXINB; lyt->f &= ~LYTF_NEWL; }
274     PUT_SAVED; PUT_CHAR(ch); DRESET(&lyt->w);
275   }
276   return (0);
277 }
278
279 /* --- @layout_string@ --- *
280  *
281  * Arguments:   @struct layout *lyt@ = layout state
282  *              @const char *p@ = string to write
283  *              @size_t sz@ = length of string
284  *
285  * Returns:     Zero on success, @-1@ on failure.
286  *
287  * Use:         Write a string to the output.
288  */
289
290 static int layout_string(struct layout *lyt, const char *p, size_t sz)
291 {
292   const char *q, *r, *l = p + sz;
293
294   /* This is rather vexing.  There are a small number of jobs to do, but the
295    * logic for deciding which to do when gets rather hairy if, as I've tried
296    * here, one aims to minimize the number of decisions being checked, so
297    * it's worth canning them into macros.
298    *
299    * Here, a `blank' is a whitespace character other than newline.  The input
300    * buffer consists of one or more `segments', each of which consists of:
301    *
302    *   * an initial portion, which is either empty or ends with a nonblank
303    *     character;
304    *
305    *   * a suffix which consists only of blanks; and
306    *
307    *   * an optional newline.
308    *
309    * All segments except the last end with a newline.
310    */
311
312 #define SPLIT_SEGMENT do {                                              \
313   /* Determine the bounds of the current segment.  If there is a final  \
314    * newline, then q is non-null and points to this newline; otherwise, \
315    * q is null.  The initial portion of the segment lies between p .. r \
316    * and the blank suffix lies between r .. q (or r .. l if q is null). \
317    * This sounds awkward, but the suffix is only relevant if there is   \
318    * no newline.                                                        \
319    */                                                                   \
320                                                                         \
321   q = memchr(p, '\n', l - p); SPLIT_RANGE(r, p, q ? q : l);             \
322 } while (0)
323
324 #define PUT_NONBLANK do {                                               \
325   /* Output the initial portion of the segment. */                      \
326                                                                         \
327   PUT_RANGE(p, r);                                                      \
328 } while (0)
329
330 #define PUT_NEWLINE do {                                                \
331   /* Write a newline, and advance to the next segment. */               \
332                                                                         \
333   PUT_CHAR('\n'); p = q + 1;                                            \
334 } while (0)
335
336 #define SAVE_TAIL do {                                                  \
337   /* Save the trailing blank portion of the segment in the buffer.      \
338    * Assumes that there is no newline, since otherwise the suffix would \
339    * be omitted.                                                        \
340    */                                                                   \
341                                                                         \
342   DPUTM(&lyt->w, r, l - r);                                             \
343 } while (0)
344
345   /* Determine the bounds of the first segment.  Handling this is the most
346    * complicated part of this function.
347    */
348   SPLIT_SEGMENT;
349
350   if (!q) {
351     /* This is the only segment.  We'll handle the whole thing here.
352      *
353      * If there's an initial nonblank portion, then we need to write that
354      * out.  Furthermore, if we're at the start of the line then we'll need
355      * to write the prefix, and if there's saved blank material then we'll
356      * need to write that.  Otherwise, there's only blank stuff, which we
357      * accumulate in the buffer.
358      *
359      * If we're at the start of a line here, then put the prefix followed by
360      * any saved whitespace, and then our initial nonblank portion.  Then
361      * save our new trailing space.
362      */
363
364     if (r > p) {
365       if (lyt->f&LYTF_NEWL) { PUT_PREFIX; lyt->f &= ~LYTF_NEWL; }
366       PUT_SAVED; PUT_NONBLANK; DRESET(&lyt->w);
367     }
368     SAVE_TAIL;
369     return (0);
370   }
371
372   /* There is at least one more segment, so we know that there'll be a line
373    * to output.
374    */
375   if (r > p) {
376     if (lyt->f&LYTF_NEWL) PUT_PREFIX;
377     PUT_SAVED; PUT_NONBLANK;
378   } else if (lyt->f&LYTF_NEWL)
379     PUT_PFXINB;
380   PUT_NEWLINE; DRESET(&lyt->w);
381   SPLIT_SEGMENT;
382
383   /* Main loop over whole segments with trailing newlines.  For each one, we
384    * know that we're starting at the beginning of a line and there's a final
385    * newline, so we write the initial prefix and drop the trailing blanks.
386    */
387   while (q) {
388     if (r > p) { PUT_PREFIX; PUT_NONBLANK; }
389     else PUT_PFXINB;
390     PUT_NEWLINE;
391     SPLIT_SEGMENT;
392   }
393
394   /* At the end, there's no final newline.  If there's nonblank material,
395    * then we can write the prefix and the nonblank stuff.  Otherwise, stash
396    * the blank stuff (including the trailing blanks of the prefix) and leave
397    * the newline flag set.
398    */
399   if (r > p) { PUT_PREFIX; PUT_NONBLANK; lyt->f &= ~LYTF_NEWL; }
400   else { lyt->f |= LYTF_NEWL; SAVE_PFXTAIL; }
401   SAVE_TAIL;
402
403 #undef SPLIT_SEGMENT
404 #undef PUT_NONBLANK
405 #undef PUT_NEWLINE
406 #undef SAVE_TAIL
407
408   return (0);
409 }
410
411 #undef SPLIT_RANGE
412 #undef PUT_RANGE
413 #undef PUT_PREFIX
414 #undef PUT_PFXINB
415 #undef PUT_SAVED
416 #undef PUT_CHAR
417 #undef SAVE_PFXTAIL
418
419 /*----- Human-readable output ---------------------------------------------*/
420
421 /* Attributes for colour output.  This should be done better, but @terminfo@
422  * is a disaster.
423  *
424  * An attribute byte holds a foreground colour in the low nibble, a
425  * background colour in the next nibble, and some flags in the next few
426  * bits.  A colour is expressed in classic 1-bit-per-channel style, with red,
427  * green, and blue in bits 0, 1, and 2, and a `bright' flag in bit 3.
428  */
429 #define HAF_FGMASK 0x0f                 /* foreground colour mask */
430 #define HAF_FGSHIFT 0                   /* foreground colour shift */
431 #define HAF_BGMASK 0xf0                 /* background colour mask */
432 #define HAF_BGSHIFT 4                   /* background colour shift */
433 #define HAF_FG 256u                     /* set foreground? */
434 #define HAF_BG 512u                     /* set background? */
435 #define HAF_BOLD 1024u                  /* set bold? */
436 #define HCOL_BLACK 0u                   /* colour codes... */
437 #define HCOL_RED 1u
438 #define HCOL_GREEN 2u
439 #define HCOL_YELLOW 3u
440 #define HCOL_BLUE 4u
441 #define HCOL_MAGENTA 5u
442 #define HCOL_CYAN 6u
443 #define HCOL_WHITE 7u
444 #define HCF_BRIGHT 8u                   /* bright colour flag */
445 #define HFG(col) (HAF_FG | (HCOL_##col) << HAF_FGSHIFT) /* set foreground */
446 #define HBG(col) (HAF_BG | (HCOL_##col) << HAF_BGSHIFT) /* set background */
447
448 /* Predefined attributes. */
449 #define HA_PLAIN 0                   /* nothing special: terminal defaults */
450 #define HA_LOC (HFG(CYAN))              /* filename or line number */
451 #define HA_LOCSEP (HFG(BLUE))           /* location separator `:' */
452 #define HA_ERR (HFG(MAGENTA) | HAF_BOLD) /* error messages */
453 #define HA_NOTE (HFG(YELLOW))           /* notices */
454 #define HA_UNKLEV (HFG(WHITE) | HBG(RED) | HAF_BOLD) /* unknown level */
455 #define HA_UNSET (HFG(YELLOW))          /* register not set */
456 #define HA_FOUND (HFG(RED))             /* incorrect output value */
457 #define HA_EXPECT (HFG(GREEN))          /* what the value should have been */
458 #define HA_WIN (HFG(GREEN))             /* reporting success */
459 #define HA_LOSE (HFG(RED) | HAF_BOLD)   /* reporting failure */
460 #define HA_XFAIL (HFG(BLUE) | HAF_BOLD) /* reporting expected failure */
461 #define HA_SKIP (HFG(YELLOW))           /* reporting a skipped test/group */
462
463 /* Scoreboard indicators. */
464 #define HSB_WIN '.'                     /* test passed */
465 #define HSB_LOSE 'x'                    /* test failed */
466 #define HSB_XFAIL 'o'                   /* test failed expectedly */
467 #define HSB_SKIP '_'                    /* test wasn't run */
468
469 struct human_output {
470   struct tvec_output _o;                /* output base class */
471   struct tvec_state *tv;                /* stashed testing state */
472   struct layout lyt;                    /* output layout */
473   char *outbuf; size_t outsz;           /* buffer for formatted output */
474   dstr scoreboard;                      /* history of test group results */
475   unsigned attr;                        /* current terminal attributes */
476   int maxlen;                           /* longest register name */
477   unsigned f;                           /* flags */
478 #define HOF_TTY 1u                      /*   writing to terminal */
479 #define HOF_DUPERR 2u                   /*   duplicate errors to stderr */
480 #define HOF_COLOUR 4u                   /*   print in angry fruit salad */
481 #define HOF_PROGRESS 8u                 /*   progress display is active */
482 };
483
484 /* --- @set_colour@ --- *
485  *
486  * Arguments:   @FILE *fp@ = output stream to write on
487  *              @int *sep_inout@ = where to maintain separator
488  *              @const char *norm@ = prefix for normal colour
489  *              @const char *bright@ = prefix for bright colour
490  *              @unsigned colour@ = four bit colour code
491  *
492  * Returns:     ---
493  *
494  * Use:         Write to the output stream @fp@, the current character at
495  *              @*sep_inout@, if that's not zero, followed by either @norm@
496  *              or @bright@, according to whether the @HCF_BRIGHT@ flag is
497  *              set in @colour@, followed by the plain colour code from
498  *              @colour@; finally, update @*sep_inout@ to be a `%|;|%'.
499  *
500  *              This is an internal subroutine for @setattr@ below.
501  */
502
503 static void set_colour(FILE *fp, int *sep_inout,
504                        const char *norm, const char *bright,
505                        unsigned colour)
506 {
507   if (*sep_inout) putc(*sep_inout, fp);
508   fprintf(fp, "%s%d", colour&HCF_BRIGHT ? bright : norm, colour&7);
509   *sep_inout = ';';
510 }
511
512 /* --- @setattr@ --- *
513  *
514  * Arguments:   @struct human_output *h@ = output state
515  *              @unsigned attr@ = attribute code to set
516  *
517  * Returns:     ---
518  *
519  * Use:         Send a control sequence to the output stream so that
520  *              subsequent text is printed with the given attributes.
521  *
522  *              Some effort is taken to avoid unnecessary control sequences.
523  *              In particular, if @attr@ matches the current terminal
524  *              settings already, then nothing is written.
525  */
526
527 static void setattr(struct human_output *h, unsigned attr)
528 {
529   unsigned diff = h->attr ^ attr;
530   int sep = 0;
531
532   /* If there's nothing to do, we might as well stop now. */
533   if (!diff || !(h->f&HOF_COLOUR)) return;
534
535   /* Start on the control command. */
536   fputs("\x1b[", h->lyt.fp);
537
538   /* Change the boldness if necessary. */
539   if (diff&HAF_BOLD) {
540     if (attr&HAF_BOLD) putc('1', h->lyt.fp);
541     else { putc('0', h->lyt.fp); diff = h->attr; }
542     sep = ';';
543   }
544
545   /* Change the foreground colour if necessary. */
546   if (diff&(HAF_FG | HAF_FGMASK)) {
547     if (attr&HAF_FG)
548       set_colour(h->lyt.fp, &sep, "3", "9",
549                  (attr&HAF_FGMASK) >> HAF_FGSHIFT);
550     else {
551       if (sep) putc(sep, h->lyt.fp);
552       fputs("39", h->lyt.fp); sep = ';';
553     }
554   }
555
556   /* Change the background colour if necessary. */
557   if (diff&(HAF_BG | HAF_BGMASK)) {
558     if (attr&HAF_BG)
559       set_colour(h->lyt.fp, &sep, "4", "10",
560                  (attr&HAF_BGMASK) >> HAF_BGSHIFT);
561     else {
562       if (sep) putc(sep, h->lyt.fp);
563       fputs("49", h->lyt.fp); sep = ';';
564     }
565   }
566
567   /* Terminate the control command and save the new attributes. */
568   putc('m', h->lyt.fp); h->attr = attr;
569 }
570
571 /* --- @clear_progress@ --- *
572  *
573  * Arguments:   @struct human_output *h@ = output state
574  *
575  * Returns:     ---
576  *
577  * Use:         Remove the progress display from the terminal.
578  *
579  *              If the progress display isn't active then do nothing.
580  */
581
582 static void clear_progress(struct human_output *h)
583 {
584   size_t i, n;
585
586   if (h->f&HOF_PROGRESS) {
587     n = strlen(h->tv->test->name) + 2 + h->scoreboard.len;
588     for (i = 0; i < n; i++) fputs("\b \b", h->lyt.fp);
589     h->f &= ~HOF_PROGRESS;
590   }
591 }
592
593 /* --- @write_scoreboard_char@ --- *
594  *
595  * Arguments:   @struct human_output *h@ = output state
596  *              @int ch@ = scoreboard character to print
597  *
598  * Returns:     ---
599  *
600  * Use:         Write a scoreboard character, indicating the outcome of a
601  *              test, to the output stream, with appropriate highlighting.
602  */
603
604 static void write_scoreboard_char(struct human_output *h, int ch)
605 {
606   switch (ch) {
607     case HSB_LOSE: setattr(h, HA_LOSE); break;
608     case HSB_SKIP: setattr(h, HA_SKIP); break;
609     case HSB_XFAIL: setattr(h, HA_XFAIL); break;
610     default: setattr(h, HA_PLAIN); break;
611   }
612   putc(ch, h->lyt.fp); setattr(h, HA_PLAIN);
613 }
614
615 /* --- @show_progress@ --- *
616  *
617  * Arguments:   @struct human_output *h@ = output state
618  *
619  * Returns:     ---
620  *
621  * Use:         Show the progress display, with the record of outcomes for
622  *              the current test group.
623  *
624  *              If the progress display is already active, or the output
625  *              stream is not interactive, then nothing happens.
626  */
627
628 static void show_progress(struct human_output *h)
629 {
630   struct tvec_state *tv = h->tv;
631   const char *p, *l;
632
633   if (tv->test && (h->f&HOF_TTY) && !(h->f&HOF_PROGRESS)) {
634     fprintf(h->lyt.fp, "%s: ", tv->test->name);
635     if (!(h->f&HOF_COLOUR))
636       dstr_write(&h->scoreboard, h->lyt.fp);
637     else for (p = h->scoreboard.buf, l = p + h->scoreboard.len; p < l; p++)
638       write_scoreboard_char(h, *p);
639     fflush(h->lyt.fp); h->f |= HOF_PROGRESS;
640   }
641 }
642
643 /* --- @human_writech@, @human_write@, @human_writef@ --- *
644  *
645  * Arguments:   @void *go@ = output sink, secretly a @struct human_output@
646  *              @int ch@ = character to write
647  *              @const char *@p@, @size_t sz@ = string (with explicit length)
648  *                      to write
649  *              @const char *p, ...@ = format control string and arguments to
650  *                      write
651  *
652  * Returns:     ---
653  *
654  * Use:         Write characters, strings, or formatted strings to the
655  *              output, applying appropriate layout.
656  *
657  *              For the human output driver, the layout machinery just strips
658  *              trailing spaces.
659  */
660
661 static int human_writech(void *go, int ch)
662   { struct human_output *h = go; return (layout_char(&h->lyt, ch)); }
663
664 static int human_writem(void *go, const char *p, size_t sz)
665   { struct human_output *h = go; return (layout_string(&h->lyt, p, sz)); }
666
667 static int human_nwritef(void *go, size_t maxsz, const char *p, ...)
668 {
669   struct human_output *h = go;
670   size_t n;
671   va_list ap;
672
673   va_start(ap, p);
674   n = gprintf_memputf(&h->outbuf, &h->outsz, maxsz, p, ap);
675   va_end(ap);
676   if (layout_string(&h->lyt, h->outbuf, n)) return (-1);
677   return (n);
678 }
679
680 static const struct gprintf_ops human_printops =
681   { human_writech, human_writem, human_nwritef };
682
683 /* --- @human_bsession@ --- *
684  *
685  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
686  *                      human_output@
687  *              @struct tvec_state *tv@ = the test state producing output
688  *
689  * Returns:     ---
690  *
691  * Use:         Begin a test session.
692  *
693  *              The human driver just records the test state for later
694  *              reference.
695  */
696
697 static void human_bsession(struct tvec_output *o, struct tvec_state *tv)
698   { struct human_output *h = (struct human_output *)o; h->tv = tv; }
699
700 /* --- @report_unusual@ --- *
701  *
702  * Arguments:   @struct human_output *h@ = output sink
703  *              @unsigned nxfail, nskip@ = number of expected failures and
704  *                      skipped tests
705  *
706  * Returns:     ---
707  *
708  * Use:         Write (directly on the output stream) a note about expected
709  *              failures and/or skipped tests, if there were any.
710  */
711
712 static void report_unusual(struct human_output *h,
713                            unsigned nxfail, unsigned nskip)
714 {
715   const char *sep = " (";
716   unsigned f = 0;
717 #define f_any 1u
718
719   if (nxfail) {
720     fprintf(h->lyt.fp, "%s%u ", sep, nxfail);
721     setattr(h, HA_XFAIL);
722     fprintf(h->lyt.fp, "expected %s", nxfail == 1 ? "failure" : "failures");
723     setattr(h, HA_PLAIN);
724     sep = ", "; f |= f_any;
725   }
726
727   if (nskip) {
728     fprintf(h->lyt.fp, "%s%u ", sep, nskip);
729     setattr(h, HA_SKIP); fputs("skipped", h->lyt.fp); setattr(h, HA_PLAIN);
730     sep = ", "; f |= f_any;
731   }
732
733   if (f&f_any) fputc(')', h->lyt.fp);
734
735 #undef f_any
736 }
737
738 /* --- @human_esession@ --- *
739  *
740  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
741  *                      human_output@
742  *
743  * Returns:     Suggested exit code.
744  *
745  * Use:         End a test session.
746  *
747  *              The human driver prints a final summary of the rest results
748  *              and returns a suitable exit code.
749  */
750
751 static int human_esession(struct tvec_output *o)
752 {
753   struct human_output *h = (struct human_output *)o;
754   struct tvec_state *tv = h->tv;
755   unsigned
756     all_win = tv->all[TVOUT_WIN], grps_win = tv->grps[TVOUT_WIN],
757     all_xfail = tv->all[TVOUT_XFAIL],
758     all_lose = tv->all[TVOUT_LOSE], grps_lose = tv->grps[TVOUT_LOSE],
759     all_skip = tv->all[TVOUT_SKIP], grps_skip = tv->grps[TVOUT_SKIP],
760     all_pass = all_win + all_xfail, all_run = all_pass + all_lose,
761     grps_run = grps_win + grps_lose;
762
763   if (!all_lose) {
764     setattr(h, HA_WIN); fputs("PASSED", h->lyt.fp); setattr(h, HA_PLAIN);
765     fprintf(h->lyt.fp, " %s%u %s",
766             !(all_skip || grps_skip) ? "all " : "",
767             all_pass, all_pass == 1 ? "test" : "tests");
768     report_unusual(h, all_xfail, all_skip);
769     fprintf(h->lyt.fp, " in %u %s",
770             grps_win, grps_win == 1 ? "group" : "groups");
771     report_unusual(h, 0, grps_skip);
772   } else {
773     setattr(h, HA_LOSE); fputs("FAILED", h->lyt.fp); setattr(h, HA_PLAIN);
774     fprintf(h->lyt.fp, " %u out of %u %s",
775             all_lose, all_run, all_run == 1 ? "test" : "tests");
776     report_unusual(h, all_xfail, all_skip);
777     fprintf(h->lyt.fp, " in %u out of %u %s",
778             grps_lose, grps_run, grps_run == 1 ? "group" : "groups");
779     report_unusual(h, 0, grps_skip);
780   }
781   fputc('\n', h->lyt.fp);
782
783   if (tv->f&TVSF_ERROR) {
784     setattr(h, HA_ERR); fputs("ERRORS", h->lyt.fp); setattr(h, HA_PLAIN);
785     fputs(" found in input; tests may not have run correctly\n", h->lyt.fp);
786   }
787
788   h->tv = 0; return (tv->f&TVSF_ERROR ? 2 : all_lose ? 1 : 0);
789 }
790
791 /* --- @human_bgroup@ --- *
792  *
793  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
794  *                      human_output@
795  *
796  * Returns:     ---
797  *
798  * Use:         Begin a test group.
799  *
800  *              The human driver determines the length of the longest
801  *              register name, resets the group progress scoreboard, and
802  *              activates the progress display.
803  */
804
805 static void human_bgroup(struct tvec_output *o)
806 {
807   struct human_output *h = (struct human_output *)o;
808
809   h->maxlen = register_maxnamelen(h->tv);
810   dstr_reset(&h->scoreboard); show_progress(h);
811 }
812
813 /* --- @human_skipgroup@ --- *
814  *
815  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
816  *                      human_output@
817  *              @const char *excuse@, @va_list *ap@ = reason for skipping the
818  *                      group, or null
819  *
820  * Returns:     ---
821  *
822  * Use:         Report that a test group is being skipped.
823  *
824  *              The human driver just reports the situation to its output
825  *              stream.
826  */
827
828 static void human_skipgroup(struct tvec_output *o,
829                             const char *excuse, va_list *ap)
830 {
831   struct human_output *h = (struct human_output *)o;
832
833   if (!(h->f&HOF_TTY))
834     fprintf(h->lyt.fp, "%s ", h->tv->test->name);
835   else {
836     show_progress(h); h->f &= ~HOF_PROGRESS;
837     if (h->scoreboard.len) putc(' ', h->lyt.fp);
838   }
839   setattr(h, HA_SKIP); fputs("skipped", h->lyt.fp); setattr(h, HA_PLAIN);
840   if (excuse) { fputs(": ", h->lyt.fp); vfprintf(h->lyt.fp, excuse, *ap); }
841   fputc('\n', h->lyt.fp);
842 }
843
844 /* --- @human_egroup@ --- *
845  *
846  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
847  *                      human_output@
848  *
849  * Returns:     ---
850  *
851  * Use:         Report that a test group has finished.
852  *
853  *              The human driver reports a summary of the group's tests.
854  */
855
856 static void human_egroup(struct tvec_output *o)
857 {
858   struct human_output *h = (struct human_output *)o;
859   struct tvec_state *tv = h->tv;
860   unsigned win = tv->curr[TVOUT_WIN], xfail = tv->curr[TVOUT_XFAIL],
861     lose = tv->curr[TVOUT_LOSE], skip = tv->curr[TVOUT_SKIP],
862     run = win + lose + xfail;
863
864   if (h->f&HOF_TTY) h->f &= ~HOF_PROGRESS;
865   else fprintf(h->lyt.fp, "%s:", h->tv->test->name);
866
867   if (lose) {
868     fprintf(h->lyt.fp, " %u/%u ", lose, run);
869     setattr(h, HA_LOSE); fputs("FAILED", h->lyt.fp); setattr(h, HA_PLAIN);
870     report_unusual(h, xfail, skip);
871   } else {
872     fputc(' ', h->lyt.fp); setattr(h, HA_WIN);
873     fputs("ok", h->lyt.fp); setattr(h, HA_PLAIN);
874     report_unusual(h, xfail, skip);
875   }
876   fputc('\n', h->lyt.fp);
877 }
878
879 /* --- @human_btest@ --- *
880  *
881  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
882  *                      human_output@
883  *
884  * Returns:     ---
885  *
886  * Use:         Report that a test is starting.
887  *
888  *              The human driver makes sure the progress display is active.
889  */
890
891 static void human_btest(struct tvec_output *o)
892   { struct human_output *h = (struct human_output *)o; show_progress(h); }
893
894 /* --- @report_location@ --- *
895  *
896  * Arguments:   @struct human_output *h@ = output state
897  *              @FILE *fp@ = stream to write the location on
898  *              @const char *file@ = filename
899  *              @unsigned lno@ = line number
900  *
901  * Returns:     ---
902  *
903  * Use:         Print the filename and line number to the output stream @fp@.
904  *              Also, if appropriate, print interleaved highlighting control
905  *              codes to our usual output stream.  If @file@ is null then do
906  *              nothing.
907  */
908
909 static void report_location(struct human_output *h, FILE *fp,
910                             const char *file, unsigned lno)
911 {
912   unsigned f = 0;
913 #define f_flush 1u
914
915   /* We emit highlighting if @fp@ is our usual output stream, or the
916    * duplicate-errors flag is clear indicating that (we assume) they're
917    * secretly going to the same place anyway.  If they're different streams,
918    * though, we have to be careful to keep the highlighting and the actual
919    * text synchronized.
920    */
921
922   if (!file)
923     /* nothing to do */;
924   else if (fp != h->lyt.fp && (h->f&HOF_DUPERR))
925     fprintf(fp, "%s:%u: ", file, lno);
926   else {
927     if (fp != h->lyt.fp) f |= f_flush;
928
929 #define FLUSH(fp) do if (f&f_flush) fflush(fp); while (0)
930
931     setattr(h, HA_LOC);         FLUSH(h->lyt.fp);
932     fputs(file, fp);            FLUSH(fp);
933     setattr(h, HA_LOCSEP);      FLUSH(h->lyt.fp);
934     fputc(':', fp);             FLUSH(fp);
935     setattr(h, HA_LOC);         FLUSH(h->lyt.fp);
936     fprintf(fp, "%u", lno);     FLUSH(fp);
937     setattr(h, HA_LOCSEP);      FLUSH(h->lyt.fp);
938     fputc(':', fp);             FLUSH(fp);
939     setattr(h, HA_PLAIN);       FLUSH(h->lyt.fp);
940     fputc(' ', fp);
941
942 #undef FLUSH
943   }
944
945 #undef f_flush
946 }
947
948 /* --- @human_outcome@, @human_skip@, @human_fail@ --- *
949  *
950  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
951  *                      human_output@
952  *              @unsigned attr@ = attribute to apply to the outcome
953  *              @const char *outcome@ = outcome string to report
954  *              @const char *detail@, @va_list *ap@ = a detail message
955  *              @const char *excuse@, @va_list *ap@ = reason for skipping the
956  *                      test
957  *
958  * Returns:     ---
959  *
960  * Use:         Report that a test has been skipped or failed.
961  *
962  *              The human driver reports the situation on its output stream.
963  */
964
965 static void human_outcome(struct tvec_output *o,
966                           unsigned attr, const char *outcome,
967                           const char *detail, va_list *ap)
968 {
969   struct human_output *h = (struct human_output *)o;
970   struct tvec_state *tv = h->tv;
971
972   clear_progress(h);
973   report_location(h, h->lyt.fp, tv->infile, tv->test_lno);
974   fprintf(h->lyt.fp, "`%s' ", tv->test->name);
975   setattr(h, attr); fputs(outcome, h->lyt.fp); setattr(h, HA_PLAIN);
976   if (detail) { fputs(": ", h->lyt.fp); vfprintf(h->lyt.fp, detail, *ap); }
977   fputc('\n', h->lyt.fp);
978 }
979
980 static void human_skip(struct tvec_output *o,
981                        const char *excuse, va_list *ap)
982   { human_outcome(o, HA_SKIP, "skipped", excuse, ap); }
983 static void human_fail(struct tvec_output *o,
984                        const char *detail, va_list *ap)
985   { human_outcome(o, HA_LOSE, "FAILED", detail, ap); }
986
987 /* --- @human_dumpreg@ --- *
988  *
989  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
990  *                      human_output@
991  *              @unsigned disp@ = register disposition
992  *              @const union tvec_regval *rv@ = register value
993  *              @const struct tvec_regdef *rd@ = register definition
994  *
995  * Returns:     ---
996  *
997  * Use:         Dump a register.
998  *
999  *              The human driver applies highlighting to mismatching output
1000  *              registers, but otherwise delegates to the register type
1001  *              handler and the layout machinery.
1002  */
1003
1004 static void human_dumpreg(struct tvec_output *o,
1005                           unsigned disp, const union tvec_regval *rv,
1006                           const struct tvec_regdef *rd)
1007 {
1008   struct human_output *h = (struct human_output *)o;
1009   const char *ds = regdisp(disp); int n = strlen(ds) + strlen(rd->name);
1010
1011   clear_progress(h);
1012   gprintf(&human_printops, h, "%*s%s %s = ",
1013           10 + h->maxlen - n, "", ds, rd->name);
1014   if (h->f&HOF_COLOUR) {
1015     if (!rv) setattr(h, HA_UNSET);
1016     else if (disp == TVRD_FOUND) setattr(h, HA_FOUND);
1017     else if (disp == TVRD_EXPECT) setattr(h, HA_EXPECT);
1018   }
1019   if (!rv) gprintf(&human_printops, h, "#unset");
1020   else rd->ty->dump(rv, rd, 0, &human_printops, h);
1021   setattr(h, HA_PLAIN); layout_char(&h->lyt, '\n');
1022 }
1023
1024 /* --- @human_etest@ --- *
1025  *
1026  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1027  *                      human_output@
1028  *              @unsigned outcome@ = the test outcome
1029  *
1030  * Returns:     ---
1031  *
1032  * Use:         Report that a test has finished.
1033  *
1034  *              The human driver reactivates the progress display, if
1035  *              necessary, and adds a new character for the completed test.
1036  */
1037
1038 static void human_etest(struct tvec_output *o, unsigned outcome)
1039 {
1040   struct human_output *h = (struct human_output *)o;
1041   int ch;
1042
1043   if (h->f&HOF_TTY) {
1044     show_progress(h);
1045     switch (outcome) {
1046       case TVOUT_WIN: ch = HSB_WIN; break;
1047       case TVOUT_LOSE: ch = HSB_LOSE; break;
1048       case TVOUT_XFAIL: ch = HSB_XFAIL; break;
1049       case TVOUT_SKIP: ch = HSB_SKIP; break;
1050       default: abort();
1051     }
1052     dstr_putc(&h->scoreboard, ch);
1053     write_scoreboard_char(h, ch); fflush(h->lyt.fp);
1054   }
1055 }
1056
1057 /* --- @human_bbench@ --- *
1058  *
1059  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1060  *                      human_output@
1061  *              @const char *ident@ = identifying register values
1062  *              @unsigned unit@ = measurement unit (@TVBU_...@)
1063  *
1064  * Returns:     ---
1065  *
1066  * Use:         Report that a benchmark has started.
1067  *
1068  *              The human driver just prints the start of the benchmark
1069  *              report.
1070  */
1071
1072 static void human_bbench(struct tvec_output *o,
1073                          const char *ident, unsigned unit)
1074 {
1075   struct human_output *h = (struct human_output *)o;
1076   struct tvec_state *tv = h->tv;
1077
1078   clear_progress(h);
1079   fprintf(h->lyt.fp, "%s: %s: ", tv->test->name, ident); fflush(h->lyt.fp);
1080 }
1081
1082 /* --- @human_ebench@ --- *
1083  *
1084  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1085  *                      human_output@
1086  *              @const char *ident@ = identifying register values
1087  *              @unsigned unit@ = measurement unit (@TVBU_...@)
1088  *              @const struct bench_timing *tm@ = measurement
1089  *
1090  * Returns:     ---
1091  *
1092  * Use:         Report a benchmark's results
1093  *
1094  *              The human driver just delegates to the default benchmark
1095  *              reporting, via the layout machinery.
1096  */
1097
1098 static void human_ebench(struct tvec_output *o,
1099                          const char *ident, unsigned unit,
1100                          const struct bench_timing *tm)
1101 {
1102   struct human_output *h = (struct human_output *)o;
1103
1104   tvec_benchreport(&human_printops, h, unit, tm);
1105   fputc('\n', h->lyt.fp);
1106 }
1107
1108 /* --- @human_report@ --- *
1109  *
1110  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1111  *                      human_output@
1112  *              @unsigned level@ = message level (@TVLEV_...@)
1113  *              @const char *msg@, @va_list *ap@ = format string and
1114  *                      arguments
1115  *
1116  * Returns:     ---
1117  *
1118  * Use:         Report a message to the user.
1119  *
1120  *              The human driver arranges to show the message on @stderr@ as
1121  *              well as the usual output, with a certain amount of
1122  *              intelligence in case they're both actually the same device.
1123  */
1124
1125 static void human_report(struct tvec_output *o, unsigned level,
1126                          const char *msg, va_list *ap)
1127 {
1128   struct human_output *h = (struct human_output *)o;
1129   struct tvec_state *tv = h->tv;
1130   const char *levstr; unsigned levattr;
1131   dstr d = DSTR_INIT;
1132   unsigned f = 0;
1133 #define f_flush 1u
1134 #define f_progress 2u
1135
1136   dstr_vputf(&d, msg, ap); dstr_putc(&d, '\n');
1137
1138   switch (level) {
1139 #define CASE(tag, name, val)                                            \
1140     case TVLEV_##tag: levstr = name; levattr = HA_##tag; break;
1141     TVEC_LEVELS(CASE)
1142     default: levstr = "??"; levattr = HA_UNKLEV; break;
1143   }
1144
1145   if (h->lyt.fp != stderr && !(h->f&HOF_DUPERR)) f |= f_flush;
1146
1147 #define FLUSH do if (f&f_flush) fflush(h->lyt.fp); while (0)
1148
1149   if (h->f^HOF_PROGRESS)
1150     { clear_progress(h); fflush(h->lyt.fp); f |= f_progress; }
1151   fprintf(stderr, "%s: ", QUIS);
1152   report_location(h, stderr, tv->infile, tv->lno);
1153   setattr(h, levattr); FLUSH; fputs(levstr, stderr); setattr(h, 0); FLUSH;
1154   fputs(": ", stderr); fwrite(d.buf, 1, d.len, stderr);
1155
1156 #undef FLUSH
1157
1158   if (h->f&HOF_DUPERR) {
1159     report_location(h, h->lyt.fp, tv->infile, tv->lno);
1160     fprintf(h->lyt.fp, "%s: ", levstr);
1161     fwrite(d.buf, 1, d.len, h->lyt.fp);
1162   }
1163   if (f&f_progress) show_progress(h);
1164
1165 #undef f_flush
1166 #undef f_progress
1167 }
1168
1169 /* --- @human_destroy@ --- *
1170  *
1171  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1172  *                      human_output@
1173  *
1174  * Returns:     ---
1175  *
1176  * Use:         Release the resources held by the output driver.
1177  */
1178
1179 static void human_destroy(struct tvec_output *o)
1180 {
1181   struct human_output *h = (struct human_output *)o;
1182
1183   destroy_layout(&h->lyt,
1184                  h->lyt.fp == stdout || h->lyt.fp == stderr ? 0 : DLF_CLOSE);
1185   dstr_destroy(&h->scoreboard);
1186   xfree(h->outbuf); xfree(h);
1187 }
1188
1189 static const struct tvec_outops human_ops = {
1190   human_bsession, human_esession,
1191   human_bgroup, human_skipgroup, human_egroup,
1192   human_btest, human_skip, human_fail, human_dumpreg, human_etest,
1193   human_bbench, human_ebench,
1194   human_report,
1195   human_destroy
1196 };
1197
1198 /* --- @tvec_humanoutput@ --- *
1199  *
1200  * Arguments:   @FILE *fp@ = output file to write on
1201  *
1202  * Returns:     An output formatter.
1203  *
1204  * Use:         Return an output formatter which writes on @fp@ with the
1205  *              expectation that a human will be watching and interpreting
1206  *              the output.  If @fp@ denotes a terminal, the display shows a
1207  *              `scoreboard' indicating the outcome of each test case
1208  *              attempted, and may in addition use colour and other
1209  *              highlighting.
1210  */
1211
1212 struct tvec_output *tvec_humanoutput(FILE *fp)
1213 {
1214   struct human_output *h;
1215   const char *p;
1216
1217   h = xmalloc(sizeof(*h)); h->_o.ops = &human_ops;
1218   h->f = 0; h->attr = 0;
1219
1220   init_layout(&h->lyt, fp, 0);
1221   h->outbuf = 0; h->outsz = 0;
1222
1223   switch (getenv_boolean("TVEC_TTY", -1)) {
1224     case 1: h->f |= HOF_TTY; break;
1225     case 0: break;
1226     default:
1227       if (isatty(fileno(fp))) h->f |= HOF_TTY;
1228       break;
1229   }
1230   switch (getenv_boolean("TVEC_COLOUR", -1)) {
1231     case 1: h->f |= HOF_COLOUR; break;
1232     case 0: break;
1233     default:
1234       if (h->f&HOF_TTY) {
1235         p = getenv("TERM");
1236         if (p && STRCMP(p, !=, "dumb")) h->f |= HOF_COLOUR;
1237       }
1238       break;
1239   }
1240
1241   if (fp != stderr && (fp != stdout || !(h->f&HOF_TTY))) h->f |= HOF_DUPERR;
1242   dstr_create(&h->scoreboard);
1243   return (&h->_o);
1244 }
1245
1246 /*----- Perl's `Test Anything Protocol' -----------------------------------*/
1247
1248 struct tap_output {
1249   struct tvec_output _o;                /* output base class */
1250   struct tvec_state *tv;                /* stashed testing state */
1251   struct layout lyt;                    /* output layout */
1252   char *outbuf; size_t outsz;           /* buffer for formatted output */
1253   unsigned grpix, testix;               /* group and test indices */
1254   unsigned previx;                      /* previously reported test index */
1255   int maxlen;                           /* longest register name */
1256 };
1257
1258 /* --- @tap_writech@, @tap_write@, @tap_writef@ --- *
1259  *
1260  * Arguments:   @void *go@ = output sink, secretly a @struct tap_output@
1261  *              @int ch@ = character to write
1262  *              @const char *@p@, @size_t sz@ = string (with explicit length)
1263  *                      to write
1264  *              @const char *p, ...@ = format control string and arguments to
1265  *                      write
1266  *
1267  * Returns:     ---
1268  *
1269  * Use:         Write characters, strings, or formatted strings to the
1270  *              output, applying appropriate layout.
1271  *
1272  *              For the TAP output driver, the layout machinery prefixes each
1273  *              line with `    ## ' and strips trailing spaces.
1274  */
1275
1276 static int tap_writech(void *go, int ch)
1277 {
1278   struct tap_output *t = go;
1279
1280   if (layout_char(&t->lyt, ch)) return (-1);
1281   else return (1);
1282 }
1283
1284 static int tap_writem(void *go, const char *p, size_t sz)
1285 {
1286   struct tap_output *t = go;
1287
1288   if (layout_string(&t->lyt, p, sz)) return (-1);
1289   else return (sz);
1290 }
1291
1292 static int tap_nwritef(void *go, size_t maxsz, const char *p, ...)
1293 {
1294   struct tap_output *t = go;
1295   size_t n;
1296   va_list ap;
1297
1298   va_start(ap, p);
1299   n = gprintf_memputf(&t->outbuf, &t->outsz, maxsz, p, ap);
1300   va_end(ap);
1301   if (layout_string(&t->lyt, t->outbuf, n)) return (-1);
1302   return (n);
1303 }
1304
1305 static const struct gprintf_ops tap_printops =
1306   { tap_writech, tap_writem, tap_nwritef };
1307
1308 /* --- @tap_bsession@ --- *
1309  *
1310  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1311  *                      tap_output@
1312  *              @struct tvec_state *tv@ = the test state producing output
1313  *
1314  * Returns:     ---
1315  *
1316  * Use:         Begin a test session.
1317  *
1318  *              The TAP driver records the test state for later reference,
1319  *              initializes the group index counter, and prints the version
1320  *              number.
1321  */
1322
1323 static void tap_bsession(struct tvec_output *o, struct tvec_state *tv)
1324 {
1325   struct tap_output *t = (struct tap_output *)o;
1326
1327   t->tv = tv; t->grpix = 0;
1328   fputs("TAP version 13\n", t->lyt.fp); /* but secretly 14 really */
1329 }
1330
1331 /* --- @tap_esession@ --- *
1332  *
1333  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1334  *                      tap_output@
1335  *
1336  * Returns:     Suggested exit code.
1337  *
1338  * Use:         End a test session.
1339  *
1340  *              The TAP driver prints a final summary of the rest results
1341  *              and returns a suitable exit code.  If errors occurred, it
1342  *              instead prints a `Bail out!' line forcing the reader to
1343  *              report a failure.
1344  */
1345
1346 static int tap_esession(struct tvec_output *o)
1347 {
1348   struct tap_output *t = (struct tap_output *)o;
1349   struct tvec_state *tv = t->tv;
1350
1351   if (tv->f&TVSF_ERROR) {
1352     fputs("Bail out!  "
1353           "Errors found in input; tests may not have run correctly\n",
1354           t->lyt.fp);
1355     return (2);
1356   }
1357
1358   fprintf(t->lyt.fp, "1..%u\n", t->grpix);
1359   t->tv = 0; return (tv->all[TVOUT_LOSE] ? 1 : 0);
1360 }
1361
1362 /* --- @tap_bgroup@ --- *
1363  *
1364  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1365  *                      tap_output@
1366  *
1367  * Returns:     ---
1368  *
1369  * Use:         Begin a test group.
1370  *
1371  *              The TAP driver determines the length of the longest
1372  *              register name, resets the group progress scoreboard, and
1373  *              activates the progress display.
1374  */
1375
1376 static void tap_bgroup(struct tvec_output *o)
1377 {
1378   struct tap_output *t = (struct tap_output *)o;
1379   struct tvec_state *tv = t->tv;
1380
1381   t->grpix++; t->testix = t->previx = 0;
1382   t->maxlen = register_maxnamelen(t->tv);
1383   fprintf(t->lyt.fp, "# Subtest: %s\n", tv->test->name);
1384 }
1385
1386 /* --- @tap_skipgroup@ --- *
1387  *
1388  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1389  *                      tap_output@
1390  *              @const char *excuse@, @va_list *ap@ = reason for skipping the
1391  *                      group, or null
1392  *
1393  * Returns:     ---
1394  *
1395  * Use:         Report that a test group is being skipped.
1396  *
1397  *              The TAP driver just reports the situation to its output
1398  *              stream.
1399  */
1400
1401 static void tap_skipgroup(struct tvec_output *o,
1402                           const char *excuse, va_list *ap)
1403 {
1404   struct tap_output *t = (struct tap_output *)o;
1405
1406   fprintf(t->lyt.fp, "    1..%u\n", t->testix);
1407   fprintf(t->lyt.fp, "ok %u %s # SKIP", t->grpix, t->tv->test->name);
1408   if (excuse) { fputc(' ', t->lyt.fp); vfprintf(t->lyt.fp, excuse, *ap); }
1409   fputc('\n', t->lyt.fp);
1410 }
1411
1412 /* --- @tap_egroup@ --- *
1413  *
1414  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1415  *                      tap_output@
1416  *
1417  * Returns:     ---
1418  *
1419  * Use:         Report that a test group has finished.
1420  *
1421  *              The TAP driver reports a summary of the group's tests.
1422  */
1423
1424 static void tap_egroup(struct tvec_output *o)
1425 {
1426   struct tap_output *t = (struct tap_output *)o;
1427   struct tvec_state *tv = t->tv;
1428
1429   fprintf(t->lyt.fp, "    1..%u\n", t->testix);
1430   fprintf(t->lyt.fp, "%s %u - %s\n",
1431           tv->curr[TVOUT_LOSE] ? "not ok" : "ok",
1432           t->grpix, tv->test->name);
1433 }
1434
1435 /* --- @tap_btest@ --- *
1436  *
1437  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1438  *                      tap_output@
1439  *
1440  * Returns:     ---
1441  *
1442  * Use:         Report that a test is starting.
1443  *
1444  *              The TAP driver advances its test counter.  (We could do this
1445  *              by adding up up the counters in @tv->curr@, and add on the
1446  *              current test, but it's easier this way.)
1447  */
1448
1449 static void tap_btest(struct tvec_output *o)
1450   { struct tap_output *t = (struct tap_output *)o; t->testix++; }
1451
1452 /* --- @tap_outcome@, @tap_skip@, @tap_fail@ --- *
1453  *
1454  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1455  *                      tap_output@
1456  *              @unsigned attr@ = attribute to apply to the outcome
1457  *              @const char *outcome@ = outcome string to report
1458  *              @const char *detail@, @va_list *ap@ = a detail message
1459  *              @const char *excuse@, @va_list *ap@ = reason for skipping the
1460  *                      test
1461  *
1462  * Returns:     ---
1463  *
1464  * Use:         Report that a test has been skipped or failed.
1465  *
1466  *              The TAP driver reports the situation on its output stream.
1467  *              TAP only allows us to report a single status for each
1468  *              subtest, so we notice when we've already reported a status
1469  *              for the current test and convert the second report as a
1470  *              comment.  This should only happen in the case of multiple
1471  *              failures.
1472  */
1473
1474 static void tap_outcome(struct tvec_output *o,
1475                         const char *head, const char *tail,
1476                         const char *detail, va_list *ap)
1477 {
1478   struct tap_output *t = (struct tap_output *)o;
1479   struct tvec_state *tv = t->tv;
1480
1481   fprintf(t->lyt.fp, "    %s %u - %s:%u%s",
1482           t->testix == t->previx ? "##" : head,
1483           t->testix, tv->infile, tv->test_lno, tail);
1484   if (detail)
1485     { fputc(' ', t->lyt.fp); vfprintf(t->lyt.fp, detail, *ap); }
1486   fputc('\n', t->lyt.fp);
1487   t->previx = t->testix;
1488 }
1489
1490 static void tap_skip(struct tvec_output *o, const char *excuse, va_list *ap)
1491   { tap_outcome(o, "ok", " # SKIP", excuse, ap); }
1492 static void tap_fail(struct tvec_output *o, const char *detail, va_list *ap)
1493   { tap_outcome(o, "not ok", "", detail, ap); }
1494
1495 /* --- @tap_dumpreg@ --- *
1496  *
1497  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1498  *                      tap_output@
1499  *              @unsigned disp@ = register disposition
1500  *              @const union tvec_regval *rv@ = register value
1501  *              @const struct tvec_regdef *rd@ = register definition
1502  *
1503  * Returns:     ---
1504  *
1505  * Use:         Dump a register.
1506  *
1507  *              The TAP driver applies highlighting to mismatching output
1508  *              registers, but otherwise delegates to the register type
1509  *              handler and the layout machinery.  The result is that the
1510  *              register dump is marked as a comment and indented.
1511  */
1512
1513 static void tap_dumpreg(struct tvec_output *o,
1514                         unsigned disp, const union tvec_regval *rv,
1515                         const struct tvec_regdef *rd)
1516 {
1517   struct tap_output *t = (struct tap_output *)o;
1518   const char *ds = regdisp(disp); int n = strlen(ds) + strlen(rd->name);
1519
1520   set_layout_prefix(&t->lyt, "    ## ");
1521   gprintf(&tap_printops, t, "%*s%s %s = ",
1522           10 + t->maxlen - n, "", ds, rd->name);
1523   if (!rv) gprintf(&tap_printops, t, "#<unset>");
1524   else rd->ty->dump(rv, rd, 0, &tap_printops, t);
1525   layout_char(&t->lyt, '\n');
1526 }
1527
1528 /* --- @tap_etest@ --- *
1529  *
1530  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1531  *                      tap_output@
1532  *              @unsigned outcome@ = the test outcome
1533  *
1534  * Returns:     ---
1535  *
1536  * Use:         Report that a test has finished.
1537  *
1538  *              The TAP driver reports the outcome of the test, if that's not
1539  *              already decided.
1540  */
1541
1542 static void tap_etest(struct tvec_output *o, unsigned outcome)
1543 {
1544   switch (outcome) {
1545     case TVOUT_WIN:
1546       tap_outcome(o, "ok", "", 0, 0);
1547       break;
1548     case TVOUT_XFAIL:
1549       tap_outcome(o, "not ok", " # TODO expected failure", 0, 0);
1550       break;
1551   }
1552 }
1553
1554 /* --- @tap_bbench@ --- *
1555  *
1556  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1557  *                      tap_output@
1558  *              @const char *ident@ = identifying register values
1559  *              @unsigned unit@ = measurement unit (@TVBU_...@)
1560  *
1561  * Returns:     ---
1562  *
1563  * Use:         Report that a benchmark has started.
1564  *
1565  *              The TAP driver does nothing here.  All of the reporting
1566  *              happens in @tap_ebench@.
1567  */
1568
1569 static void tap_bbench(struct tvec_output *o,
1570                        const char *ident, unsigned unit)
1571   { ; }
1572
1573 /* --- @tap_ebench@ --- *
1574  *
1575  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1576  *                      tap_output@
1577  *              @const char *ident@ = identifying register values
1578  *              @unsigned unit@ = measurement unit (@TVBU_...@)
1579  *              @const struct bench_timing *tm@ = measurement
1580  *
1581  * Returns:     ---
1582  *
1583  * Use:         Report a benchmark's results
1584  *
1585  *              The TAP driver just delegates to the default benchmark
1586  *              reporting, via the layout machinery so that the result is
1587  *              printed as a comment.
1588  */
1589
1590 static void tap_ebench(struct tvec_output *o,
1591                        const char *ident, unsigned unit,
1592                        const struct bench_timing *tm)
1593 {
1594   struct tap_output *t = (struct tap_output *)o;
1595   struct tvec_state *tv = t->tv;
1596
1597   set_layout_prefix(&t->lyt, "    ## ");
1598   gprintf(&tap_printops, t, "%s: %s: ", tv->test->name, ident);
1599   tvec_benchreport(&tap_printops, t, unit, tm);
1600   layout_char(&t->lyt, '\n');
1601 }
1602
1603 /* --- @tap_report@ --- *
1604  *
1605  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1606  *                      tap_output@
1607  *              @unsigned level@ = message level (@TVLEV_...@)
1608  *              @const char *msg@, @va_list *ap@ = format string and
1609  *                      arguments
1610  *
1611  * Returns:     ---
1612  *
1613  * Use:         Report a message to the user.
1614  *
1615  *              Messages are reported as comments, so that they can be
1616  *              accumulated by the reader.  An error will cause a later
1617  *              bailout or, if we crash before then, a missing plan line,
1618  *              either of which will cause the reader to report a serious
1619  *              problem.
1620  */
1621
1622 static void tap_report(struct tvec_output *o, unsigned level,
1623                        const char *msg, va_list *ap)
1624 {
1625   struct tap_output *t = (struct tap_output *)o;
1626   struct tvec_state *tv = t->tv;
1627
1628   if (tv->test) set_layout_prefix(&t->lyt, "    ## ");
1629   else set_layout_prefix(&t->lyt, "## ");
1630
1631   if (tv->infile) gprintf(&tap_printops, t, "%s:%u: ", tv->infile, tv->lno);
1632   gprintf(&tap_printops, t, "%s: ", tvec_strlevel(level));
1633   vgprintf(&tap_printops, t, msg, ap);
1634   layout_char(&t->lyt, '\n');
1635 }
1636
1637 /* --- @tap_destroy@ --- *
1638  *
1639  * Arguments:   @struct tvec_output *o@ = output sink, secretly a @struct
1640  *                      tap_output@
1641  *
1642  * Returns:     ---
1643  *
1644  * Use:         Release the resources held by the output driver.
1645  */
1646
1647 static void tap_destroy(struct tvec_output *o)
1648 {
1649   struct tap_output *t = (struct tap_output *)o;
1650
1651   destroy_layout(&t->lyt,
1652                  t->lyt.fp == stdout || t->lyt.fp == stderr ? 0 : DLF_CLOSE);
1653   xfree(t->outbuf); xfree(t);
1654 }
1655
1656 static const struct tvec_outops tap_ops = {
1657   tap_bsession, tap_esession,
1658   tap_bgroup, tap_skipgroup, tap_egroup,
1659   tap_btest, tap_skip, tap_fail, tap_dumpreg, tap_etest,
1660   tap_bbench, tap_ebench,
1661   tap_report,
1662   tap_destroy
1663 };
1664
1665 /* --- @tvec_tapoutput@ --- *
1666  *
1667  * Arguments:   @FILE *fp@ = output file to write on
1668  *
1669  * Returns:     An output formatter.
1670  *
1671  * Use:         Return an output formatter which writes on @fp@ in `TAP'
1672  *              (`Test Anything Protocol') format.
1673  *
1674  *              TAP comes from the Perl community, but has spread rather
1675  *              further.  This driver produces TAP version 14, but pretends
1676  *              to be version 13.  The driver produces a TAP `test point' --
1677  *              i.e., a result reported as `ok' or `not ok' -- for each input
1678  *              test group.  Failure reports and register dumps are produced
1679  *              as diagnostic messages before the final group result.  (TAP
1680  *              permits structuerd YAML data after the test-point result,
1681  *              which could be used to report details, but (a) postponing the
1682  *              details until after the report is inconvenient, and (b) there
1683  *              is no standardization for the YAML anyway, so in practice
1684  *              it's no more useful than the unstructured diagnostics.
1685  */
1686
1687 struct tvec_output *tvec_tapoutput(FILE *fp)
1688 {
1689   struct tap_output *t;
1690
1691   t = xmalloc(sizeof(*t)); t->_o.ops = &tap_ops;
1692   init_layout(&t->lyt, fp, 0);
1693   t->outbuf = 0; t->outsz = 0;
1694   return (&t->_o);
1695 }
1696
1697 /*----- Default output ----------------------------------------------------*/
1698
1699 /* --- @tvec_dfltoutput@ --- *
1700  *
1701  * Arguments:   @FILE *fp@ = output file to write on
1702  *
1703  * Returns:     An output formatter.
1704  *
1705  * Use:         Selects and instantiates an output formatter suitable for
1706  *              writing on @fp@.  The policy is subject to change, but
1707  *              currently the `human' output format is selected if @fp@ is
1708  *              interactive (i.e., if @isatty(fileno(fp))@ is true), and
1709  *              otherwise the `tap' format is used.
1710  */
1711
1712 struct tvec_output *tvec_dfltout(FILE *fp)
1713 {
1714   int ttyp = getenv_boolean("TVEC_TTY", -1);
1715
1716   if (ttyp == -1) ttyp = isatty(fileno(fp));
1717   if (ttyp) return (tvec_humanoutput(fp));
1718   else return (tvec_tapoutput(fp));
1719 }
1720
1721 /*----- That's all, folks -------------------------------------------------*/