chiark / gitweb /
977e131fbeda106fcaa8fe7964af878ccbe2ebe9
[secnet.git] / util.c
1 /*
2  * util.c
3  * - output and logging support
4  * - program lifetime support
5  * - IP address and subnet munging routines
6  * - MPI convenience functions
7  */
8 /*
9  * This file is part of secnet.
10  * See README for full list of copyright holders.
11  *
12  * secnet is free software; you can redistribute it and/or modify it
13  * under the terms of the GNU General Public License as published by
14  * the Free Software Foundation; either version 3 of the License, or
15  * (at your option) any later version.
16  * 
17  * secnet is distributed in the hope that it will be useful, but
18  * WITHOUT ANY WARRANTY; without even the implied warranty of
19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
20  * General Public License for more details.
21  * 
22  * You should have received a copy of the GNU General Public License
23  * version 3 along with secnet; if not, see
24  * https://www.gnu.org/licenses/gpl.html.
25  */
26
27 #include "secnet.h"
28 #include <stdio.h>
29 #include <string.h>
30 #include <errno.h>
31 #include <unistd.h>
32 #include <limits.h>
33 #include <assert.h>
34 #include <sys/wait.h>
35 #include <adns.h>
36 #include "util.h"
37 #include "unaligned.h"
38 #include "magic.h"
39 #include "ipaddr.h"
40
41 #define MIN_BUFFER_SIZE 64
42 #define DEFAULT_BUFFER_SIZE 4096
43 #define MAX_BUFFER_SIZE 131072
44
45 static const char *hexdigits="0123456789abcdef";
46
47 uint32_t current_phase=0;
48
49 struct phase_hook {
50     hook_fn *fn;
51     void *state;
52     LIST_ENTRY(phase_hook) entry;
53 };
54
55 static LIST_HEAD(, phase_hook) hooks[NR_PHASES];
56
57 char *safe_strdup(const char *s, const char *message)
58 {
59     char *d;
60     d=strdup(s);
61     if (!d) {
62         fatal_perror("%s",message);
63     }
64     return d;
65 }
66
67 void *safe_malloc(size_t size, const char *message)
68 {
69     void *r;
70     if (!size)
71         return 0;
72     r=malloc(size);
73     if (!r) {
74         fatal_perror("%s",message);
75     }
76     return r;
77 }
78 void *safe_realloc_ary(void *p, size_t size, size_t count,
79                        const char *message) {
80     if (count >= INT_MAX/size) {
81         fatal("array allocation overflow: %s", message);
82     }
83     assert(size && count);
84     p = realloc(p, size*count);
85     if (!p)
86         fatal_perror("%s", message);
87     return p;
88 }
89
90 void *safe_malloc_ary(size_t size, size_t count, const char *message) {
91     if (!size || !count)
92         return 0;
93     return safe_realloc_ary(0,size,count,message);
94 }
95
96 void hex_encode(const uint8_t *bin, int binsize, char *buff)
97 {
98     int i;
99
100     for (i=0; i<binsize; i++) {
101         buff[i*2]=hexdigits[(bin[i] & 0xf0) >> 4];
102         buff[i*2+1]=hexdigits[(bin[i] & 0xf)];
103     }
104     buff[binsize*2]=0;
105 }
106
107 string_t hex_encode_alloc(const uint8_t *bin, int binsize)
108 {
109     char *buff;
110
111     buff=safe_malloc(hex_encode_size(binsize),"hex_encode");
112     hex_encode(bin,binsize,buff);
113     return buff;
114 }
115
116 static uint8_t hexval(uint8_t c)
117 {
118     switch (c) {
119     case '0': return 0;
120     case '1': return 1;
121     case '2': return 2;
122     case '3': return 3;
123     case '4': return 4;
124     case '5': return 5;
125     case '6': return 6;
126     case '7': return 7;
127     case '8': return 8;
128     case '9': return 9;
129     case 'a': return 10;
130     case 'A': return 10;
131     case 'b': return 11;
132     case 'B': return 11;
133     case 'c': return 12;
134     case 'C': return 12;
135     case 'd': return 13;
136     case 'D': return 13;
137     case 'e': return 14;
138     case 'E': return 14;
139     case 'f': return 15;
140     case 'F': return 15;
141     }
142     return -1;
143 }
144
145 bool_t hex_decode(uint8_t *buffer, int32_t buflen, int32_t *outlen,
146                   cstring_t hb, bool_t allow_odd_nibble)
147 {
148     int i = 0, j = 0, l = strlen(hb), hi, lo;
149     bool_t ok = False;
150
151     if (!l || !buflen) { ok = !l; goto done; }
152     if (l&1) {
153         /* The number starts with a half-byte */
154         if (!allow_odd_nibble) goto done;
155         lo = hexval(hb[j++]); if (lo < 0) goto done;
156         buffer[i++] = lo;
157     }
158     for (; hb[j] && i < buflen; i++) {
159         hi = hexval(hb[j++]);
160         lo = hexval(hb[j++]);
161         if (hi < 0 || lo < 0) goto done;
162         buffer[i] = (hi << 4) | lo;
163     }
164     ok = !hb[j];
165 done:
166     *outlen = i;
167     return ok;
168 }
169
170 void read_mpbin(MP_INT *a, uint8_t *bin, int binsize)
171 {
172     char *buff = hex_encode_alloc(bin, binsize);
173     mpz_set_str(a, buff, 16);
174     free(buff);
175 }
176
177 char *write_mpstring(MP_INT *a)
178 {
179     char *buff;
180
181     buff=safe_malloc(mpz_sizeinbase(a,16)+2,"write_mpstring");
182     mpz_get_str(buff, 16, a);
183     return buff;
184 }
185
186 int32_t write_mpbin(MP_INT *a, uint8_t *buffer, int32_t buflen)
187 {
188     char *hb = write_mpstring(a);
189     int32_t len;
190     hex_decode(buffer, buflen, &len, hb, True);
191     free(hb);
192     return len;
193 }
194
195 #define DEFINE_SETFDFLAG(fn,FL,FLAG)                                    \
196 void fn(int fd) {                                                       \
197     int r=fcntl(fd, F_GET##FL);                                         \
198     if (r<0) fatal_perror("fcntl(,F_GET" #FL ") failed");               \
199     r=fcntl(fd, F_SET##FL, r|FLAG);                                     \
200     if (r<0) fatal_perror("fcntl(,F_SET" #FL ",|" #FLAG ") failed");    \
201 }
202
203 DEFINE_SETFDFLAG(setcloexec,FD,FD_CLOEXEC);
204 DEFINE_SETFDFLAG(setnonblock,FL,O_NONBLOCK);
205
206 void pipe_cloexec(int fd[2]) {
207     int r=pipe(fd);
208     if (r) fatal_perror("pipe");
209     setcloexec(fd[0]);
210     setcloexec(fd[1]);
211 }
212
213 static const char *phases[NR_PHASES]={
214     "PHASE_INIT",
215     "PHASE_GETOPTS",
216     "PHASE_READCONFIG",
217     "PHASE_SETUP",
218     "PHASE_DAEMONIZE",
219     "PHASE_GETRESOURCES",
220     "PHASE_DROPPRIV",
221     "PHASE_RUN",
222     "PHASE_SHUTDOWN",
223     "PHASE_CHILDPERSIST"
224 };
225
226 void enter_phase(uint32_t new_phase)
227 {
228     struct phase_hook *i;
229
230     if (!LIST_EMPTY(&hooks[new_phase]))
231         Message(M_DEBUG_PHASE,"Running hooks for %s...\n", phases[new_phase]);
232     current_phase=new_phase;
233
234     LIST_FOREACH(i, &hooks[new_phase], entry)
235         i->fn(i->state, new_phase);
236     Message(M_DEBUG_PHASE,"Now in %s\n",phases[new_phase]);
237 }
238
239 void phase_hooks_init(void)
240 {
241     int i;
242     for (i=0; i<NR_PHASES; i++)
243         LIST_INIT(&hooks[i]);
244 }
245
246 void clear_phase_hooks(uint32_t phase)
247 {
248     struct phase_hook *h, *htmp;
249     LIST_FOREACH_SAFE(h, &hooks[phase], entry, htmp)
250         free(h);
251     LIST_INIT(&hooks[phase]);
252 }
253
254 bool_t add_hook(uint32_t phase, hook_fn *fn, void *state)
255 {
256     struct phase_hook *h;
257
258     NEW(h);
259     h->fn=fn;
260     h->state=state;
261     LIST_INSERT_HEAD(&hooks[phase],h,entry);
262     return True;
263 }
264
265 bool_t remove_hook(uint32_t phase, hook_fn *fn, void *state)
266 {
267     fatal("remove_hook: not implemented");
268
269     return False;
270 }
271
272 void vslilog(struct log_if *lf, int priority, const char *message, va_list ap)
273 {
274     lf->vlogfn(lf->st,priority,message,ap);
275 }
276
277 void slilog(struct log_if *lf, int priority, const char *message, ...)
278 {
279     va_list ap;
280     
281     va_start(ap,message);
282     vslilog(lf,priority,message,ap);
283     va_end(ap);
284 }
285
286 struct buffer {
287     closure_t cl;
288     struct buffer_if ops;
289 };
290
291 void buffer_assert_free(struct buffer_if *buffer, cstring_t file,
292                         int line)
293 {
294     if (!buffer->free) {
295         fprintf(stderr,"secnet: BUF_ASSERT_FREE, %s line %d, owned by %s",
296                 file,line,buffer->owner);
297         assert(!"buffer_assert_free failure");
298     }
299 }
300
301 void buffer_assert_used(struct buffer_if *buffer, cstring_t file,
302                         int line)
303 {
304     if (buffer->free) {
305         fprintf(stderr,"secnet: BUF_ASSERT_USED, %s line %d, last owned by %s",
306                 file,line,buffer->owner);
307         assert(!"buffer_assert_used failure");
308     }
309 }
310
311 void buffer_init(struct buffer_if *buffer, int32_t max_start_pad)
312 {
313     assert(max_start_pad<=buffer->alloclen);
314     buffer->start=buffer->base+max_start_pad;
315     buffer->size=0;
316 }
317
318 void buffer_destroy(struct buffer_if *buf)
319 {
320     BUF_ASSERT_FREE(buf);
321     free(buf->base);
322     buf->start=buf->base=0;
323     buf->size=buf->alloclen=0;
324 }
325
326 void *buf_append(struct buffer_if *buf, int32_t amount) {
327     void *p;
328     assert(amount <= buf_remaining_space(buf));
329     p=buf->start + buf->size;
330     buf->size+=amount;
331     return p;
332 }
333
334 void *buf_prepend(struct buffer_if *buf, int32_t amount) {
335     assert(amount <= buf->start - buf->base);
336     buf->size+=amount;
337     return buf->start-=amount;
338 }
339
340 void *buf_unappend(struct buffer_if *buf, int32_t amount) {
341     if (buf->size < amount) return 0;
342     return buf->start+(buf->size-=amount);
343 }
344
345 void *buf_unprepend(struct buffer_if *buf, int32_t amount) {
346     void *p;
347     if (buf->size < amount) return 0;
348     p=buf->start;
349     buf->start+=amount;
350     buf->size-=amount;
351     return p;
352 }
353
354 void buf_append_string(struct buffer_if *buf, cstring_t s)
355 {
356     size_t len;
357
358     len=strlen(s);
359     /* fixme: if string is longer than 65535, result is a corrupted packet */
360     buf_append_uint16(buf,len);
361     BUF_ADD_BYTES(append,buf,s,len);
362 }
363
364 void truncmsg_add_string(struct buffer_if *buf, cstring_t s)
365 {
366     int32_t l = MIN((int32_t)strlen(s), buf_remaining_space(buf));
367     BUF_ADD_BYTES(append, buf, s, l);
368 }
369 void truncmsg_add_packet_string(struct buffer_if *buf, int32_t l,
370                                 const uint8_t *s)
371 {
372     char c;
373     while (l-- > 0) {
374         c = *s++;
375         if (c >= ' ' && c <= 126 && c != '\\' && c != '"' && c != '\'') {
376             if (!buf_remaining_space(buf)) break;
377             buf->start[buf->size++] = c;
378             continue;
379         }
380         char quoted[5];
381         quoted[0] = '\\';
382         quoted[2] = 0;
383         switch (c) {
384         case '\n': quoted[1] = 'n'; break;
385         case '\r': quoted[1] = 'r'; break;
386         case '\t': quoted[1] = 't'; break;
387         case '\\': case '"': case '\'': quoted[1] = c; break;
388         default: sprintf(quoted, "\\x%02x", (unsigned)c);
389         }
390         truncmsg_add_string(buf, quoted);
391     }
392 }
393 const char *truncmsg_terminate(const struct buffer_if *buf)
394 {
395     if (buf_remaining_space(buf)) {
396         buf->start[buf->size] = 0;
397     } else {
398         assert(buf->size >= 4);
399         strcpy(buf->start + buf->size - 4, "...");
400     }
401     return buf->start;
402 }
403
404 void priomsg_new(struct priomsg *pm, int32_t maxlen)
405 {
406     buffer_new(&pm->m, maxlen);
407     pm->prio = INT_MIN;
408 }
409 void priomsg_reset(struct priomsg *pm)
410 {
411     buffer_init(&pm->m, 0);
412     pm->prio = INT_MIN;
413 }
414 bool_t priomsg_update_p(struct priomsg *pm, int prio)
415 {
416     if (!pm) return False;
417     if (prio <= pm->prio) return False;
418     buffer_init(&pm->m, 0);
419     pm->prio = prio;
420     return True;
421 }
422 const char *priomsg_getmessage(const struct priomsg *pm, const char *defmsg)
423 {
424     if (pm->prio >= INT_MIN)
425         return truncmsg_terminate(&pm->m);
426     else
427         return defmsg;
428 }
429
430 bool_t priomsg_update_fixed(struct priomsg *pm, int prio, const char *m) {
431     if (!priomsg_update_p(pm, prio)) return False;
432     truncmsg_add_string(&pm->m, m);
433     return True;
434 }
435
436 void buffer_new(struct buffer_if *buf, int32_t len)
437 {
438     buf->free=True;
439     buf->owner=NULL;
440     buf->loc.file=NULL;
441     buf->loc.line=0;
442     buf->size=0;
443     buf->alloclen=len;
444     buf->start=NULL;
445     buf->base=safe_malloc(len,"buffer_new");
446 }
447
448 void buffer_readonly_view(struct buffer_if *buf, const void *data, int32_t len)
449 {
450     buf->free=False;
451     buf->owner="READONLY";
452     buf->loc.file=NULL;
453     buf->loc.line=0;
454     buf->size=buf->alloclen=len;
455     buf->base=buf->start=(uint8_t*)data;
456 }
457
458 void buffer_readonly_clone(struct buffer_if *out, const struct buffer_if *in)
459 {
460     buffer_readonly_view(out,in->start,in->size);
461 }
462
463 void buffer_copy(struct buffer_if *dst, const struct buffer_if *src)
464 {
465     if (dst->alloclen < src->alloclen) {
466         dst->base=realloc(dst->base,src->alloclen);
467         if (!dst->base) fatal_perror("buffer_copy");
468         dst->alloclen = src->alloclen;
469     }
470     dst->start = dst->base + (src->start - src->base);
471     dst->size = src->size;
472     memcpy(dst->start, src->start, dst->size);
473 }
474
475 static list_t *buffer_apply(closure_t *self, struct cloc loc, dict_t *context,
476                             list_t *args)
477 {
478     struct buffer *st;
479     item_t *item;
480     dict_t *dict;
481     bool_t lockdown=False;
482     uint32_t len=DEFAULT_BUFFER_SIZE;
483     
484     NEW(st);
485     st->cl.description="buffer";
486     st->cl.type=CL_BUFFER;
487     st->cl.apply=NULL;
488     st->cl.interface=&st->ops;
489
490     /* First argument, if present, is buffer length */
491     item=list_elem(args,0);
492     if (item) {
493         if (item->type!=t_number) {
494             cfgfatal(st->ops.loc,"buffer","first parameter must be a "
495                      "number (buffer size)\n");
496         }
497         len=item->data.number;
498         if (len<MIN_BUFFER_SIZE) {
499             cfgfatal(st->ops.loc,"buffer","ludicrously small buffer size\n");
500         }
501         if (len>MAX_BUFFER_SIZE) {
502             cfgfatal(st->ops.loc,"buffer","ludicrously large buffer size\n");
503         }
504     }
505     /* Second argument, if present, is a dictionary */
506     item=list_elem(args,1);
507     if (item) {
508         if (item->type!=t_dict) {
509             cfgfatal(st->ops.loc,"buffer","second parameter must be a "
510                      "dictionary\n");
511         }
512         dict=item->data.dict;
513         lockdown=dict_read_bool(dict,"lockdown",False,"buffer",st->ops.loc,
514                                 False);
515     }
516
517     buffer_new(&st->ops,len);
518     if (lockdown) {
519         /* XXX mlock the buffer if possible */
520     }
521     
522     return new_closure(&st->cl);
523 }
524
525 void send_nak(const struct comm_addr *dest, uint32_t our_index,
526               uint32_t their_index, uint32_t msgtype,
527               struct buffer_if *buf, const char *logwhy)
528 {
529     buffer_init(buf,calculate_max_start_pad());
530     buf_append_uint32(buf,their_index);
531     buf_append_uint32(buf,our_index);
532     buf_append_uint32(buf,LABEL_NAK);
533     if (logwhy)
534         Message(M_INFO,"%s: sending NAK for"
535                 " %08"PRIx32" %08"PRIx32"<-%08"PRIx32":"
536                 " %s\n",
537                 comm_addr_to_string(dest),
538                 msgtype, our_index, their_index, logwhy);
539     dest->comm->sendmsg(dest->comm->st, buf, dest, 0);
540 }
541
542 int consttime_memeq(const void *s1in, const void *s2in, size_t n)
543 {
544     const uint8_t *s1=s1in, *s2=s2in;
545     register volatile uint8_t accumulator=0;
546
547     while (n-- > 0) {
548         accumulator |= (*s1++ ^ *s2++);
549     }
550     accumulator |= accumulator >> 4; /* constant-time             */
551     accumulator |= accumulator >> 2; /*  boolean canonicalisation */
552     accumulator |= accumulator >> 1;
553     accumulator &= 1;
554     accumulator ^= 1;
555     return accumulator;
556 }
557
558 void hash_hash(const struct hash_if *hashi, const void *msg, int32_t len,
559                uint8_t *digest) {
560     uint8_t hst[hashi->slen];
561     hashi->init(hst);
562     hashi->update(hst,msg,len);
563     hashi->final(hst,digest);
564 }
565
566 void util_module(dict_t *dict)
567 {
568     add_closure(dict,"sysbuffer",buffer_apply);
569 }
570
571 void update_max_start_pad(int32_t *our_module_global, int32_t our_instance)
572 {
573     if (*our_module_global < our_instance)
574         *our_module_global=our_instance;
575 }
576
577 int32_t transform_max_start_pad, comm_max_start_pad;
578
579 int32_t calculate_max_start_pad(void)
580 {
581     return
582         site_max_start_pad +
583         transform_max_start_pad +
584         comm_max_start_pad;
585 }
586
587 void vslilog_part(struct log_if *lf, int priority, const char *message, va_list ap)
588 {
589     char *buff=lf->buff;
590     size_t bp;
591     char *nlp;
592
593     bp=strlen(buff);
594     assert(bp < LOG_MESSAGE_BUFLEN);
595     vsnprintf(buff+bp,LOG_MESSAGE_BUFLEN-bp,message,ap);
596     buff[LOG_MESSAGE_BUFLEN-1] = '\n';
597     buff[LOG_MESSAGE_BUFLEN] = '\0';
598     /* Each line is sent separately */
599     while ((nlp=strchr(buff,'\n'))) {
600         *nlp=0;
601         slilog(lf,priority,"%s",buff);
602         memmove(buff,nlp+1,strlen(nlp+1)+1);
603     }
604 }
605
606 extern void slilog_part(struct log_if *lf, int priority, const char *message, ...)
607 {
608     va_list ap;
609     va_start(ap,message);
610     vslilog_part(lf,priority,message,ap);
611     va_end(ap);
612 }
613
614 void string_item_to_iaddr(const item_t *item, uint16_t port, union iaddr *ia,
615                           const char *desc)
616 {
617 #ifndef CONFIG_IPV6
618
619     ia->sin.sin_family=AF_INET;
620     ia->sin.sin_addr.s_addr=htonl(string_item_to_ipaddr(item,desc));
621     ia->sin.sin_port=htons(port);
622
623 #else /* CONFIG_IPV6 => we have adns_text2addr */
624
625     if (item->type!=t_string)
626         cfgfatal(item->loc,desc,"expecting a string IP (v4 or v6) address\n");
627     socklen_t salen=sizeof(*ia);
628     int r=adns_text2addr(item->data.string, port,
629                          adns_qf_addrlit_ipv4_quadonly,
630                          &ia->sa, &salen);
631     assert(r!=ENOSPC);
632     if (r) cfgfatal(item->loc,desc,"invalid IP (v4 or v6) address: %s\n",
633                     strerror(r));
634
635 #endif /* CONFIG_IPV6 */
636 }
637
638 #define IADDR_NBUFS 8
639
640 const char *iaddr_to_string(const union iaddr *ia)
641 {
642 #ifndef CONFIG_IPV6
643
644     SBUF_DEFINE(IADDR_NBUFS, 100);
645
646     assert(ia->sa.sa_family == AF_INET);
647
648     snprintf(SBUF, sizeof(SBUF), "[%s]:%d",
649              inet_ntoa(ia->sin.sin_addr),
650              ntohs(ia->sin.sin_port));
651
652 #else /* CONFIG_IPV6 => we have adns_addr2text */
653
654     SBUF_DEFINE(IADDR_NBUFS, 1+ADNS_ADDR2TEXT_BUFLEN+20);
655
656     int port;
657
658     char *addrbuf = SBUF;
659     *addrbuf++ = '[';
660     int addrbuflen = ADNS_ADDR2TEXT_BUFLEN;
661
662     int r = adns_addr2text(&ia->sa, 0, addrbuf, &addrbuflen, &port);
663     if (r) {
664         const char fmt[]= "bad addr, error: %.*s";
665         sprintf(addrbuf, fmt,
666                 (int)(ADNS_ADDR2TEXT_BUFLEN - sizeof(fmt)) /* underestimate */,
667                 strerror(r));
668     }
669
670     char *portbuf = addrbuf;
671     int addrl = strlen(addrbuf);
672     portbuf += addrl;
673
674     snprintf(portbuf, sizeof(SBUF)-addrl, "]:%d", port);
675
676 #endif /* CONFIG_IPV6 */
677
678     return SBUF;
679 }
680
681 bool_t iaddr_equal(const union iaddr *ia, const union iaddr *ib,
682                    bool_t ignoreport)
683 {
684     if (ia->sa.sa_family != ib->sa.sa_family)
685         return 0;
686     switch (ia->sa.sa_family) {
687     case AF_INET:
688         return ia->sin.sin_addr.s_addr == ib->sin.sin_addr.s_addr
689            && (ignoreport ||
690                ia->sin.sin_port        == ib->sin.sin_port);
691 #ifdef CONFIG_IPV6
692     case AF_INET6:
693         return !memcmp(&ia->sin6.sin6_addr, &ib->sin6.sin6_addr, 16)
694            &&  ia->sin6.sin6_scope_id  == ib->sin6.sin6_scope_id
695            && (ignoreport ||
696                ia->sin6.sin6_port      == ib->sin6.sin6_port)
697             /* we ignore the flowinfo field */;
698 #endif /* CONFIG_IPV6 */
699     default:
700         abort();
701     }
702 }
703
704 int iaddr_socklen(const union iaddr *ia)
705 {
706     switch (ia->sa.sa_family) {
707     case AF_INET:  return sizeof(ia->sin);
708 #ifdef CONFIG_IPV6
709     case AF_INET6: return sizeof(ia->sin6);
710 #endif /* CONFIG_IPV6 */
711     default:       abort();
712     }
713 }
714
715 const char *pollbadbit(int revents)
716 {
717 #define BADBIT(b) \
718     if ((revents & b)) return #b
719     BADBIT(POLLERR);
720     BADBIT(POLLHUP);
721     /* POLLNVAL is handled by the event loop - see afterpoll_fn comment */
722 #undef BADBIT
723     return 0;
724 }
725
726 enum async_linebuf_result
727 async_linebuf_read(struct pollfd *pfd, struct buffer_if *buf,
728                    const char **emsg_out)
729 {
730     int revents=pfd->revents;
731
732 #define BAD(m) do{ *emsg_out=(m); return async_linebuf_broken; }while(0)
733
734     const char *badbit=pollbadbit(revents);
735     if (badbit) BAD(badbit);
736
737     if (!(revents & POLLIN))
738         return async_linebuf_nothing;
739
740     /*
741      * Data structure: A line which has been returned to the user is
742      * stored in buf at base before start.  But we retain the usual
743      * buffer meaning of size.  So:
744      *
745      *   | returned :    | input read,   |    unused    |
746      *   |  to user : \0 |  awaiting     |     buffer   |
747      *   |          :    |  processing   |      space   |
748      *   |          :    |               |              |
749      *   ^base           ^start          ^start+size    ^base+alloclen
750      */
751
752     BUF_ASSERT_USED(buf);
753
754     /* firstly, eat any previous */
755     if (buf->start != buf->base) {
756         memmove(buf->base,buf->start,buf->size);
757         buf->start=buf->base;
758     }
759
760     uint8_t *searched=buf->base;
761
762     /*
763      * During the workings here we do not use start.  We set start
764      * when we return some actual data.  So we have this:
765      *
766      *   | searched     | read, might   |  unused      |
767      *   |  for \n      |  contain \n   |   buffer     |
768      *   |  none found  |  but not \0   |    space     |
769      *   |              |               |              |
770      *   ^base          ^searched       ^base+size     ^base+alloclen
771      *  [^start]                        ^dataend
772      *
773      */
774     for (;;) {
775         uint8_t *dataend=buf->base+buf->size;
776         char *newline=memchr(searched,'\n',dataend-searched);
777         if (newline) {
778             *newline=0;
779             buf->start=newline+1;
780             buf->size=dataend-buf->start;
781             return async_linebuf_ok;
782         }
783         searched=dataend;
784         ssize_t space=(buf->base+buf->alloclen)-dataend;
785         if (!space) BAD("input line too long");
786         ssize_t r=read(pfd->fd,searched,space);
787         if (r==0) {
788             *searched=0;
789             *emsg_out=buf->size?"no newline at eof":0;
790             buf->start=searched+1;
791             buf->size=0;
792             return async_linebuf_eof;
793         }
794         if (r<0) {
795             if (errno==EINTR)
796                 continue;
797             if (iswouldblock(errno))
798                 return async_linebuf_nothing;
799             BAD(strerror(errno));
800         }
801         assert(r<=space);
802         if (memchr(searched,0,r)) BAD("nul in input data");
803         buf->size+=r;
804     }
805
806 #undef BAD
807 }