backends/nntpget.c

   1 /*  $Id: nntpget.c 6135 2003-01-19 01:15:40Z rra $
   2 **
   3 **  Connect to a remote site, and get news from it to offer to our local
   4 **  server.  Read list on stdin, or get it via NEWNEWS command.  Writes
   5 **  list of articles still needed to stdout.
   6 */
   7
   8 #include "config.h"
   9 #include "clibrary.h"
  10 #include "portable/socket.h"
  11 #include "portable/time.h"
  12 #include <errno.h>
  13 #include <sys/stat.h>
  14 #include <sys/uio.h>
  15
  16 /* Needed on AIX 4.1 to get fd_set and friends. */
  17 #ifdef HAVE_SYS_SELECT_H
  18 # include <sys/select.h>
  19 #endif
  20
  21 #include "inn/history.h"
  22 #include "inn/innconf.h"
  23 #include "inn/messages.h"
  24 #include "libinn.h"
  25 #include "nntp.h"
  26 #include "paths.h"
  27
  28 /*
  29 **  All information about a site we are connected to.
  30 */
  31 typedef struct _SITE {
  32     char        *Name;
  33     int         Rfd;
  34     int         Wfd;
  35     char        Buffer[BUFSIZ];
  36     char        *bp;
  37     int         Count;
  38 } SITE;
  39
  40
  41 /*
  42 **  Global variables.
  43 */
  44 static struct iovec     SITEvec[2];
  45 static char             SITEv1[] = "\r\n";
  46 static char             READER[] = "mode reader";
  47 static unsigned long    STATgot;
  48 static unsigned long    STAToffered;
  49 static unsigned long    STATsent;
  50 static unsigned long    STATrejected;
  51 static struct history   *History;
  52
  53 \f
  54
  55 /*
  56 **  Read a line of input, with timeout.
  57 */
  58 static bool
  59 SITEread(SITE *sp, char *start)
  60 {
  61     char        *p;
  62     char        *end;
  63     struct timeval      t;
  64     fd_set              rmask;
  65     int                 i;
  66     char                c;
  67
  68     for (p = start, end = &start[NNTP_STRLEN - 1]; ; ) {
  69         if (sp->Count == 0) {
  70             /* Fill the buffer. */
  71     Again:
  72             FD_ZERO(&rmask);
  73             FD_SET(sp->Rfd, &rmask);
  74             t.tv_sec = DEFAULT_TIMEOUT;
  75             t.tv_usec = 0;
  76             i = select(sp->Rfd + 1, &rmask, NULL, NULL, &t);
  77             if (i < 0) {
  78                 if (errno == EINTR)
  79                     goto Again;
  80                 return false;
  81             }
  82             if (i == 0
  83              || !FD_ISSET(sp->Rfd, &rmask)
  84              || (sp->Count = read(sp->Rfd, sp->Buffer, sizeof sp->Buffer)) < 0)
  85                 return false;
  86             if (sp->Count == 0)
  87                 return false;
  88             sp->bp = sp->Buffer;
  89         }
  90
  91         /* Process next character. */
  92         sp->Count--;
  93         c = *sp->bp++;
  94         if (c == '\n')
  95             break;
  96         if (p < end)
  97             *p++ = c;
  98     }
  99
 100     /* If last two characters are \r\n, kill the \r as well as the \n. */
 101     if (p > start && p < end && p[-1] == '\r')
 102         p--;
 103     *p = '\0';
 104     return true;
 105 }
 106
 107
 108 /*
 109 **  Send a line to the server, adding \r\n.  Don't need to do dot-escape
 110 **  since it's only for sending DATA to local site, and the data we got from
 111 **  the remote site already is escaped.
 112 */
 113 static bool
 114 SITEwrite(SITE *sp, const char *p, int i)
 115 {
 116     SITEvec[0].iov_base = (char *) p;
 117     SITEvec[0].iov_len = i;
 118     return xwritev(sp->Wfd, SITEvec, 2) >= 0;
 119 }
 120
 121
 122 static SITE *
 123 SITEconnect(char *host)
 124 {
 125     FILE        *From;
 126     FILE        *To;
 127     SITE        *sp;
 128     int         i;
 129
 130     /* Connect and identify ourselves. */
 131     if (host)
 132         i = NNTPconnect(host, NNTP_PORT, &From, &To, (char *)NULL);
 133     else {
 134         host = innconf->server;
 135         if (host == NULL)
 136             die("no server specified and server not set in inn.conf");
 137         i = NNTPlocalopen(&From, &To, (char *)NULL);
 138     }
 139     if (i < 0)
 140         sysdie("cannot connect to %s", host);
 141
 142     if (NNTPsendpassword(host, From, To) < 0)
 143         sysdie("cannot authenticate to %s", host);
 144
 145     /* Build the structure. */
 146     sp = xmalloc(sizeof(SITE));
 147     sp->Name = host;
 148     sp->Rfd = fileno(From);
 149     sp->Wfd = fileno(To);
 150     sp->bp = sp->Buffer;
 151     sp->Count = 0;
 152     return sp;
 153 }
 154
 155
 156 /*
 157 **  Send "quit" to a site, and get its reply.
 158 */
 159 static void
 160 SITEquit(SITE *sp)
 161 {
 162     char        buff[NNTP_STRLEN];
 163
 164     SITEwrite(sp, "quit", 4);
 165     SITEread(sp, buff);
 166 }
 167
 168
 169 static bool
 170 HIShaveit(char *mesgid)
 171 {
 172     return HIScheck(History, mesgid);
 173 }
 174
 175
 176 static void
 177 Usage(const char *p)
 178 {
 179     warn("%s", p);
 180     fprintf(stderr, "Usage: nntpget"
 181             " [ -d dist -n grps [-f file | -t time -u file]] host\n");
 182     exit(1);
 183 }
 184
 185
 186 int
 187 main(int ac, char *av[])
 188 {
 189     char        buff[NNTP_STRLEN];
 190     char        mesgid[NNTP_STRLEN];
 191     char        tbuff[SMBUF];
 192     char        *msgidfile = NULL;
 193     int         msgidfd;
 194     const char  *Groups;
 195     char        *distributions;
 196     char        *Since;
 197     char        *path;
 198     int         i;
 199     struct tm   *gt;
 200     struct stat Sb;
 201     SITE        *Remote;
 202     SITE        *Local = NULL;
 203     FILE        *F;
 204     bool        Offer;
 205     bool        Error;
 206     bool        Verbose = false;
 207     char        *Update;
 208     char        *p;
 209
 210     /* First thing, set up our identity. */
 211     message_program_name = "nntpget";
 212
 213     /* Set defaults. */
 214     distributions = NULL;
 215     Groups = NULL;
 216     Since = NULL;
 217     Offer = false;
 218     Update = NULL;
 219     if (!innconf_read(NULL))
 220         exit(1);
 221
 222     umask(NEWSUMASK);
 223
 224     /* Parse JCL. */
 225     while ((i = getopt(ac, av, "d:f:n:t:ovu:")) != EOF)
 226         switch (i) {
 227         default:
 228             Usage("bad flag");
 229             /* NOTREACHED */
 230         case 'd':
 231             distributions = optarg;
 232             break;
 233         case 'u':
 234             Update = optarg;
 235             /* FALLTHROUGH */
 236         case 'f':
 237             if (Since)
 238                 Usage("only one of -f, -t, or -u may be given");
 239             if (stat(optarg, &Sb) < 0)
 240                 sysdie("cannot stat %s", optarg);
 241             gt = gmtime(&Sb.st_mtime);
 242             /* Y2K: NNTP Spec currently allows only two digit years. */
 243             snprintf(tbuff, sizeof(tbuff), "%02d%02d%02d %02d%02d%02d GMT",
 244                     gt->tm_year % 100, gt->tm_mon + 1, gt->tm_mday,
 245                     gt->tm_hour, gt->tm_min, gt->tm_sec);
 246             Since = tbuff;
 247             break;
 248         case 'n':
 249             Groups = optarg;
 250             break;
 251         case 'o':
 252             /* Open the history file. */
 253             path = concatpath(innconf->pathdb, _PATH_HISTORY);
 254             History = HISopen(path, innconf->hismethod, HIS_RDONLY);
 255             if (!History)
 256                 sysdie("cannot open history");
 257             free(path);
 258             Offer = true;
 259             break;
 260         case 't':
 261             if (Since)
 262                 Usage("only one of -t or -f may be given");
 263             Since = optarg;
 264             break;
 265         case 'v':
 266             Verbose = true;
 267             break;
 268         }
 269     ac -= optind;
 270     av += optind;
 271     if (ac != 1)
 272         Usage("no host given");
 273
 274     /* Set up the scatter/gather vectors used by SITEwrite. */
 275     SITEvec[1].iov_base = SITEv1;
 276     SITEvec[1].iov_len = strlen(SITEv1);
 277
 278     /* Connect to the remote server. */
 279     if ((Remote = SITEconnect(av[0])) == NULL)
 280         sysdie("cannot connect to %s", av[0]);
 281     if (!SITEwrite(Remote, READER, (int)strlen(READER))
 282      || !SITEread(Remote, buff))
 283         sysdie("cannot start reading");
 284
 285     if (Since == NULL) {
 286         F = stdin;
 287         if (distributions || Groups)
 288             Usage("no -d or -n flags allowed when reading stdin");
 289     }
 290     else {
 291         /* Ask the server for a list of what's new. */
 292         if (Groups == NULL)
 293             Groups = "*";
 294         if (distributions)
 295             snprintf(buff, sizeof(buff), "NEWNEWS %s %s <%s>",
 296                      Groups, Since, distributions);
 297         else
 298             snprintf(buff, sizeof(buff), "NEWNEWS %s %s", Groups, Since);
 299         if (!SITEwrite(Remote, buff, (int)strlen(buff))
 300          || !SITEread(Remote, buff))
 301             sysdie("cannot start list");
 302         if (buff[0] != NNTP_CLASS_OK) {
 303             SITEquit(Remote);
 304             die("protocol error from %s, got %s", Remote->Name, buff);
 305         }
 306
 307         /* Create a temporary file. */
 308         msgidfile = concatpath(innconf->pathtmp, "nntpgetXXXXXX");
 309         msgidfd = mkstemp(msgidfile);
 310         if (msgidfd < 0)
 311             sysdie("cannot create a temporary file");
 312         F = fopen(msgidfile, "w+");
 313         if (F == NULL)
 314             sysdie("cannot open %s", msgidfile);
 315
 316         /* Read and store the Message-ID list. */
 317         for ( ; ; ) {
 318             if (!SITEread(Remote, buff)) {
 319                 syswarn("cannot read from %s", Remote->Name);
 320                 fclose(F);
 321                 SITEquit(Remote);
 322                 exit(1);
 323             }
 324             if (strcmp(buff, ".") == 0)
 325                 break;
 326             if (Offer && HIShaveit(buff))
 327                 continue;
 328             if (fprintf(F, "%s\n", buff) == EOF || ferror(F)) {
 329                 syswarn("cannot write %s", msgidfile);
 330                 fclose(F);
 331                 SITEquit(Remote);
 332                 exit(1);
 333             }
 334         }
 335         if (fflush(F) == EOF) {
 336             syswarn("cannot flush %s", msgidfile);
 337             fclose(F);
 338             SITEquit(Remote);
 339             exit(1);
 340         }
 341         fseeko(F, 0, SEEK_SET);
 342     }
 343
 344     if (Offer) {
 345         /* Connect to the local server. */
 346         if ((Local = SITEconnect((char *)NULL)) == NULL) {
 347             syswarn("cannot connect to local server");
 348             fclose(F);
 349             exit(1);
 350         }
 351     }
 352
 353     /* Loop through the list of Message-ID's. */
 354     while (fgets(mesgid, sizeof mesgid, F) != NULL) {
 355         STATgot++;
 356         if ((p = strchr(mesgid, '\n')) != NULL)
 357             *p = '\0';
 358
 359         if (Offer) {
 360             /* See if the local server wants it. */
 361             STAToffered++;
 362             snprintf(buff, sizeof(buff), "ihave %s", mesgid);
 363             if (!SITEwrite(Local, buff, (int)strlen(buff))
 364              || !SITEread(Local, buff)) {
 365                 syswarn("cannot offer %s", mesgid);
 366                 break;
 367             }
 368             if (atoi(buff) != NNTP_SENDIT_VAL)
 369                 continue;
 370         }
 371
 372         /* Try to get the article. */
 373         snprintf(buff, sizeof(buff), "article %s", mesgid);
 374         if (!SITEwrite(Remote, buff, (int)strlen(buff))
 375          || !SITEread(Remote, buff)) {
 376             syswarn("cannot get %s", mesgid);
 377             printf("%s\n", mesgid);
 378             break;
 379         }
 380         if (atoi(buff) != NNTP_ARTICLE_FOLLOWS_VAL) {
 381           if (Offer) {
 382               SITEwrite(Local, ".", 1);
 383               if (!SITEread(Local, buff)) {
 384                   syswarn("no reply after %s", mesgid);
 385                   break;
 386               }
 387           }
 388           continue;
 389         }
 390
 391         if (Verbose)
 392             notice("%s...", mesgid);
 393
 394         /* Read each line in the article and write it. */
 395         for (Error = false; ; ) {
 396             if (!SITEread(Remote, buff)) {
 397                 syswarn("cannot read %s from %s", mesgid, Remote->Name);
 398                 Error = true;
 399                 break;
 400             }
 401             if (Offer) {
 402                 if (!SITEwrite(Local, buff, (int)strlen(buff))) {
 403                     syswarn("cannot send %s", mesgid);
 404                     Error = true;
 405                     break;
 406                 }
 407             }
 408             else
 409                 printf("%s\n", buff);
 410             if (strcmp(buff, ".") == 0)
 411                 break;
 412         }
 413         if (Error) {
 414             printf("%s\n", mesgid);
 415             break;
 416         }
 417         STATsent++;
 418
 419         /* How did the local server respond? */
 420         if (Offer) {
 421             if (!SITEread(Local, buff)) {
 422                 syswarn("no reply after %s", mesgid);
 423                 printf("%s\n", mesgid);
 424                 break;
 425             }
 426             i = atoi(buff);
 427             if (i == NNTP_TOOKIT_VAL)
 428                 continue;
 429             if (i == NNTP_RESENDIT_VAL) {
 430                 printf("%s\n", mesgid);
 431                 break;
 432             }
 433             syswarn("%s to %s", buff, mesgid);
 434             STATrejected++;
 435         }
 436     }
 437
 438     /* Write rest of the list, close the input. */
 439     if (!feof(F))
 440         while (fgets(mesgid, sizeof mesgid, F) != NULL) {
 441             if ((p = strchr(mesgid, '\n')) != NULL)
 442                 *p = '\0';
 443             printf("%s\n", mesgid);
 444             STATgot++;
 445         }
 446     fclose(F);
 447
 448     /* Remove our temp file. */
 449     if (msgidfile && unlink(msgidfile) < 0)
 450         syswarn("cannot remove %s", msgidfile);
 451
 452     /* All done. */
 453     SITEquit(Remote);
 454     if (Offer)
 455         SITEquit(Local);
 456
 457     /* Update timestamp file? */
 458     if (Update) {
 459         if ((F = fopen(Update, "w")) == NULL)
 460             sysdie("cannot update %s", Update);
 461         fprintf(F, "got %ld offered %ld sent %ld rejected %ld\n",
 462                 STATgot, STAToffered, STATsent, STATrejected);
 463         if (ferror(F) || fclose(F) == EOF)
 464             sysdie("cannot update %s", Update);
 465     }
 466
 467     exit(0);
 468     /* NOTREACHED */
 469 }