chiark - git - mdw - dvdrip/blob - dvd-sector-copy.c

   1 #define _GNU_SOURCE
   2 #define _FILE_OFFSET_BITS 64
   3
   4 #include <assert.h>
   5 #include <ctype.h>
   6 #include <errno.h>
   7 #include <inttypes.h>
   8 #include <math.h>
   9 #include <stdarg.h>
  10 #include <stdint.h>
  11 #include <stdio.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14 #include <time.h>
  15
  16 #include <unistd.h>
  17 #include <fcntl.h>
  18 #include <sys/ioctl.h>
  19 #include <sys/stat.h>
  20 #include <sys/time.h>
  21
  22 #include <getopt.h>
  23
  24 #include <linux/fs.h>
  25
  26 #include <dvdread/dvd_reader.h>
  27 #include <dvdread/dvd_udf.h>
  28 #include <dvdread/ifo_read.h>
  29 #include <dvdread/ifo_types.h>
  30
  31 #define CTYPE_HACK(fn, ch) fn((unsigned char)(ch))
  32 #define ISDIGIT(ch) CTYPE_HACK(isdigit, ch)
  33 #define ISSPACE(ch) CTYPE_HACK(isspace, ch)
  34
  35 #ifdef DEBUG
  36 #  define D(x) x
  37 #else
  38 #  define D(x)
  39 #endif
  40
  41 #define N(v) (sizeof(v)/sizeof((v)[0]))
  42
  43 #define SECTORSZ 2048
  44 #define SECTORS(n) (((n) + (SECTORSZ - 1))/SECTORSZ)
  45
  46 static const char *prog = "<unset>";
  47 static int status = 0;
  48
  49 static void usage(FILE *fp)
  50 {
  51   fprintf(fp,
  52           "usage: %s [-c] [-R MAP] [-b OUTMAP] [-r [START]-[END]]\n"
  53           "\tDEVICE OUTFILE\n",
  54           prog);
  55 }
  56
  57 static void vmoan(const char *fmt, va_list ap)
  58   { fprintf(stderr, "%s: ", prog); vfprintf(stderr, fmt, ap); }
  59
  60 __attribute__((format(printf, 1, 2)))
  61 static void moan(const char *fmt, ...)
  62 {
  63   va_list ap;
  64
  65   va_start(ap, fmt); vmoan(fmt, ap); va_end(ap);
  66   fputc('\n', stderr);
  67 }
  68
  69 __attribute__((noreturn, format(printf, 1, 2)))
  70 static void bail(const char *fmt, ...)
  71 {
  72   va_list ap;
  73
  74   va_start(ap, fmt); vmoan(fmt, ap); va_end(ap);
  75   fputc('\n', stderr);
  76   exit(2);
  77 }
  78
  79 __attribute__((noreturn, format(printf, 2, 3)))
  80 static void bail_syserr(int err, const char *fmt, ...)
  81 {
  82   va_list ap;
  83
  84   va_start(ap, fmt); vmoan(fmt, ap); va_end(ap);
  85   if (err) fprintf(stderr, ": %s", strerror(errno));
  86   fputc('\n', stderr);
  87   exit(2);
  88 }
  89
  90 static void carefully_write(int fd, const void *buf, size_t sz)
  91 {
  92   const unsigned char *p = buf;
  93   ssize_t n;
  94
  95   if (fd < 0) return;
  96   while (sz) {
  97     n = write(fd, p, sz);
  98     if (n < 0) {
  99       if (errno == EINTR) continue;
 100       bail_syserr(errno, "failed to write to output file");
 101     }
 102     if (!n) bail("unexpected short write to output file");
 103     p += n; sz -= n;
 104   }
 105 }
 106
 107 #define DEFVEC(vtype, etype)                                            \
 108         typedef struct { etype *v; size_t n, sz; } vtype
 109 #define VEC_INIT { 0, 0, 0 }
 110 #define VEC_FREE(vv) do {                                               \
 111   free((vv)->v); (vv)->v 0; (vv)->n = (vv)->sz = 0;                     \
 112 } while (0)
 113 #define VEC_PUSH(p, vv) do {                                            \
 114   size_t _want;                                                         \
 115   if ((vv)->n >= (vv)->sz) {                                            \
 116     (vv)->sz = (vv)->sz ? 2*(vv)->sz : 32;                              \
 117     _want = (vv)->sz*sizeof(*(vv)->v);                                  \
 118     (vv)->v = realloc((vv)->v, _want);                                  \
 119     if (!(vv)->v) bail("out of memory allocating %zu bytes", _want);    \
 120   }                                                                     \
 121   (p) = &(vv)->v[(vv)->n++];                                            \
 122 } while (0)
 123
 124 enum { RAW, IFO, VOB, BUP };
 125 typedef uint_least32_t ident;
 126
 127 static inline ident mkident(unsigned kind, unsigned title, unsigned part)
 128   { return (((ident)kind << 0) | ((ident)title << 8) | ((ident)part << 16)); }
 129 static inline unsigned id_kind(ident id) { return ((id >> 0)&0x0ff); }
 130 static inline unsigned id_title(ident id) { return ((id >> 8)&0x0ff); }
 131 static inline unsigned id_part(ident id) { return ((id >> 16)&0x0ff); }
 132
 133 #define MAXFNSZ (1 + 8 + 1 + 12 + 1)
 134
 135 static void store_filename(char *buf, ident id)
 136 {
 137   switch (id_kind(id)) {
 138     case RAW:
 139       sprintf(buf, "#<raw device>");
 140       break;
 141     case IFO:
 142       if (!id_title(id)) sprintf(buf, "/VIDEO_TS/VIDEO_TS.IFO");
 143       else sprintf(buf, "/VIDEO_TS/VTS_%02u_0.IFO", id_title(id));
 144       break;
 145     case BUP:
 146       if (!id_title(id)) sprintf(buf, "/VIDEO_TS/VIDEO_TS.BUP");
 147       else sprintf(buf, "/VIDEO_TS/VTS_%02u_0.BUP", id_title(id));
 148       break;
 149     case VOB:
 150       if (!id_title(id)) sprintf(buf, "/VIDEO_TS/VIDEO_TS.VOB");
 151       else
 152         sprintf(buf, "/VIDEO_TS/VTS_%02u_%u.VOB", id_title(id), id_part(id));
 153       break;
 154     default:
 155       abort();
 156   }
 157 }
 158
 159 typedef uint_least32_t secaddr;
 160 #define PRIuSEC PRIuLEAST32
 161 #define SECLIMIT 0x00400000
 162
 163 #define MAXFILES (1 + 2*99 + 1)
 164 struct file {
 165   ident id;
 166   secaddr start, end;
 167 };
 168 DEFVEC(file_v, struct file);
 169 static file_v filetab = VEC_INIT;
 170
 171 enum { EV_STOP, EV_BEGIN, EV_END, EV_WRITE };
 172 struct event {
 173   unsigned char ev, file;
 174   secaddr pos;
 175 };
 176 DEFVEC(event_v, struct event);
 177 static event_v eventq = VEC_INIT;
 178
 179 static int compare_event(const void *a, const void *b)
 180 {
 181   const struct event *eva = a, *evb = b;
 182
 183   if (eva->pos < evb->pos) return (-1);
 184   else if (eva->pos > evb->pos) return (+1);
 185
 186   if (eva->ev < evb->ev) return (-1);
 187   else if (eva->ev > evb->ev) return (+1);
 188
 189   if (eva->file < evb->file) return (-1);
 190   else if (eva->file > evb->file) return (+1);
 191
 192   return (0);
 193 }
 194
 195 typedef uint_least32_t bits;
 196 static bits live[(MAXFILES + 31)/32];
 197
 198 static inline int livep(unsigned i)
 199   { return (live[i/32]&((bits)1 << (i%32))); }
 200 static inline void set_live(unsigned i)
 201   { live[i/32] |= (bits)1 << (i%32); }
 202 static inline void clear_live(unsigned i)
 203   { live[i/32] &= ~((bits)1 << (i%32)); }
 204 static inline int least_live(void)
 205 {
 206   unsigned i, n = (filetab.n + 32)/32;
 207   bits b;
 208
 209   for (i = 0; i < n; i++) { b = live[i]; if (b) goto found; }
 210   return (-1);
 211 found:
 212   i *= 32;
 213   if (!(b&0x0000ffff)) { b >>= 16; i += 16; }
 214   if (!(b&0x000000ff)) { b >>=  8; i +=  8; }
 215   if (!(b&0x0000000f)) { b >>=  4; i +=  4; }
 216   if (!(b&0x00000003)) { b >>=  2; i +=  2; }
 217   if (!(b&0x00000001)) { b >>=  1; i +=  1; }
 218   assert(b&1);
 219   return (i);
 220 }
 221
 222 static void put_event(unsigned evtype, unsigned file, secaddr pos)
 223 {
 224   struct event *ev;
 225
 226   VEC_PUSH(ev, &eventq);
 227   ev->ev = evtype; ev->file = file; ev->pos = pos;
 228 }
 229
 230 static void put_file(ident id, secaddr start, secaddr end)
 231 {
 232   struct file *f;
 233   size_t i;
 234
 235   VEC_PUSH(f, &filetab); i = f - filetab.v;
 236   f->id = id; f->start = start; f->end = end;
 237   put_event(EV_BEGIN, i, start);
 238   put_event(EV_END, i, end);
 239 }
 240
 241 static void put_menu(dvd_reader_t *dvd, unsigned title)
 242 {
 243   ident id = mkident(VOB, title, 0);
 244   char fn[MAXFNSZ];
 245   secaddr start, len;
 246
 247   store_filename(fn, id);
 248   start = UDFFindFile(dvd, fn, &len); if (!start) return;
 249 #ifdef DEBUG
 250       printf(";; %8"PRIuSEC" .. %-8"PRIuSEC": %s\n",
 251              start, start + SECTORS(len), fn);
 252 #endif
 253   put_file(id, start, start + SECTORS(len));
 254 }
 255
 256 static void put_title(dvd_reader_t *dvd, unsigned title)
 257 {
 258   char fn[MAXFNSZ];
 259   secaddr start[9], len[9];
 260   unsigned i, npart;
 261
 262   for (i = 0; i < 9; i++) {
 263     store_filename(fn, mkident(VOB, title, i + 1));
 264     start[i] = UDFFindFile(dvd, fn, &len[i]); if (!start[i]) break;
 265   }
 266   npart = i; if (!npart) return;
 267
 268 #ifdef DEBUG
 269   for (i = 0; i < npart; i++) {
 270     store_filename(fn, mkident(VOB, title, i + 1));
 271     printf(";; %8"PRIuSEC" .. %-8"PRIuSEC": %s\n",
 272            start[i], start[i] + SECTORS(len[i]), fn);
 273   }
 274 #endif
 275
 276   if (npart > 1)
 277     for (i = 0; i < npart - 1; i++) {
 278       if (len[i]%SECTORSZ)
 279         bail("title %u part %u length = %"PRIuSEC" not a multiple of %d",
 280              title, i, len[i], SECTORSZ);
 281       if (start[i] + len[i]/SECTORSZ != start[i + 1])
 282         bail
 283           ("title %u part %u end = %"PRIuSEC" /= part %u start = %"PRIuSEC"",
 284            title, i, start[i] + len[i]/SECTORSZ, i + 1, start[i + 1]);
 285     }
 286
 287   put_file(mkident(VOB, title, 1),
 288            start[0], start[npart - 1] + SECTORS(len[npart - 1]));
 289 }
 290
 291 static int progresslen = 0;
 292
 293 static void clear_progress_internal(void)
 294 {
 295   while (progresslen) { fputs("\b \b", stdout); progresslen--; }
 296   putchar('\r');
 297 }
 298 static void clear_progress(void)
 299   { clear_progress_internal(); fflush(stdout); }
 300 #ifdef DEBUG
 301 static void debug_clear_progress(void)
 302   { if (progresslen) { putchar('\n'); progresslen = 0; } }
 303 #endif
 304 static void vappend_progress(const char *fmt, va_list ap)
 305   { progresslen += vprintf(fmt, ap); }
 306 __attribute__((format(printf, 1, 2)))
 307 static void append_progress(const char *fmt, ...)
 308 {
 309   va_list ap;
 310
 311   va_start(ap, fmt);
 312   vappend_progress(fmt, ap);
 313   va_end(ap);
 314 }
 315 __attribute__((format(printf, 1, 2)))
 316 static void print_progress(const char *fmt, ...)
 317 {
 318   va_list ap;
 319
 320   va_start(ap, fmt);
 321   clear_progress_internal();
 322   vappend_progress(fmt, ap);
 323   va_end(ap);
 324 }
 325
 326 unsigned flags;
 327 #  define F_ALLPROGRESS 1u
 328 static secaddr last_pos, limit, nsectors, ndone;
 329 static struct timeval last_time;
 330 static double wsum, wcount;
 331 static struct file *file;
 332
 333 static void report_progress(secaddr pos)
 334 {
 335   char etastr[32];
 336   struct timeval now;
 337   int eta;
 338   double percent, t, f, g, rate;
 339   char *unit;
 340
 341 #define ALPHA 0.02
 342 #define BETA (1 - ALPHA)
 343
 344   gettimeofday(&now, 0);
 345   t = (now.tv_sec - last_time.tv_sec) +
 346     (now.tv_usec - last_time.tv_usec)/1000000.0;
 347
 348   if (t) {
 349     g = wcount ? pow(BETA, t) : 0.0; f = (1 - g)/(1 - BETA);
 350     wsum = f*(pos - last_pos)/t + g*wsum;
 351     wcount = f + g*wcount;
 352     ndone += pos - last_pos;
 353     last_time = now; last_pos = pos;
 354   }
 355
 356   if (!wsum || !wcount)
 357     { rate = 0; strcpy(etastr, "???"); }
 358   else {
 359     rate = wsum/wcount;
 360     eta = (int)((nsectors - ndone)/rate);
 361     sprintf(etastr, "%d:%02d:%02d", eta/3600, (eta/60)%60, eta%60);
 362   }
 363
 364   rate *= SECTORSZ; unit = "";
 365   if (rate > 128) { rate /= 1024; unit = "k"; }
 366   if (rate > 128) { rate /= 1024; unit = "M"; }
 367   if (rate > 128) { rate /= 1024; unit = "G"; }
 368
 369   if (flags&F_ALLPROGRESS) percent = pos*100.0/limit;
 370   else percent = ndone*100.0/nsectors;
 371   print_progress
 372     ("copied %.1f%% (%"PRIuSEC" of %"PRIuSEC"; %.1f %sB/s, ETA %s)",
 373      percent, pos, limit,  rate, unit, etastr);
 374   if (file && id_kind(file->id) == VOB) {
 375     append_progress(" -- %s %d %3.1f%%",
 376                     id_part(file->id) ? "title" : "menu",
 377                     id_title(file->id),
 378                     (pos - file->start)*100.0/
 379                       (file->end - file->start));
 380   }
 381
 382 #undef ALPHA
 383 #undef BETA
 384 }
 385
 386 static dvd_reader_t *dvd;
 387 static int dvdfd = -1, outfd = -1;
 388 static dvd_file_t *vob;
 389 static const char *mapfile; static FILE *mapfp;
 390
 391 struct badblock { secaddr start, end; };
 392 DEFVEC(badblock_v, struct badblock);
 393 static badblock_v badblocks = VEC_INIT;
 394
 395 static int compare_badblock(const void *a, const void *b)
 396 {
 397   const struct badblock *ba = a, *bb = b;
 398
 399   if (ba->start < bb->start) return (-1);
 400   else if (ba->start > bb->start) return (+1);
 401
 402   if (ba->end < bb->end) return (-1);
 403   else if (ba->end > bb->end) return (+1);
 404
 405   return (0);
 406 }
 407
 408 static ssize_t read_sectors(secaddr pos, void *buf, secaddr want)
 409 {
 410   ssize_t n, done;
 411   size_t lo, mid, hi;
 412   int fakeerr = 0;
 413   struct badblock *bad, *best;
 414   unsigned char *p = buf;
 415
 416   if (badblocks.n) {
 417     best = 0; lo = 0; hi = badblocks.n;
 418 #ifdef DEBUG
 419     debug_clear_progress();
 420     printf(";; searching badblocks for %"PRIuSEC" .. %"PRIuSEC"\n",
 421            pos, pos + want);
 422 #endif
 423     while (lo < hi) {
 424       mid = lo + (hi - lo)/2; bad = &badblocks.v[mid];
 425 #ifdef DEBUG
 426       printf(";;   try %zu (%"PRIuSEC" .. %"PRIuSEC")... ",
 427              mid, bad->start, bad->end);
 428 #endif
 429       if (pos < bad->start) { D( printf("high\n"); ) best = bad; hi = mid; }
 430       else if (pos >= bad->end) { D( printf("low\n"); ) lo = mid + 1; }
 431       else { D( printf("match!\n"); ) errno = EIO; return (-1); }
 432     }
 433 #ifdef DEBUG
 434     if (best)
 435       printf(";;   next is %"PRIuSEC" .. %"PRIuSEC"\n",
 436              best->start, best->end);
 437 #endif
 438     if (best && pos + want > best->start)
 439       { want = best->start - pos; fakeerr = EIO; }
 440   }
 441   done = 0;
 442   while (want) {
 443     if (vob)
 444       { errno = 0; n = DVDReadBlocks(vob, pos - file->start, want, p); }
 445     else if (file) {
 446       if (lseek(dvdfd, (off_t)pos*SECTORSZ, SEEK_SET) < 0)
 447         bail_syserr(errno, "failed to seek to sector %"PRIuSEC"", pos);
 448       errno = 0; n = read(dvdfd, p, want*SECTORSZ);
 449       if (n >= 0) n /= SECTORSZ;
 450     } else {
 451       memset(p, 0, want*SECTORSZ);
 452       n = want;
 453     }
 454
 455     if (n > 0) { done += n; pos += n; p += n*SECTORSZ; want -= n; }
 456     else if (!n || errno != EINTR) break;
 457   }
 458   if (fakeerr && !errno) errno = fakeerr;
 459   return (!done && errno ? -1 : done);
 460 }
 461
 462 static void report_bad_blocks_progress(secaddr lo, secaddr hi, int err)
 463 {
 464   report_progress(hi);
 465
 466   if (lo == hi) append_progress(": retrying bad sector");
 467   else
 468     append_progress(": %"PRIuSEC" bad %s",
 469                     hi - lo, hi == lo + 1 ? "sector" : "sectors");
 470   if (err && err != EIO) append_progress(" (%s)", strerror(err));
 471   fflush(stdout);
 472 }
 473
 474 static void recovered(secaddr bad_lo, secaddr bad_hi)
 475 {
 476   clear_progress();
 477   moan("skipping %"PRIuSEC" bad sectors (%"PRIuSEC" .. %"PRIuSEC")",
 478        bad_hi - bad_lo, bad_lo, bad_hi);
 479   if (mapfile) {
 480     if (!mapfp) {
 481       mapfp = fopen(mapfile, "w");
 482       if (!mapfp)
 483         bail_syserr(errno, "failed to open bad-sector map file `%s'",
 484                     optarg);
 485       fprintf(mapfp, "## bad sector map\n\n");
 486     }
 487     fprintf(mapfp, "%"PRIuSEC" %"PRIuSEC"\n", bad_lo, bad_hi);
 488     fflush(mapfp);
 489     if (ferror(mapfp))
 490       bail_syserr(errno, "error writing bad-sector map file");
 491   }
 492   if (lseek(outfd, (off_t)(bad_hi - bad_lo)*SECTORSZ, SEEK_CUR) < 0)
 493     bail_syserr(errno, "failed to seek past bad sectors");
 494   status = 1;
 495 }
 496
 497 struct recoverybuf {
 498   unsigned char *buf;
 499   secaddr sz, pos, start, end;
 500 };
 501
 502 static void rearrange_sectors(struct recoverybuf *r,
 503                               secaddr dest, secaddr src, secaddr len)
 504 {
 505   assert(dest + len <= r->sz);
 506   assert(src + len <= r->sz);
 507   memmove(r->buf + dest*SECTORSZ, r->buf + src*SECTORSZ, len*SECTORSZ);
 508 }
 509
 510 #ifdef DEBUG
 511 __attribute__((format(printf, 2, 3)))
 512 static void show_recovery_buffer_map(const struct recoverybuf *r,
 513                                      const char *what, ...)
 514 {
 515   va_list ap;
 516
 517   va_start(ap, what);
 518   debug_clear_progress();
 519   printf(";; recovery buffer (");
 520   vprintf(what, ap);
 521   printf("): "
 522          "(%"PRIuSEC") ..%"PRIuSEC".. "
 523          "[%"PRIuSEC" ..%"PRIuSEC".. %"PRIuSEC"] "
 524          "..%"PRIuSEC".. (%"PRIuSEC")\n",
 525          r->pos, r->start,
 526          r->pos + r->start, r->end - r->start, r->pos + r->end,
 527          r->sz - r->end, r->pos + r->sz);
 528   va_end(ap);
 529   assert(r->start <= r->end);
 530   assert(r->end <= r->sz);
 531 }
 532 #endif
 533
 534 static ssize_t recovery_read_sectors(struct recoverybuf *r,
 535                                      secaddr pos, secaddr off, secaddr want)
 536 {
 537   ssize_t n;
 538
 539   assert(off <= r->sz); assert(want <= r->sz - off);
 540   n = read_sectors(pos, r->buf + off*SECTORSZ, want);
 541   return (n);
 542 }
 543
 544 static ssize_t recovery_read(struct recoverybuf *r,
 545                              secaddr pos, secaddr want)
 546 {
 547   secaddr diff, pp, nn;
 548   ssize_t n;
 549
 550 #ifdef DEBUG
 551   debug_clear_progress();
 552   show_recovery_buffer_map(r, "begin(%"PRIuSEC", %"PRIuSEC")", pos, want);
 553 #endif
 554
 555   if (pos < r->pos) {
 556     diff = r->pos - pos;
 557     if (r->start + diff >= r->sz) {
 558       r->pos = pos; r->start = r->end = 0;
 559 #ifdef DEBUG
 560       show_recovery_buffer_map(r, "cleared; shift up by %"PRIuSEC"", diff);
 561 #endif
 562     } else {
 563       if (r->end + diff > r->sz) r->end = r->sz - diff;
 564       rearrange_sectors(r, r->start + diff, r->start, r->end - r->start);
 565       r->pos -= diff; r->start += diff; r->end += diff;
 566 #ifdef DEBUG
 567       show_recovery_buffer_map(r, "shifted up by %"PRIuSEC"", diff);
 568 #endif
 569     }
 570   } else if (pos > r->pos + r->end) {
 571       r->pos = pos; r->start = r->end = 0;
 572 #ifdef DEBUG
 573       show_recovery_buffer_map(r, "cleared; beyond previous region");
 574 #endif
 575   } else if (pos + want > r->pos + r->sz) {
 576     diff = (pos + want) - (r->pos + r->sz);
 577     if (r->end <= diff) {
 578       r->pos = pos; r->start = r->end = 0;
 579 #ifdef DEBUG
 580       show_recovery_buffer_map(r, "cleared; shift down by %"PRIuSEC"", diff);
 581 #endif
 582     } else {
 583       if (r->start < diff) r->start = diff;
 584       rearrange_sectors(r, r->start - diff, r->start, r->end - r->start);
 585       r->pos += diff; r->start -= diff; r->end -= diff;
 586 #ifdef DEBUG
 587       show_recovery_buffer_map(r, "shifted down by %"PRIuSEC"", diff);
 588 #endif
 589     }
 590   }
 591
 592   if (pos < r->pos + r->start) {
 593     pp = pos - r->pos; nn = r->start - pp;
 594 #ifdef DEBUG
 595     printf(";; read low (%"PRIuSEC"@%"PRIuSEC", %"PRIuSEC")", pos, pp, nn);
 596     fflush(stdout);
 597 #endif
 598     n = recovery_read_sectors(r, pos, pp, nn);
 599 #ifdef DEBUG
 600     printf(" -> %zd\n", n);
 601 #endif
 602     if (n != nn) {
 603       if (n >= 0 && n > want) n = want;
 604       goto end;
 605     }
 606     r->start = pp;
 607 #ifdef DEBUG
 608     show_recovery_buffer_map(r, "joined new region");
 609 #endif
 610   }
 611
 612   if (pos + want > r->pos + r->end) {
 613     pp = r->end; nn = (pos + want) - (r->pos + r->end);
 614 #ifdef DEBUG
 615     printf(";; read high (%"PRIuSEC"@%"PRIuSEC", %"PRIuSEC")",
 616            r->pos + pp, pp, nn);
 617     fflush(stdout);
 618 #endif
 619     n = recovery_read_sectors(r, pos + pp, pp, nn);
 620 #ifdef DEBUG
 621     printf(" -> %zd\n", n);
 622 #endif
 623     if (n > 0) {
 624       r->end += n;
 625 #ifdef DEBUG
 626       show_recovery_buffer_map(r, "joined new region");
 627 #endif
 628     }
 629   }
 630
 631   n = r->pos + r->end - pos;
 632   if (!n && want) n = -1;
 633
 634 end:
 635 #ifdef DEBUG
 636   show_recovery_buffer_map(r, "done; return %zd", n);
 637 #endif
 638   return (n);
 639 }
 640
 641 static secaddr run_length_wanted(secaddr pos, secaddr badlen,
 642                                  secaddr sz, secaddr end)
 643 {
 644   secaddr want;
 645
 646   want = 3*badlen/2;
 647   if (!want) want = 1;
 648   if (want > end - pos) want = end - pos;
 649   if (want > sz) want = sz;
 650   return (want);
 651 }
 652
 653 static ssize_t find_good_sector(secaddr *pos_inout, secaddr end,
 654                                 unsigned char *buf, secaddr sz)
 655 {
 656   int i;
 657   secaddr pos = *pos_inout, bad_lo, bad_hi, good, step, want;
 658   struct recoverybuf r;
 659   ssize_t n;
 660
 661   r.buf = buf; r.sz = sz; r.pos = r.start = r.end = 0;
 662   report_bad_blocks_progress(pos, pos, errno);
 663
 664   want = sz; if (want > end - pos) want = end - pos;
 665   for (i = 0; i < 4; i++) {
 666     n = recovery_read(&r, pos, want);
 667 #ifdef DEBUG
 668     debug_clear_progress();
 669     printf(";; [retry] try reading %"PRIuSEC" .. %"PRIuSEC" -> %zd\n",
 670            pos, pos + want, n);
 671 #endif
 672     if (n > 0) {
 673       clear_progress();
 674       moan("sector %"PRIuSEC" read ok after retry", pos);
 675       return (n);
 676     }
 677   }
 678
 679   bad_lo = pos; bad_hi = pos + 1;
 680   for (;;) {
 681     report_bad_blocks_progress(bad_lo, bad_hi, errno);
 682     if (bad_hi >= end) {
 683       clear_progress();
 684       moan("giving up on this extent");
 685       recovered(bad_lo, end); *pos_inout = end; return (0);
 686     }
 687     step = 2*(bad_hi - bad_lo); if (step > end - bad_lo) step = end - bad_lo;
 688     pos = bad_lo + step - 1;
 689     want = run_length_wanted(pos, step, sz, end);
 690     n = recovery_read(&r, pos, want);
 691 #ifdef DEBUG
 692     debug_clear_progress();
 693     printf(";; [bound] try reading %"PRIuSEC" .. %"PRIuSEC" -> %zd\n",
 694            pos, pos + want, n);
 695 #endif
 696     if (n == want) break;
 697     if (n < 0) n = 0;
 698     bad_hi = pos + n + 1;
 699   }
 700
 701   good = pos;
 702   while (good > bad_hi) {
 703     report_bad_blocks_progress(bad_lo, bad_hi, errno);
 704     pos = bad_hi + (good - bad_hi)/2;
 705     step = pos - bad_lo;
 706     want = run_length_wanted(pos, step, sz, end);
 707     n = recovery_read(&r, pos, want);
 708 #ifdef DEBUG
 709     debug_clear_progress();
 710     printf(";; [limit] try reading %"PRIuSEC" .. %"PRIuSEC" -> %zd\n",
 711            pos, pos + want, n);
 712 #endif
 713     if (n < 0) n = 0;
 714     if (n == want) good = pos;
 715     else bad_hi = pos + n + 1;
 716   }
 717   recovered(bad_lo, bad_hi); *pos_inout = good;
 718   if (good < r.pos + r.start || r.pos + r.end <= good)
 719     n = 0;
 720   else {
 721     n = r.pos + r.end - good;
 722     rearrange_sectors(&r, 0, good - r.pos, n);
 723   }
 724 #ifdef DEBUG
 725   show_recovery_buffer_map(&r, "returning %zd good sectors at %"PRIuSEC"",
 726                            n, good);
 727 #endif
 728   return (n);
 729 }
 730
 731 static void emit(secaddr start, secaddr end)
 732 {
 733 #define BUFSECTORS 512
 734
 735   int least;
 736   unsigned char buf[BUFSECTORS*SECTORSZ];
 737   secaddr pos;
 738   size_t want;
 739   ssize_t n;
 740   static int first_time = 1;
 741 #ifdef DEBUG
 742   struct file *f;
 743   char fn[MAXFNSZ];
 744   int act = -1;
 745   int i;
 746 #endif
 747
 748   least = least_live();
 749
 750 #ifdef DEBUG
 751   printf(";; %8"PRIuSEC" .. %"PRIuSEC"\n", start, end);
 752
 753   for (i = 0; i < filetab.n; i++) {
 754     if (!livep(i)) continue;
 755     if (act == -1) act = i;
 756     f = &filetab.v[i]; store_filename(fn, f->id);
 757     printf(";;\t\t%8"PRIuSEC" .. %-8"PRIuSEC" %s\n",
 758            start - f->start, end - f->start, fn);
 759   }
 760   if (act == -1) printf(";;\t\t#<no live source>\n");
 761   assert(act == least);
 762 #endif
 763
 764   if (least == -1)
 765     { file = 0; vob = 0; }
 766   else {
 767     file = &filetab.v[least];
 768     switch (id_kind(file->id)) {
 769       case RAW:
 770         vob = 0;
 771         break;
 772       case VOB:
 773         if (first_time) { clear_progress(); first_time = 0; }
 774         vob = DVDOpenFile(dvd, id_title(file->id),
 775                           id_part(file->id)
 776                             ? DVD_READ_TITLE_VOBS
 777                             : DVD_READ_MENU_VOBS);
 778         if (!vob)
 779           bail("failed to open %s %u",
 780                id_part(file->id) ? "title" : "menu",
 781                id_title(file->id));
 782         break;
 783       default:
 784         abort();
 785     }
 786   }
 787
 788   pos = start;
 789   while (pos < end) {
 790     want = end - pos; if (want > BUFSECTORS) want = BUFSECTORS;
 791     n = read_sectors(pos, buf, want);
 792
 793     if (n <= 0) n = find_good_sector(&pos, end, buf, BUFSECTORS);
 794     if (n > 0) { carefully_write(outfd, buf, n*SECTORSZ); pos += n; }
 795     report_progress(pos); fflush(stdout);
 796   }
 797
 798   if (vob) { DVDCloseFile(vob); vob = 0; }
 799
 800 #undef BUFSECTORS
 801 }
 802
 803 #ifdef notdef
 804 static void logfn(void *p, dvd_logger_level_t lev,
 805                   const char *fmt, va_list ap)
 806 {
 807   switch (lev) {
 808     case DVD_LOGGER_LEVEL_ERROR:
 809       fprintf("%s (libdvdread error): ", prog);
 810       break;
 811     case DVD_LOGGER_LEVEL_WARN:
 812       fprintf("%s (libdvdread warning): ", prog);
 813       break;
 814     default:
 815       return;
 816   }
 817   vfprintf(stderr, fmt, ap);
 818   fputc('\n', stderr);
 819 }
 820 static const dvd_logger_cb logger = { logfn };
 821 #endif
 822
 823 struct buf {
 824   char *p;
 825   size_t n, sz;
 826 };
 827 #define BUF_INIT { 0, 0, 0 }
 828 #define BUF_REWIND(b) do { (b)->n = 0; } while (0)
 829 #define BUF_FREE(b) do {                                                \
 830   buf *_b = (b);                                                        \
 831   free(_b->p); _b->p = 0; _b->n = _b->sz = 0;                           \
 832 } while (0)
 833 #define BUF_PUTC(b, ch) do {                                            \
 834   struct buf *_b = (b);                                                 \
 835   if (_b->n >= _b->sz) {                                                \
 836     _b->sz = _b->sz ? 2*_b->sz : 32;                                    \
 837     _b->p = realloc(_b->p, _b->sz);                                     \
 838     if (!_b->p) bail("out of memory allocating %zu bytes", _b->sz);     \
 839   }                                                                     \
 840   _b->p[_b->n] = (ch);                                                  \
 841 } while (0)
 842
 843 static int read_line(FILE *fp, struct buf *b)
 844 {
 845   int ch;
 846
 847   ch = getc(fp);
 848   if (ch == EOF)
 849     return (-1);
 850   else if (ch != '\n') do {
 851     BUF_PUTC(b, ch); b->n++;
 852     ch = getc(fp);
 853   } while (ch != EOF && ch != '\n');
 854   BUF_PUTC(b, 0);
 855   return (0);
 856 }
 857
 858 #define PRF_HYPHEN 1u
 859 static int parse_range(const char *p, unsigned f,
 860                        secaddr *start_out, secaddr *end_out)
 861 {
 862   char *q;
 863   int err, rc;
 864   unsigned long start, end;
 865
 866   err = errno;
 867
 868   if (ISDIGIT(*p)) {
 869     start = strtoul(p, &q, 0);
 870     if (errno || start >= SECLIMIT) { rc = -1; goto end; }
 871     *start_out = start; p = q;
 872   } else if (!(f&PRF_HYPHEN))
 873     { rc = -1; goto end; }
 874   else
 875     start = 0;
 876
 877   if (f&PRF_HYPHEN) {
 878     if (*p != '-')  { rc = -1; goto end; }
 879     p++;
 880   } else {
 881     if (!ISSPACE(*p)) { rc = -1; goto end; }
 882     do p++; while (ISSPACE(*p));
 883   }
 884
 885   if (ISDIGIT(*p)) {
 886     end = strtoul(p, &q, 0);
 887     if (errno || end > SECLIMIT || end < start) { rc = -1; goto end; }
 888     *end_out = end; p = q;
 889   } else if (!(f&PRF_HYPHEN))
 890     { rc = -1; goto end; }
 891
 892   if (!(f&PRF_HYPHEN)) while (ISSPACE(*p)) p++;
 893   if (*p) { rc = -1; goto end; }
 894
 895   rc = 0;
 896 end:
 897   errno = err;
 898   return (rc);
 899 }
 900
 901 int main(int argc, char *argv[])
 902 {
 903   unsigned f = 0;
 904   char *p;
 905   uint64_t volsz;
 906   secaddr pos;
 907   off_t off;
 908   secaddr start, end, last;
 909   const struct event *ev;
 910   const char *device, *outfile;
 911   struct badblock *bad;
 912   int opt, blksz;
 913   unsigned n;
 914   size_t i;
 915   FILE *fp;
 916   struct buf buf = BUF_INIT;
 917   struct stat st;
 918 #ifdef DEBUG
 919   const struct file *file;
 920   char fn[MAXFNSZ];
 921 #endif
 922
 923 #define f_bogus 1u
 924 #define f_continue 2u
 925 #define f_fixup 4u
 926 #define f_write 256u
 927
 928   p = strrchr(argv[0], '/'); prog = p ? p + 1 : argv[0];
 929   for (;;) {
 930     opt = getopt(argc, argv, "hFR:X:b:cr:"); if (opt < 0) break;
 931     switch (opt) {
 932       case 'h': usage(stderr); exit(0);
 933       case 'F': f |= f_fixup; break;
 934       case 'R':
 935         fp = fopen(optarg, "r");
 936         if (!fp)
 937           bail_syserr(errno, "failed to open ranges file `%s'", optarg);
 938         i = 0; last = -1;
 939         for (;;) {
 940           BUF_REWIND(&buf); if (read_line(fp, &buf)) break;
 941           p = buf.p; i++;
 942           while (ISSPACE(*p)) p++;
 943           if (!*p || *p == '#') continue;
 944           if (parse_range(p, 0, &start, &end) ||
 945               (last <= SECLIMIT && start < last))
 946             bail("bad range `%s' at `%s' line %zu", buf.p, optarg, i);
 947           if (start < end) {
 948             if (start == last)
 949               eventq.v[eventq.n - 1].pos = end;
 950             else {
 951               put_event(EV_WRITE, 0, start);
 952               put_event(EV_STOP, 0, end);
 953             }
 954             last = end;
 955           }
 956         }
 957         if (ferror(fp))
 958           bail_syserr(errno, "failed to read ranges file `%s'", optarg);
 959         break;
 960       case 'X':
 961         fp = fopen(optarg, "r");
 962         if (!fp)
 963           bail_syserr(errno, "failed to open bad-blocks file `%s'", optarg);
 964         i = 0; last = -1;
 965         for (;;) {
 966           BUF_REWIND(&buf); if (read_line(fp, &buf)) break;
 967           p = buf.p; i++;
 968           while (ISSPACE(*p)) p++;
 969           if (!*p || *p == '#') continue;
 970           if (parse_range(p, 0, &start, &end) ||
 971               (last <= SECLIMIT && start < last))
 972             bail("bad range `%s' at `%s' line %zu", buf.p, optarg, i);
 973           if (start < end)
 974             { VEC_PUSH(bad, &badblocks); bad->start = start; bad->end = end; }
 975         }
 976         if (ferror(fp))
 977           bail_syserr(errno, "failed to read bad-blocks file `%s'", optarg);
 978         break;
 979       case 'b':
 980         if (mapfile) bail("can't have multiple map files");
 981         mapfile = optarg;
 982         break;
 983       case 'c': f |= f_continue; break;
 984       case 'r':
 985         start = 0; end = -1;
 986         if (parse_range(optarg, PRF_HYPHEN, &start, &end))
 987           bail("bad range `%s'", optarg);
 988         if (start < end) {
 989           put_event(EV_WRITE, 0, start);
 990           if (end <= SECLIMIT) put_event(EV_STOP, 0, end);
 991         }
 992         break;
 993       default: f |= f_bogus; break;
 994     }
 995   }
 996   if (argc - optind != 2) f |= f_bogus;
 997   if (f&f_bogus) { usage(stderr); exit(2); }
 998
 999   device = argv[optind]; outfile = argv[optind + 1];
1000
1001   if (badblocks.n) {
1002     qsort(badblocks.v, badblocks.n, sizeof(struct badblock),
1003           compare_badblock);
1004 #ifdef DEBUG
1005     printf(";; fake bad blocks:\n");
1006     for (i = 0; i < badblocks.n; i++)
1007       printf(";;\t%8"PRIuSEC" .. %"PRIuSEC"\n",
1008              badblocks.v[i].start, badblocks.v[i].end);
1009 #endif
1010   }
1011
1012   dvdfd = open(device, O_RDONLY);
1013   if (dvdfd < 0)
1014     bail_syserr(errno, "failed to open device `%s'", device);
1015   if (fstat(dvdfd, &st))
1016     bail_syserr(errno, "failed to stat device `%s'", device);
1017   if (S_ISREG(st.st_mode)) {
1018     blksz = SECTORSZ;
1019     volsz = st.st_size;
1020   } else if (S_ISBLK(st.st_mode)) {
1021     if (ioctl(dvdfd, BLKSSZGET, &blksz))
1022       bail_syserr(errno, "failed to get block size for `%s'", device);
1023     if (ioctl(dvdfd, BLKGETSIZE64, &volsz))
1024       bail_syserr(errno, "failed to get volume size for `%s'", device);
1025   } else
1026     bail("can't use `%s' as source: expected file or block device", device);
1027
1028   if (blksz != SECTORSZ)
1029     bail("device `%s' block size %d /= %d", device, blksz, SECTORSZ);
1030   if (volsz%SECTORSZ)
1031     bail("device `%s' volume size %"PRIu64" not a multiple of %d",
1032          device, volsz, SECTORSZ);
1033
1034   if (outfile) {
1035     outfd = open(outfile, O_WRONLY | O_CREAT, 0666);
1036     if (outfd < 0)
1037       bail_syserr(errno, "failed to create output file `%s'", outfile);
1038   }
1039
1040   if (f&f_continue) {
1041     off = lseek(outfd, 0, SEEK_END);
1042     if (off < 0)
1043       bail_syserr(errno, "failed to seek to end of output file `%s'",
1044                   outfile);
1045     put_event(EV_WRITE, 0, off/SECTORSZ);
1046   } else if (!eventq.n && !(f&f_fixup))
1047     put_event(EV_WRITE, 0, 0);
1048
1049 #ifdef notdef
1050   dvd = DVDOpen2(0, &logger, device);
1051 #else
1052   dvd = DVDOpen(device);
1053 #endif
1054   if (!dvd) bail("failed to open DVD on `%s'", device);
1055
1056   /* It's fast enough just to check everything. */
1057   put_menu(dvd, 0);
1058   for (i = 1; i < 100; i++) {
1059     put_menu(dvd, i);
1060     put_title(dvd, i);
1061   }
1062   put_file(mkident(RAW, 0, 0), 0, volsz/SECTORSZ);
1063   assert(filetab.n <= MAXFILES);
1064
1065   for (i = 0, limit = 0; i < filetab.n; i++)
1066     if (filetab.v[i].end > limit) limit = filetab.v[i].end;
1067
1068   if (end > limit) end = limit;
1069
1070 #ifdef DEBUG
1071   printf("\n;; files:\n");
1072   for (i = 0; i < filetab.n; i++) {
1073     file = &filetab.v[i];
1074     store_filename(fn, file->id);
1075     printf(";;\t%8"PRIuSEC" %s\n", file->start, fn);
1076   }
1077 #endif
1078
1079   qsort(eventq.v, eventq.n, sizeof(struct event), compare_event);
1080
1081   f &= ~f_write; start = 0; n = 0;
1082   for (i = 0; i < eventq.n; i++) {
1083     ev = &eventq.v[i];
1084     switch (ev->ev) {
1085       case EV_WRITE:
1086         if (f&f_write)
1087           bail("overlapping ranges: range from %"PRIuSEC" still open at %"PRIuSEC"",
1088                start, ev->pos);
1089         n++; f |= f_write; start = ev->pos;
1090         break;
1091       case EV_STOP:
1092         f &= ~f_write;
1093         break;
1094     }
1095   }
1096
1097   f &= ~f_write; start = 0;
1098   for (i = 0; i < eventq.n; i++) {
1099     ev = &eventq.v[i];
1100     switch (ev->ev) {
1101       case EV_WRITE: start = ev->pos; f |= f_write; break;
1102       case EV_STOP: nsectors += ev->pos - start; f &= ~f_write; break;
1103     }
1104     if (ev->pos >= limit) break;
1105     if (f&f_fixup) start = ev->pos;
1106   }
1107   eventq.n = i;
1108   if (f&f_fixup) {
1109     put_event(EV_WRITE, 0, start);
1110     n++; f |= f_write;
1111   }
1112   if (f&f_write) {
1113     nsectors += limit - start;
1114     put_event(EV_STOP, 0, limit);
1115   }
1116   if (n == 1 && (f&f_write)) flags |= F_ALLPROGRESS;
1117   f &= ~f_write;
1118
1119 #ifdef DEBUG
1120   printf("\n;; event sweep:\n");
1121 #endif
1122   for (pos = 0, i = 0; i < eventq.n; i++) {
1123     ev = &eventq.v[i];
1124     if (ev->pos > pos) {
1125       if (f&f_write) emit(pos, ev->pos);
1126       pos = ev->pos;
1127 #ifdef DEBUG
1128       debug_clear_progress();
1129       printf(";;\n");
1130 #endif
1131     }
1132     switch (ev->ev) {
1133       case EV_BEGIN:
1134         set_live(ev->file);
1135 #ifdef DEBUG
1136         store_filename(fn, filetab.v[ev->file].id);
1137         debug_clear_progress();
1138         printf(";; %8"PRIuSEC": begin `%s'\n", pos, fn);
1139 #endif
1140         break;
1141       case EV_WRITE:
1142         gettimeofday(&last_time, 0); last_pos = pos;
1143         if (lseek(outfd, (off_t)ev->pos*SECTORSZ, SEEK_SET) < 0)
1144           bail_syserr(errno,
1145                       "failed to seek to resume position "
1146                       "(sector %"PRIuSEC") in output file `%s'",
1147                       ev->pos, outfile);
1148 #ifdef DEBUG
1149         debug_clear_progress();
1150         printf(";; %8"PRIuSEC": begin write\n", pos);
1151 #endif
1152         f |= f_write;
1153         break;
1154       case EV_STOP:
1155         f &= ~f_write;
1156 #ifdef DEBUG
1157         debug_clear_progress();
1158         printf(";; %8"PRIuSEC": end write\n", pos);
1159 #endif
1160         break;
1161       case EV_END:
1162         clear_live(ev->file);
1163 #ifdef DEBUG
1164         store_filename(fn, filetab.v[ev->file].id);
1165         debug_clear_progress();
1166         printf(";; %8"PRIuSEC": end `%s'\n", pos, fn);
1167 #endif
1168         break;
1169       default: abort();
1170     }
1171   }
1172
1173   if (progresslen) putchar('\n');
1174
1175   if (ftruncate(outfd, (off_t)limit*SECTORSZ) < 0)
1176     bail_syserr(errno, "failed to set output file `%s' length", outfile);
1177
1178   if (dvd) DVDClose(dvd);
1179   if (dvdfd >= 0) close(dvdfd);
1180   if (outfd >= 0) close(outfd);
1181   if (mapfp) {
1182     if (ferror(mapfp) || fclose(mapfp))
1183       bail_syserr(errno, "error writing bad-sector map file");
1184   }
1185
1186 #undef f_bogus
1187 #undef f_continue
1188 #undef f_fixup
1189 #undef f_write
1190
1191   return (status);
1192 }