chiark / gitweb /
playrtp now uses heap.h
[disorder] / clients / playrtp.c
index 68926e6d84e6b8b4a4d77c2e7b4156c421269f62..86d833742298ec886263a176d65bc19a4971dfd9 100644 (file)
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307
  * USA
  */
+/** @file clients/playrtp.c
+ * @brief RTP player
+ *
+ * This RTP player supports Linux (ALSA) and Darwin (Core Audio) systems.
+ */
 
 #include <config.h>
 #include "types.h"
@@ -30,6 +35,8 @@
 #include <netdb.h>
 #include <pthread.h>
 #include <locale.h>
+#include <sys/uio.h>
+#include <string.h>
 
 #include "log.h"
 #include "mem.h"
@@ -38,6 +45,8 @@
 #include "syscalls.h"
 #include "rtp.h"
 #include "defs.h"
+#include "vector.h"
+#include "heap.h"
 
 #if HAVE_COREAUDIO_AUDIOHARDWARE_H
 # include <CoreAudio/AudioHardware.h>
@@ -51,6 +60,9 @@
 /** @brief RTP socket */
 static int rtpfd;
 
+/** @brief Log output */
+static FILE *logfp;
+
 /** @brief Output device */
 static const char *device;
 
@@ -80,41 +92,75 @@ static unsigned readahead = 2 * 2 * 44100;
  * We'll stop reading from the network if we have this many samples. */
 static unsigned maxbuffer;
 
-/** @brief Number of samples to infill by in one go */
+/** @brief Number of samples to infill by in one go
+ *
+ * This is an upper bound - in practice we expxect the underlying audio API to
+ * only ask for a much smaller number of samples in any one go.
+ */
 #define INFILL_SAMPLES (44100 * 2)      /* 1s */
 
 /** @brief Received packet
  *
- * Packets are recorded in an ordered linked list. */
+ * Received packets are kept in a binary heap (see @ref pheap) ordered by
+ * timestamp.
+ */
 struct packet {
-  /** @brief Pointer to next packet
-   * The next packet might not be immediately next: if packets are dropped
-   * or mis-ordered there may be gaps at any given moment. */
-  struct packet *next;
   /** @brief Number of samples in this packet */
   uint32_t nsamples;
   /** @brief Timestamp from RTP packet
    *
-   * NB that "timestamps" are really sample counters.*/
+   * NB that "timestamps" are really sample counters.  Use lt() or lt_packet()
+   * to compare timestamps. 
+   */
   uint32_t timestamp;
-#if HAVE_COREAUDIO_AUDIOHARDWARE_H
-  /** @brief Converted sample data */
-  float samples_float[MAXSAMPLES];
-#else
-  /** @brief Raw sample data */
+  /** @brief Raw sample data
+   *
+   * Only the first @p nsamples samples are defined; the rest is uninitialized
+   * data.
+   */
   unsigned char samples_raw[MAXSAMPLES * MAXSAMPLESIZE];
-#endif
 };
 
+/** @brief Return true iff \f$a < b\f$ in sequence-space arithmetic
+ *
+ * Specifically it returns true if \f$(a-b) mod 2^{32} < 2^{31}\f$.
+ *
+ * See also lt_packet().
+ */
+static inline int lt(uint32_t a, uint32_t b) {
+  return (uint32_t)(a - b) & 0x80000000;
+}
+
+/** @brief Return true iff a >= b in sequence-space arithmetic */
+static inline int ge(uint32_t a, uint32_t b) {
+  return !lt(a, b);
+}
+
+/** @brief Return true iff a > b in sequence-space arithmetic */
+static inline int gt(uint32_t a, uint32_t b) {
+  return lt(b, a);
+}
+
+/** @brief Return true iff a <= b in sequence-space arithmetic */
+static inline int le(uint32_t a, uint32_t b) {
+  return !lt(b, a);
+}
+
+/** @brief Ordering for packets, used by @ref pheap */
+static inline int lt_packet(const struct packet *a, const struct packet *b) {
+  return lt(a->timestamp, b->timestamp);
+}
+
+/** @struct pheap 
+ * @brief Binary heap of packets ordered by timestamp */
+HEAP_TYPE(pheap, struct packet *, lt_packet);
+
+/** @brief Binary heap of received packets */
+static struct pheap packets;
+
 /** @brief Total number of samples available */
 static unsigned long nsamples;
 
-/** @brief Linked list of packets
- *
- * In ascending order of timestamp.  Really this should be a heap for more
- * efficient access. */
-static struct packet *packets;
-
 /** @brief Timestamp of next packet to play.
  *
  * This is set to the timestamp of the last packet, plus the number of
@@ -127,7 +173,42 @@ static uint32_t next_timestamp;
  * This is true when playing and false when just buffering. */
 static int active;
 
-/** @brief Lock protecting @ref packets */
+/** @brief Structure of free packet list */
+union free_packet {
+  struct packet p;
+  union free_packet *next;
+};
+
+/** @brief Linked list of free packets
+ *
+ * This is a linked list of formerly used packets.  For preference we re-use
+ * packets that have already been used rather than unused ones, to limit the
+ * size of the program's working set.  If there are no free packets in the list
+ * we try @ref next_free_packet instead.
+ *
+ * Must hold @ref lock when accessing this.
+ */
+static union free_packet *free_packets;
+
+/** @brief Array of new free packets 
+ *
+ * There are @ref count_free_packets ready to use at this address.  If there
+ * are none left we allocate more memory.
+ *
+ * Must hold @ref lock when accessing this.
+ */
+static union free_packet *next_free_packet;
+
+/** @brief Count of new free packets at @ref next_free_packet
+ *
+ * Must hold @ref lock when accessing this.
+ */
+static size_t count_free_packets;
+
+/** @brief Lock protecting @ref packets 
+ *
+ * This also protects the packet memory allocation infrastructure, @ref
+ * free_packets and @ref next_free_packet. */
 static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
 
 /** @brief Condition variable signalled whenever @ref packets is changed */
@@ -144,33 +225,46 @@ static const struct option options[] = {
   { 0, 0, 0, 0 }
 };
 
-/** @brief Return true iff a < b in sequence-space arithmetic */
-static inline int lt(uint32_t a, uint32_t b) {
-  return (uint32_t)(a - b) & 0x80000000;
-}
-
-/** @brief Return true iff a >= b in sequence-space arithmetic */
-static inline int ge(uint32_t a, uint32_t b) {
-  return !lt(a, b);
-}
-
-/** @brief Return true iff a > b in sequence-space arithmetic */
-static inline int gt(uint32_t a, uint32_t b) {
-  return lt(b, a);
+/** @brief Return a new packet
+ *
+ * Assumes that @ref lock is held. */
+static struct packet *new_packet(void) {
+  struct packet *p;
+
+  if(free_packets) {
+    p = &free_packets->p;
+    free_packets = free_packets->next;
+  } else {
+    if(!count_free_packets) {
+      next_free_packet = xcalloc(1024, sizeof (union free_packet));
+      count_free_packets = 1024;
+    }
+    p = &(next_free_packet++)->p;
+    --count_free_packets;
+  }
+  return p;
 }
 
-/** @brief Return true iff a <= b in sequence-space arithmetic */
-static inline int le(uint32_t a, uint32_t b) {
-  return !lt(b, a);
+/** @brief Free a packet
+ *
+ * Assumes that @ref lock is held. */
+static void free_packet(struct packet *p) {
+  union free_packet *u = (union free_packet *)p;
+  u->next = free_packets;
+  free_packets = u;
 }
 
-/** @brief Drop the packet at the head of the queue */
+/** @brief Drop the first packet
+ *
+ * Assumes that @ref lock is held. 
+ */
 static void drop_first_packet(void) {
-  struct packet *const p = packets;
-  packets = p->next;
-  nsamples -= p->nsamples;
-  free(p);
-  pthread_cond_broadcast(&cond);
+  if(pheap_count(&packets)) {
+    struct packet *const p = pheap_remove(&packets);
+    nsamples -= p->nsamples;
+    free_packet(p);
+    pthread_cond_broadcast(&cond);
+  }
 }
 
 /** @brief Background thread collecting samples
@@ -178,19 +272,24 @@ static void drop_first_packet(void) {
  * This function collects samples, perhaps converts them to the target format,
  * and adds them to the packet list. */
 static void *listen_thread(void attribute((unused)) *arg) {
-  struct packet *p = 0, **pp;
+  struct packet *p = 0;
   int n;
-  union {
-    struct rtp_header header;
-    uint8_t bytes[sizeof(uint16_t) * MAXSAMPLES + sizeof (struct rtp_header)];
-  } packet;
-  const uint16_t *const samples = (uint16_t *)(packet.bytes
-                                               + sizeof (struct rtp_header));
+  struct rtp_header header;
+  uint16_t seq;
+  uint32_t timestamp;
+  struct iovec iov[2];
 
   for(;;) {
-    if(!p)
-      p = xmalloc(sizeof *p);
-    n = read(rtpfd, packet.bytes, sizeof packet.bytes);
+    if(!p) {
+      pthread_mutex_lock(&lock);
+      p = new_packet();
+      pthread_mutex_unlock(&lock);
+    }
+    iov[0].iov_base = &header;
+    iov[0].iov_len = sizeof header;
+    iov[1].iov_base = p->samples_raw;
+    iov[1].iov_len = sizeof p->samples_raw;
+    n = readv(rtpfd, iov, 2);
     if(n < 0) {
       switch(errno) {
       case EINTR:
@@ -200,67 +299,63 @@ static void *listen_thread(void attribute((unused)) *arg) {
       }
     }
     /* Ignore too-short packets */
-    if((size_t)n <= sizeof (struct rtp_header))
+    if((size_t)n <= sizeof (struct rtp_header)) {
+      info("ignored a short packet");
       continue;
-    p->timestamp = ntohl(packet.header.timestamp);
+    }
+    timestamp = htonl(header.timestamp);
+    seq = htons(header.seq);
     /* Ignore packets in the past */
-    if(active && lt(p->timestamp, next_timestamp)) {
+    if(active && lt(timestamp, next_timestamp)) {
       info("dropping old packet, timestamp=%"PRIx32" < %"PRIx32,
-           p->timestamp, next_timestamp);
+           timestamp, next_timestamp);
       continue;
     }
+    pthread_mutex_lock(&lock);
+    p = new_packet();
+    p->timestamp = timestamp;
     /* Convert to target format */
-    switch(packet.header.mpt & 0x7F) {
+    switch(header.mpt & 0x7F) {
     case 10:
-      p->nsamples = (n - sizeof (struct rtp_header)) / sizeof(uint16_t);
-#if HAVE_COREAUDIO_AUDIOHARDWARE_H
-      /* Convert to what Core Audio expects */
-      {
-        size_t i;
-
-        for(i = 0; i < p->nsamples; ++n)
-          p->samples_float[i] = (int16_t)ntohs(samples[i]) * (0.5f / 32767);
-      }
-#else
+      p->nsamples = (n - sizeof header) / sizeof(uint16_t);
       /* ALSA can do any necessary conversion itself (though it might be better
        * to do any necessary conversion in the background) */
-      memcpy(p->samples_raw, samples, n - sizeof (struct rtp_header));
-#endif
+      /* TODO we could readv into the buffer */
       break;
       /* TODO support other RFC3551 media types (when the speaker does) */
     default:
       fatal(0, "unsupported RTP payload type %d",
-            packet.header.mpt & 0x7F);
+            header.mpt & 0x7F);
     }
-    pthread_mutex_lock(&lock);
+    if(logfp)
+      fprintf(logfp, "sequence %u timestamp %"PRIx32" length %"PRIx32" end %"PRIx32"\n",
+              seq, timestamp, p->nsamples, timestamp + p->nsamples);
     /* Stop reading if we've reached the maximum.
      *
      * This is rather unsatisfactory: it means that if packets get heavily
      * out of order then we guarantee dropouts.  But for now... */
-    while(nsamples >= maxbuffer)
-      pthread_cond_wait(&cond, &lock);
-    for(pp = &packets;
-        *pp && lt((*pp)->timestamp, p->timestamp);
-        pp = &(*pp)->next)
-      ;
-    /* So now either !*pp or *pp >= p */
-    if(*pp && p->timestamp == (*pp)->timestamp) {
-      /* *pp == p; a duplicate.  Ideally we avoid the translation step here,
-       * but we'll worry about that another time. */
-      info("dropped a duplicated");
-    } else {
-      if(*pp)
-        info("receiving packets out of order");
-      p->next = *pp;
-      *pp = p;
-      nsamples += p->nsamples;
-      pthread_cond_broadcast(&cond);
-      p = 0;                            /* we've consumed this packet */
+    if(nsamples >= maxbuffer) {
+      info("buffer full");
+      while(nsamples >= maxbuffer)
+        pthread_cond_wait(&cond, &lock);
     }
+    /* Add the packet to the heap */
+    pheap_insert(&packets, p);
+    nsamples += p->nsamples;
+    pthread_cond_broadcast(&cond);
     pthread_mutex_unlock(&lock);
   }
 }
 
+/** @brief Return true if @p p contains @p timestamp */
+static inline int contains(const struct packet *p, uint32_t timestamp) {
+  const uint32_t packet_start = p->timestamp;
+  const uint32_t packet_end = p->timestamp + p->nsamples;
+
+  return (ge(timestamp, packet_start)
+          && lt(timestamp, packet_end));
+}
+
 #if HAVE_COREAUDIO_AUDIOHARDWARE_H
 /** @brief Callback from Core Audio */
 static OSStatus adioproc
@@ -273,60 +368,55 @@ static OSStatus adioproc
      void attribute((unused)) *inClientData) {
   UInt32 nbuffers = outOutputData->mNumberBuffers;
   AudioBuffer *ab = outOutputData->mBuffers;
+  const struct packet *p;
+  uint32_t samples_available;
 
   pthread_mutex_lock(&lock);
   while(nbuffers > 0) {
     float *samplesOut = ab->mData;
     size_t samplesOutLeft = ab->mDataByteSize / sizeof (float);
-    
+
     while(samplesOutLeft > 0) {
-      if(packets) {
-        /* There's a packet */
-        const uint32_t packet_start = packets->timestamp;
-        const uint32_t packet_end = packets->timestamp + packets->nsamples;
-        
-        if(le(packet_end, next_timestamp)) {
-          /* This packet is in the past */
-          info("dropping buffered past packet %"PRIx32" < %"PRIx32,
-               packets->timestamp, next_timestamp);
-          continue;
-        }
-        if(ge(next_timestamp, packet_start)
-           && lt(next_timestamp, packet_end)) {
-          /* This packet is suitable */
-          const uint32_t offset = next_timestamp - packets->timestamp;
-          uint32_t samples_available = packet_end - next_timestamp;
-          if(samples_available > samplesOutLeft)
-            samples_available = samplesOutLeft;
-          memcpy(samplesOut,
-                 packets->samples_float + offset,
-                 samples_available * sizeof(float));
-          samplesOut += samples_available;
-          next_timestamp += samples_available;
-          if(ge(next_timestamp, packet_end))
-            drop_first_packet();
-          continue;
-        }
+      /* Look for a suitable packet, dropping any unsuitable ones along the
+       * way.  Unsuitable packets are ones that are in the past. */
+      while(pheap_count(&packets)) {
+        p = pheap_first(&packets);
+        if(le(p->timestamp + p->nsamples, next_timestamp))
+          /* This packet is in the past.  Drop it and try another one. */
+          drop_first_packet();
+        else
+          /* This packet is NOT in the past.  (It might be in the future
+           * however.) */
+          break;
       }
-      /* We didn't find a suitable packet (though there might still be
-       * unsuitable ones).  We infill with 0s. */
-      if(packets) {
-        /* There is a next packet, only infill up to that point */
-        uint32_t samples_available = packets->timestamp - next_timestamp;
-        
+      p = pheap_count(&packets) ? pheap_first(&packets) : 0;
+      if(p && contains(p, next_timestamp)) {
+        /* This packet is ready to play */
+        const uint32_t packet_end = p->timestamp + p->nsamples;
+        const uint32_t offset = next_timestamp - p->timestamp;
+        const uint16_t *ptr =
+          (void *)(p->samples_raw + offset * sizeof (uint16_t));
+
+        samples_available = packet_end - next_timestamp;
         if(samples_available > samplesOutLeft)
           samples_available = samplesOutLeft;
-        /* Convniently the buffer is 0 to start with */
         next_timestamp += samples_available;
-        samplesOut += samples_available;
         samplesOutLeft -= samples_available;
-        /* TODO log infill */
+        while(samples_available-- > 0)
+          *samplesOut++ = (int16_t)ntohs(*ptr++) * (0.5 / 32767);
+        /* We don't bother junking the packet - that'll be dealt with next time
+         * round */
       } else {
-        /* There's no next packet at all */
-        next_timestamp += samplesOutLeft;
-        samplesOut += samplesOutLeft;
-        samplesOutLeft = 0;
-        /* TODO log infill */
+        /* No packet is ready to play (and there might be no packet at all) */
+        samples_available = p ? p->timestamp - next_timestamp
+                              : samplesOutLeft;
+        if(samples_available > samplesOutLeft)
+          samples_available = samplesOutLeft;
+        info("infill by %"PRIu32, samples_available);
+        /* Conveniently the buffer is 0 to start with */
+        next_timestamp += samples_available;
+        samplesOut += samples_available;
+        samplesOutLeft -= samples_available;
       }
     }
     ++ab;
@@ -429,8 +519,6 @@ static void play_rtp(void) {
           fatal(0, "error calling snd_pcm_prepare: %d", err);
         prepared = 1;
       }
-      /* Start at the first available packet */
-      next_timestamp = packets->timestamp;
       active = 1;
       infilling = 0;
       escape = 0;
@@ -605,9 +693,13 @@ static void play_rtp(void) {
     pthread_mutex_lock(&lock);
     for(;;) {
       /* Wait for the buffer to fill up a bit */
+      info("Buffering...");
       while(nsamples < readahead)
         pthread_cond_wait(&cond, &lock);
       /* Start playing now */
+      info("Playing...");
+      next_timestamp = pheap_first(&packets)->timestamp;
+      active = 1;
       status = AudioDeviceStart(adid, adioproc);
       if(status)
         fatal(0, "AudioDeviceStart: %d", (int)status);
@@ -618,6 +710,7 @@ static void play_rtp(void) {
       status = AudioDeviceStop(adid, adioproc);
       if(status)
         fatal(0, "AudioDeviceStop: %d", (int)status);
+      active = 0;
       /* Go back round */
     }
   }
@@ -668,7 +761,7 @@ int main(int argc, char **argv) {
 
   mem_init();
   if(!setlocale(LC_CTYPE, "")) fatal(errno, "error calling setlocale");
-  while((n = getopt_long(argc, argv, "hVdD:m:b:x:", options, 0)) >= 0) {
+  while((n = getopt_long(argc, argv, "hVdD:m:b:x:L:", options, 0)) >= 0) {
     switch(n) {
     case 'h': help();
     case 'V': version();
@@ -677,6 +770,7 @@ int main(int argc, char **argv) {
     case 'm': minbuffer = 2 * atol(optarg); break;
     case 'b': readahead = 2 * atol(optarg); break;
     case 'x': maxbuffer = 2 * atol(optarg); break;
+    case 'L': logfp = fopen(optarg, "w"); break;
     default: fatal(0, "invalid option");
     }
   }