chiark - git - mdw - disorder/blob - tests/dtest.py

   1 #-*-python-*-
   2 #
   3 # This file is part of DisOrder.
   4 # Copyright (C) 2007 Richard Kettlewell
   5 #
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10 #
  11 # This program is distributed in the hope that it will be useful, but
  12 # WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 # General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307
  19 # USA
  20 #
  21
  22 """Utility module used by tests"""
  23
  24 import os,os.path,subprocess,sys,re,time,unicodedata,random,socket
  25
  26 def fatal(s):
  27     """Write an error message and exit"""
  28     sys.stderr.write("ERROR: %s\n" % s)
  29     sys.exit(1)
  30
  31 # Identify the top build directory
  32 cwd = os.getcwd()
  33 if os.path.exists("config.h"):
  34     top_builddir = cwd
  35 elif os.path.exists("alltests"):
  36     top_builddir = os.path.dirname(cwd)
  37 else:
  38     fatal("cannot identify build directory")
  39
  40 # Make sure the Python build directory is on the module search path
  41 sys.path.insert(0, os.path.join(top_builddir, "python"))
  42 import disorder
  43
  44 # Make sure the build directories are on the executable search path
  45 ospath = os.environ["PATH"].split(os.pathsep)
  46 ospath.insert(0, os.path.join(top_builddir, "server"))
  47 ospath.insert(0, os.path.join(top_builddir, "clients"))
  48 ospath.insert(0, os.path.join(top_builddir, "tests"))
  49 os.environ["PATH"] = os.pathsep.join(ospath)
  50
  51 # Parse the makefile in the current directory to identify the source directory
  52 top_srcdir = None
  53 for l in file("Makefile"):
  54     r = re.match("top_srcdir *= *(.*)",  l)
  55     if r:
  56         top_srcdir = r.group(1)
  57         break
  58 if not top_srcdir:
  59     fatal("cannot identify source directory")
  60
  61 # The tests source directory must be on the module search path already since
  62 # we found dtest.py
  63
  64 # -----------------------------------------------------------------------------
  65
  66 def copyfile(a,b):
  67     """copyfile(A, B)
  68 Copy A to B."""
  69     open(b,"w").write(open(a).read())
  70
  71 def to_unicode(s):
  72     """Convert UTF-8 to unicode.  A no-op if already unicode."""
  73     if type(s) == unicode:
  74         return s
  75     else:
  76         return unicode(s, "UTF-8")
  77
  78 def nfc(s):
  79     """Convert UTF-8 string or unicode to NFC unicode."""
  80     return  unicodedata.normalize("NFC", to_unicode(s))
  81
  82 def maketrack(s):
  83     """maketrack(S)
  84
  85 Make track with relative path S exist"""
  86     trackpath = "%s/%s" % (tracks, s)
  87     trackdir = os.path.dirname(trackpath)
  88     if not os.path.exists(trackdir):
  89         os.makedirs(trackdir)
  90     copyfile("%s/sounds/slap.ogg" % top_srcdir, trackpath)
  91     # We record the tracks we created so they can be tested against
  92     # server responses.  We put them into NFC since that's what the server
  93     # uses internally.
  94     bits = nfc(s).split('/')
  95     dp = tracks
  96     for d in bits [0:-1]:
  97         dd = "%s/%s" % (dp,  d)
  98         if dp not in dirs_by_dir:
  99             dirs_by_dir[dp] = []
 100         if dd not in dirs_by_dir[dp]:
 101             dirs_by_dir[dp].append(dd)
 102         dp = "%s/%s" % (dp, d)
 103     if dp not in files_by_dir:
 104         files_by_dir[dp] = []
 105     files_by_dir[dp].append("%s/%s" % (dp, bits[-1]))
 106
 107 def stdtracks():
 108     # We create some tracks with non-ASCII characters in the name and
 109     # we (currently) force UTF-8.
 110     #
 111     # On a traditional UNIX filesystem, that treats filenames as byte strings
 112     # with special significant for '/', this should just work, though the
 113     # names will look wrong to ls(1) in a non UTF-8 locale.
 114     #
 115     # On Apple HFS+ filenames normalized to a decomposed form that isn't quite
 116     # NFD, so our attempts to have both normalized and denormalized filenames
 117     # is frustrated.  Provided we test on traditional filesytsems too this
 118     # shouldn't be a problem.
 119     # (See http://developer.apple.com/qa/qa2001/qa1173.html)
 120
 121     global dirs_by_dir, files_by_dir
 122     dirs_by_dir={}
 123     files_by_dir={}
 124
 125     # C3 8C = 00CC LATIN CAPITAL LETTER I WITH GRAVE
 126     # (in NFC)
 127     maketrack("Joe Bloggs/First Album/01:F\xC3\x8Crst track.ogg")
 128
 129     maketrack("Joe Bloggs/First Album/02:Second track.ogg")
 130
 131     # CC 81 = 0301 COMBINING ACUTE ACCENT
 132     # (giving an NFD i-acute)
 133     maketrack("Joe Bloggs/First Album/03:ThI\xCC\x81rd track.ogg")
 134     # ...hopefuly giving C3 8D = 00CD LATIN CAPITAL LETTER I WITH ACUTE
 135     maketrack("Joe Bloggs/First Album/04:Fourth track.ogg")
 136     maketrack("Joe Bloggs/First Album/05:Fifth track.ogg")
 137     maketrack("Joe Bloggs/Second Album/01:First track.ogg")
 138     maketrack("Joe Bloggs/Second Album/02:Second track.ogg")
 139     maketrack("Joe Bloggs/Second Album/03:Third track.ogg")
 140     maketrack("Joe Bloggs/Second Album/04:Fourth track.ogg")
 141     maketrack("Joe Bloggs/Second Album/05:Fifth track.ogg")
 142     maketrack("Joe Bloggs/Third Album/01:First_track.ogg")
 143     maketrack("Joe Bloggs/Third Album/02:Second_track.ogg")
 144     maketrack("Joe Bloggs/Third Album/03:Third_track.ogg")
 145     maketrack("Joe Bloggs/Third Album/04:Fourth_track.ogg")
 146     maketrack("Joe Bloggs/Third Album/05:Fifth_track.ogg")
 147     maketrack("Fred Smith/Boring/01:Dull.ogg")
 148     maketrack("Fred Smith/Boring/02:Tedious.ogg")
 149     maketrack("Fred Smith/Boring/03:Drum Solo.ogg")
 150     maketrack("Fred Smith/Boring/04:Yawn.ogg")
 151     maketrack("misc/blahblahblah.ogg")
 152     maketrack("Various/Greatest Hits/01:Jim Whatever - Spong.ogg")
 153     maketrack("Various/Greatest Hits/02:Joe Bloggs - Yadda.ogg")
 154
 155 def bindable(p):
 156     """bindable(P)
 157
 158     Return True iff UDP port P is bindable, else False"""
 159     s = socket.socket(socket.AF_INET,
 160                       socket.SOCK_DGRAM,
 161                       socket.IPPROTO_UDP)
 162     try:
 163         s.bind(("127.0.0.1", p))
 164         s.close()
 165         return True
 166     except:
 167         return False
 168
 169 def default_config():
 170     """Write the default config"""
 171     open("%s/config" % testroot, "w").write(
 172     """home %s
 173 collection fs UTF-8 %s/tracks
 174 scratch %s/scratch.ogg
 175 gap 0
 176 stopword 01 02 03 04 05 06 07 08 09 10
 177 stopword 1 2 3 4 5 6 7 8 9
 178 stopword 11 12 13 14 15 16 17 18 19 20
 179 stopword 21 22 23 24 25 26 27 28 29 30
 180 stopword the a an and to too in on of we i am as im for is
 181 username fred
 182 password fredpass
 183 trust fred root
 184 plugins
 185 plugins %s/plugins
 186 plugins %s/plugins/.libs
 187 player *.mp3 execraw disorder-decode
 188 player *.ogg execraw disorder-decode
 189 player *.wav execraw disorder-decode
 190 player *.flac execraw disorder-decode
 191 tracklength *.mp3 disorder-tracklength
 192 tracklength *.ogg disorder-tracklength
 193 tracklength *.wav disorder-tracklength
 194 tracklength *.flac disorder-tracklength
 195 speaker_backend network
 196 broadcast 127.0.0.1 %d
 197 broadcast_from 127.0.0.1 %d
 198 """ % (testroot, testroot, testroot, top_builddir, top_builddir,
 199        port, port + 1))
 200
 201 def common_setup():
 202     remove_dir(testroot)
 203     os.mkdir(testroot)
 204     # Choose a port
 205     global port
 206     port = random.randint(49152, 65535)
 207     while not bindable(port + 1):
 208         print "port %d is not bindable, trying another" % (port + 1)
 209         port = random.randint(49152, 65535)
 210     # Log anything sent to that port
 211     packetlog = "%s/packetlog" % testroot
 212     subprocess.Popen(["disorder-udplog",
 213                       "--output", packetlog,
 214                       "127.0.0.1", "%d" % port])
 215     # disorder-udplog will quit when its parent process terminates
 216     copyfile("%s/sounds/scratch.ogg" % top_srcdir,
 217              "%s/scratch.ogg" % testroot)
 218     default_config()
 219
 220 def start_daemon():
 221     """start_daemon()
 222
 223 Start the daemon."""
 224     global daemon, errs, port
 225     assert daemon == None, "no daemon running"
 226     if not bindable(port + 1):
 227         print "waiting for port %d to become bindable again..." % (port + 1)
 228         time.sleep(1)
 229         while not bindable(port + 1):
 230             time.sleep(1)
 231     print " starting daemon"
 232     # remove the socket if it exists
 233     socket = "%s/socket" % testroot
 234     try:
 235         os.remove(socket)
 236     except:
 237         pass
 238     daemon = subprocess.Popen(["disorderd",
 239                                "--foreground",
 240                                "--config", "%s/config" % testroot],
 241                               stderr=errs)
 242     # Wait for the socket to be created
 243     waited = 0
 244     while not os.path.exists(socket):
 245         rc = daemon.poll()
 246         if rc is not None:
 247             print "FATAL: daemon failed to start up"
 248             sys.exit(1)
 249         waited += 1
 250         if waited == 1:
 251             print "  waiting for socket..."
 252         elif waited >= 60:
 253             print "FATAL: took too long for socket to appear"
 254             sys.exit(1)
 255         time.sleep(1)
 256     if waited > 0:
 257         print "  took about %ds for socket to appear" % waited
 258
 259 def create_user(username="fred", password="fredpass"):
 260     """create_user(USERNAME, PASSWORD)
 261
 262     Create a user, abusing direct database access to do so.  Gives the
 263     user rights 'all', allowing them to do anything."""
 264     print " creating user %s" % username
 265     command(["disorder",
 266              "--config", disorder._configfile, "--no-per-user-config",
 267              "--user", "root", "adduser", username, password])
 268     command(["disorder",
 269              "--config", disorder._configfile, "--no-per-user-config",
 270              "--user", "root", "edituser", username, "rights", "all"])
 271
 272 def stop_daemon():
 273     """stop_daemon()
 274
 275 Stop the daemon if it has not stopped already"""
 276     global daemon
 277     if daemon == None:
 278         return
 279     rc = daemon.poll()
 280     if rc == None:
 281         print " stopping daemon"
 282         disorder.client().shutdown()
 283         print "  waiting for daemon"
 284         rc = daemon.wait()
 285         print "  daemon has stopped"
 286     else:
 287         print "  daemon already stopped"
 288     daemon = None
 289
 290 def run(module=None, report=True):
 291     """dtest.run(MODULE)
 292
 293     Run the test in MODULE.  This can be a string (in which case the module
 294     will be imported) or a module object."""
 295     global tests
 296     tests += 1
 297     # Locate the test module
 298     if module is None:
 299         # We're running a test stand-alone
 300         import __main__
 301         module = __main__
 302         name = os.path.splitext(os.path.basename(sys.argv[0]))[0]
 303     else:
 304         # We've been passed a module or a module name
 305         if type(module) == str:
 306             module = __import__(module)
 307         name = module.__name__
 308     # Open the error log
 309     global errs
 310     errs = open("%s.log" % name, "w")
 311     # Ensure that disorder.py uses the test installation
 312     disorder._configfile = "%s/config" % testroot
 313     disorder._userconf = False
 314     # Make config file etc
 315     common_setup()
 316     # Create some standard tracks
 317     stdtracks()
 318     try:
 319         module.test()
 320     finally:
 321         stop_daemon()
 322     if report:
 323         if failures:
 324             print " FAILED"
 325             sys.exit(1)
 326         else:
 327             print " OK"
 328
 329 def remove_dir(d):
 330     """remove_dir(D)
 331
 332 Recursively delete directory D"""
 333     if os.path.lexists(d):
 334         if os.path.isdir(d):
 335             for dd in os.listdir(d):
 336                 remove_dir("%s/%s" % (d, dd))
 337             os.rmdir(d)
 338         else:
 339             os.remove(d)
 340
 341 def lists_have_same_contents(l1, l2):
 342     """lists_have_same_contents(L1, L2)
 343
 344     Return True if L1 and L2 have equal members, in any order; else False."""
 345     s1 = []
 346     s1.extend(l1)
 347     s1.sort()
 348     s2 = []
 349     s2.extend(l2)
 350     s2.sort()
 351     return s1 == s2
 352
 353 def check_files():
 354     c = disorder.client()
 355     failures = 0
 356     for d in dirs_by_dir:
 357         xdirs = dirs_by_dir[d]
 358         dirs = c.directories(d)
 359         if not lists_have_same_contents(xdirs, dirs):
 360             print
 361             print "directory: %s" % d
 362             print "expected:  %s" % xdirs
 363             print "got:       %s" % dirs
 364             failures += 1
 365     for d in files_by_dir:
 366         xfiles = files_by_dir[d]
 367         files = c.files(d)
 368         if not lists_have_same_contents(xfiles, files):
 369             print
 370             print "directory: %s" % d
 371             print "expected:  %s" % xfiles
 372             print "got:       %s" % files
 373             failures += 1
 374     return failures
 375
 376 def command(args):
 377     """Execute a command given as a list and return its stdout"""
 378     p = subprocess.Popen(args, stdout=subprocess.PIPE)
 379     lines = p.stdout.readlines()
 380     rc = p.wait()
 381     assert rc == 0, ("%s returned status %s" % (args, rc))
 382     return lines
 383
 384 # -----------------------------------------------------------------------------
 385 # Common setup
 386
 387 tests = 0
 388 failures = 0
 389 daemon = None
 390 testroot = "%s/tests/testroot" % top_builddir
 391 tracks = "%s/tracks" % testroot