chiark / gitweb /
d4e3472b54693613cfa505e13efb1286591c100f
[disorder] / tests / dtest.py
1 #-*-python-*-
2 #
3 # This file is part of DisOrder.
4 # Copyright (C) 2007 Richard Kettlewell
5 #
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 2 of the License, or
9 # (at your option) any later version.
10 #
11 # This program is distributed in the hope that it will be useful, but
12 # WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 # General Public License for more details.
15 #
16 # You should have received a copy of the GNU General Public License
17 # along with this program; if not, write to the Free Software
18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307
19 # USA
20 #
21
22 """Utility module used by tests"""
23
24 import os,os.path,subprocess,sys,re,time,unicodedata,random,socket
25
26 def fatal(s):
27     """Write an error message and exit"""
28     sys.stderr.write("ERROR: %s\n" % s)
29     sys.exit(1)
30
31 # Identify the top build directory
32 cwd = os.getcwd()
33 if os.path.exists("config.h"):
34     top_builddir = cwd
35 elif os.path.exists("alltests"):
36     top_builddir = os.path.dirname(cwd)
37 else:
38     fatal("cannot identify build directory")
39
40 # Make sure the Python build directory is on the module search path
41 sys.path.insert(0, os.path.join(top_builddir, "python"))
42 import disorder
43
44 # Make sure the build directories are on the executable search path
45 ospath = os.environ["PATH"].split(os.pathsep)
46 ospath.insert(0, os.path.join(top_builddir, "server"))
47 ospath.insert(0, os.path.join(top_builddir, "clients"))
48 ospath.insert(0, os.path.join(top_builddir, "tests"))
49 os.environ["PATH"] = os.pathsep.join(ospath)
50
51 # Parse the makefile in the current directory to identify the source directory
52 top_srcdir = None
53 for l in file("Makefile"):
54     r = re.match("top_srcdir *= *(.*)",  l)
55     if r:
56         top_srcdir = r.group(1)
57         break
58 if not top_srcdir:
59     fatal("cannot identify source directory")
60
61 # The tests source directory must be on the module search path already since
62 # we found dtest.py
63
64 # -----------------------------------------------------------------------------
65
66 def copyfile(a,b):
67     """copyfile(A, B)
68 Copy A to B."""
69     open(b,"w").write(open(a).read())
70
71 def to_unicode(s):
72     """Convert UTF-8 to unicode.  A no-op if already unicode."""
73     if type(s) == unicode:
74         return s
75     else:
76         return unicode(s, "UTF-8")
77
78 def nfc(s):
79     """Convert UTF-8 string or unicode to NFC unicode."""
80     return  unicodedata.normalize("NFC", to_unicode(s))
81
82 def maketrack(s):
83     """maketrack(S)
84
85 Make track with relative path S exist"""
86     trackpath = "%s/%s" % (tracks, s)
87     trackdir = os.path.dirname(trackpath)
88     if not os.path.exists(trackdir):
89         os.makedirs(trackdir)
90     copyfile("%s/sounds/slap.ogg" % top_srcdir, trackpath)
91     # We record the tracks we created so they can be tested against
92     # server responses.  We put them into NFC since that's what the server
93     # uses internally.
94     bits = nfc(s).split('/')
95     dp = tracks
96     for d in bits [0:-1]:
97         dd = "%s/%s" % (dp,  d)
98         if dp not in dirs_by_dir:
99             dirs_by_dir[dp] = []
100         if dd not in dirs_by_dir[dp]:
101             dirs_by_dir[dp].append(dd)
102         dp = "%s/%s" % (dp, d)
103     if dp not in files_by_dir:
104         files_by_dir[dp] = []
105     files_by_dir[dp].append("%s/%s" % (dp, bits[-1]))
106
107 def stdtracks():
108     # We create some tracks with non-ASCII characters in the name and
109     # we (currently) force UTF-8.
110     #
111     # On a traditional UNIX filesystem, that treats filenames as byte strings
112     # with special significant for '/', this should just work, though the
113     # names will look wrong to ls(1) in a non UTF-8 locale.
114     #
115     # On Apple HFS+ filenames normalized to a decomposed form that isn't quite
116     # NFD, so our attempts to have both normalized and denormalized filenames
117     # is frustrated.  Provided we test on traditional filesytsems too this
118     # shouldn't be a problem.
119     # (See http://developer.apple.com/qa/qa2001/qa1173.html)
120
121     global dirs_by_dir, files_by_dir
122     dirs_by_dir={}
123     files_by_dir={}
124     
125     # C3 8C = 00CC LATIN CAPITAL LETTER I WITH GRAVE
126     # (in NFC)
127     maketrack("Joe Bloggs/First Album/01:F\xC3\x8Crst track.ogg")
128
129     maketrack("Joe Bloggs/First Album/02:Second track.ogg")
130
131     # CC 81 = 0301 COMBINING ACUTE ACCENT
132     # (giving an NFD i-acute)
133     maketrack("Joe Bloggs/First Album/03:ThI\xCC\x81rd track.ogg")
134     # ...hopefuly giving C3 8D = 00CD LATIN CAPITAL LETTER I WITH ACUTE
135     maketrack("Joe Bloggs/First Album/04:Fourth track.ogg")
136     maketrack("Joe Bloggs/First Album/05:Fifth track.ogg")
137     maketrack("Joe Bloggs/Second Album/01:First track.ogg")
138     maketrack("Joe Bloggs/Second Album/02:Second track.ogg")
139     maketrack("Joe Bloggs/Second Album/03:Third track.ogg")
140     maketrack("Joe Bloggs/Second Album/04:Fourth track.ogg")
141     maketrack("Joe Bloggs/Second Album/05:Fifth track.ogg")
142     maketrack("Joe Bloggs/Third Album/01:First_track.ogg")
143     maketrack("Joe Bloggs/Third Album/02:Second_track.ogg")
144     maketrack("Joe Bloggs/Third Album/03:Third_track.ogg")
145     maketrack("Joe Bloggs/Third Album/04:Fourth_track.ogg")
146     maketrack("Joe Bloggs/Third Album/05:Fifth_track.ogg")
147     maketrack("Fred Smith/Boring/01:Dull.ogg")
148     maketrack("Fred Smith/Boring/02:Tedious.ogg")
149     maketrack("Fred Smith/Boring/03:Drum Solo.ogg")
150     maketrack("Fred Smith/Boring/04:Yawn.ogg")
151     maketrack("misc/blahblahblah.ogg")
152     maketrack("Various/Greatest Hits/01:Jim Whatever - Spong.ogg")
153     maketrack("Various/Greatest Hits/02:Joe Bloggs - Yadda.ogg")
154
155 def bindable(p):
156     """bindable(P)
157
158     Return True iff UDP port P is bindable, else False"""
159     s = socket.socket(socket.AF_INET,
160                       socket.SOCK_DGRAM,
161                       socket.IPPROTO_UDP)
162     try:
163         s.bind(("127.0.0.1", p))
164         s.close()
165         return True
166     except:
167         return False
168
169 def default_config():
170     """Write the default config"""
171     open("%s/config" % testroot, "w").write(
172     """home %s
173 collection fs UTF-8 %s/tracks
174 scratch %s/scratch.ogg
175 gap 0
176 stopword 01 02 03 04 05 06 07 08 09 10
177 stopword 1 2 3 4 5 6 7 8 9
178 stopword 11 12 13 14 15 16 17 18 19 20
179 stopword 21 22 23 24 25 26 27 28 29 30
180 stopword the a an and to too in on of we i am as im for is
181 username fred
182 password fredpass
183 trust fred root
184 plugins
185 plugins %s/plugins
186 plugins %s/plugins/.libs
187 player *.mp3 execraw disorder-decode
188 player *.ogg execraw disorder-decode
189 player *.wav execraw disorder-decode
190 player *.flac execraw disorder-decode
191 tracklength *.mp3 disorder-tracklength
192 tracklength *.ogg disorder-tracklength
193 tracklength *.wav disorder-tracklength
194 tracklength *.flac disorder-tracklength
195 speaker_backend network
196 broadcast 127.0.0.1 %d
197 broadcast_from 127.0.0.1 %d
198 """ % (testroot, testroot, testroot, top_builddir, top_builddir,
199        port, port + 1))
200
201 def common_setup():
202     remove_dir(testroot)
203     os.mkdir(testroot)
204     # Choose a port
205     global port
206     port = random.randint(49152, 65535)
207     while not bindable(port + 1):
208         print "port %d is not bindable, trying another" % (port + 1)
209         port = random.randint(49152, 65535)
210     # Log anything sent to that port
211     packetlog = "%s/packetlog" % testroot
212     subprocess.Popen(["disorder-udplog",
213                       "--output", packetlog,
214                       "127.0.0.1", "%d" % port])
215     # disorder-udplog will quit when its parent process terminates
216     copyfile("%s/sounds/scratch.ogg" % top_srcdir,
217              "%s/scratch.ogg" % testroot)
218     default_config()
219
220 def start_daemon():
221     """start_daemon()
222
223 Start the daemon."""
224     global daemon, errs, port
225     assert daemon == None, "no daemon running"
226     if not bindable(port + 1):
227         print "waiting for port %d to become bindable again..." % (port + 1)
228         time.sleep(1)
229         while not bindable(port + 1):
230             time.sleep(1)
231     print " starting daemon"
232     # remove the socket if it exists
233     socket = "%s/socket" % testroot
234     try:
235         os.remove(socket)
236     except:
237         pass
238     daemon = subprocess.Popen(["disorderd",
239                                "--foreground",
240                                "--config", "%s/config" % testroot],
241                               stderr=errs)
242     # Wait for the socket to be created
243     waited = 0
244     while not os.path.exists(socket):
245         rc = daemon.poll()
246         if rc is not None:
247             print "FATAL: daemon failed to start up"
248             sys.exit(1)
249         waited += 1
250         if waited == 1:
251             print "  waiting for socket..."
252         elif waited >= 60:
253             print "FATAL: took too long for socket to appear"
254             sys.exit(1)
255         time.sleep(1)
256     if waited > 0:
257         print "  took about %ds for socket to appear" % waited
258
259 def create_user(username="fred", password="fredpass"):
260     """create_user(USERNAME, PASSWORD)
261
262     Create a user, abusing direct database access to do so.  Gives the
263     user rights 'all', allowing them to do anything."""
264     print " creating user %s" % username
265     command(["disorder",
266              "--config", disorder._configfile, "--no-per-user-config",
267              "--user", "root", "adduser", username, password])
268     command(["disorder",
269              "--config", disorder._configfile, "--no-per-user-config",
270              "--user", "root", "edituser", username, "rights", "all"])
271
272 def stop_daemon():
273     """stop_daemon()
274
275 Stop the daemon if it has not stopped already"""
276     global daemon
277     if daemon == None:
278         return
279     rc = daemon.poll()
280     if rc == None:
281         print " stopping daemon"
282         disorder.client().shutdown()
283         print "  waiting for daemon"
284         rc = daemon.wait()
285         print "  daemon has stopped"
286     else:
287         print "  daemon already stopped"
288     daemon = None
289
290 def run(module=None, report=True):
291     """dtest.run(MODULE)
292
293     Run the test in MODULE.  This can be a string (in which case the module
294     will be imported) or a module object."""
295     global tests
296     tests += 1
297     # Locate the test module
298     if module is None:
299         # We're running a test stand-alone
300         import __main__
301         module = __main__
302         name = os.path.splitext(os.path.basename(sys.argv[0]))[0]
303     else:
304         # We've been passed a module or a module name
305         if type(module) == str:
306             module = __import__(module)
307         name = module.__name__
308     # Open the error log
309     global errs
310     logfile = "%s.log" % name
311     try:
312         os.remove(logfile)
313     except:
314         pass
315     errs = open(logfile, "a")
316     # Ensure that disorder.py uses the test installation
317     disorder._configfile = "%s/config" % testroot
318     disorder._userconf = False
319     # Make config file etc
320     common_setup()
321     # Create some standard tracks
322     stdtracks()
323     try:
324         module.test()
325     finally:
326         stop_daemon()
327     if report:
328         if failures:
329             print " FAILED"
330             sys.exit(1)
331         else:
332             print " OK"
333
334 def remove_dir(d):
335     """remove_dir(D)
336
337 Recursively delete directory D"""
338     if os.path.lexists(d):
339         if os.path.isdir(d):
340             for dd in os.listdir(d):
341                 remove_dir("%s/%s" % (d, dd))
342             os.rmdir(d)
343         else:
344             os.remove(d)
345
346 def lists_have_same_contents(l1, l2):
347     """lists_have_same_contents(L1, L2)
348
349     Return True if L1 and L2 have equal members, in any order; else False."""
350     s1 = []
351     s1.extend(l1)
352     s1.sort()
353     s2 = []
354     s2.extend(l2)
355     s2.sort()
356     return s1 == s2
357
358 def check_files():
359     c = disorder.client()
360     failures = 0
361     for d in dirs_by_dir:
362         xdirs = dirs_by_dir[d]
363         dirs = c.directories(d)
364         if not lists_have_same_contents(xdirs, dirs):
365             print
366             print "directory: %s" % d
367             print "expected:  %s" % xdirs
368             print "got:       %s" % dirs
369             failures += 1
370     for d in files_by_dir:
371         xfiles = files_by_dir[d]
372         files = c.files(d)
373         if not lists_have_same_contents(xfiles, files):
374             print
375             print "directory: %s" % d
376             print "expected:  %s" % xfiles
377             print "got:       %s" % files
378             failures += 1
379     return failures
380
381 def command(args):
382     """Execute a command given as a list and return its stdout"""
383     p = subprocess.Popen(args, stdout=subprocess.PIPE)
384     lines = p.stdout.readlines()
385     rc = p.wait()
386     assert rc == 0, ("%s returned status %s" % (args, rc))
387     return lines
388
389 # -----------------------------------------------------------------------------
390 # Common setup
391
392 tests = 0
393 failures = 0
394 daemon = None
395 testroot = "%s/tests/testroot" % top_builddir
396 tracks = "%s/tracks" % testroot