chiark / gitweb /
49bbfaac620382c5b6dad70bf6aa81c9f4428c39
[disorder] / tests / dtest.py
1 #-*-python-*-
2 #
3 # This file is part of DisOrder.
4 # Copyright (C) 2007-2009 Richard Kettlewell
5 #
6 # This program is free software: you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation, either version 3 of the License, or
9 # (at your option) any later version.
10 #
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
18 #
19
20 """Utility module used by tests"""
21
22 import os,os.path,subprocess,sys,re,time,unicodedata,random,socket,traceback
23
24 def fatal(s):
25     """Write an error message and exit"""
26     sys.stderr.write("ERROR: %s\n" % s)
27     sys.exit(1)
28
29 # Identify the top build directory
30 cwd = os.getcwd()
31 if os.path.exists("config.h"):
32     top_builddir = cwd
33 elif os.path.exists("../config.h"):
34     top_builddir = os.path.dirname(cwd)
35 else:
36     fatal("cannot identify build directory")
37
38 # Make sure the Python build directory is on the module search path
39 sys.path.insert(0, os.path.join(top_builddir, "python"))
40 import disorder
41
42 # Make sure the build directories are on the executable search path
43 ospath = os.environ["PATH"].split(os.pathsep)
44 ospath.insert(0, os.path.join(top_builddir, "server"))
45 ospath.insert(0, os.path.join(top_builddir, "clients"))
46 ospath.insert(0, os.path.join(top_builddir, "tests"))
47 os.environ["PATH"] = os.pathsep.join(ospath)
48
49 # Parse the makefile in the current directory to identify the source directory
50 top_srcdir = None
51 for l in file("Makefile"):
52     r = re.match("top_srcdir *= *(.*)",  l)
53     if r:
54         top_srcdir = r.group(1)
55         break
56 if not top_srcdir:
57     fatal("cannot identify source directory")
58
59 # The tests source directory must be on the module search path already since
60 # we found dtest.py
61
62 # -----------------------------------------------------------------------------
63
64 def copyfile(a,b):
65     """copyfile(A, B)
66 Copy A to B."""
67     open(b,"w").write(open(a).read())
68
69 def to_unicode(s):
70     """Convert UTF-8 to unicode.  A no-op if already unicode."""
71     if type(s) == unicode:
72         return s
73     else:
74         return unicode(s, "UTF-8")
75
76 def nfc(s):
77     """Convert UTF-8 string or unicode to NFC unicode."""
78     return  unicodedata.normalize("NFC", to_unicode(s))
79
80 def maketrack(s):
81     """maketrack(S)
82
83 Make track with relative path S exist"""
84     trackpath = "%s/%s" % (tracks, s)
85     trackdir = os.path.dirname(trackpath)
86     if not os.path.exists(trackdir):
87         os.makedirs(trackdir)
88     copyfile("%s/sounds/long.ogg" % top_builddir, trackpath)
89     # We record the tracks we created so they can be tested against
90     # server responses.  We put them into NFC since that's what the server
91     # uses internally.
92     bits = nfc(s).split('/')
93     dp = tracks
94     for d in bits [0:-1]:
95         dd = "%s/%s" % (dp,  d)
96         if dp not in dirs_by_dir:
97             dirs_by_dir[dp] = []
98         if dd not in dirs_by_dir[dp]:
99             dirs_by_dir[dp].append(dd)
100         dp = "%s/%s" % (dp, d)
101     if dp not in files_by_dir:
102         files_by_dir[dp] = []
103     files_by_dir[dp].append("%s/%s" % (dp, bits[-1]))
104
105 def stdtracks():
106     # We create some tracks with non-ASCII characters in the name and
107     # we (currently) force UTF-8.
108     #
109     # On a traditional UNIX filesystem, that treats filenames as byte strings
110     # with special significant for '/', this should just work, though the
111     # names will look wrong to ls(1) in a non UTF-8 locale.
112     #
113     # On Apple HFS+ filenames normalized to a decomposed form that isn't quite
114     # NFD, so our attempts to have both normalized and denormalized filenames
115     # is frustrated.  Provided we test on traditional filesytsems too this
116     # shouldn't be a problem.
117     # (See http://developer.apple.com/qa/qa2001/qa1173.html)
118
119     global dirs_by_dir, files_by_dir
120     dirs_by_dir={}
121     files_by_dir={}
122     
123     # C3 8C = 00CC LATIN CAPITAL LETTER I WITH GRAVE
124     # (in NFC)
125     maketrack("Joe Bloggs/First Album/01:F\xC3\x8Crst track.ogg")
126
127     maketrack("Joe Bloggs/First Album/02:Second track.ogg")
128
129     # CC 81 = 0301 COMBINING ACUTE ACCENT
130     # (giving an NFD i-acute)
131     maketrack("Joe Bloggs/First Album/03:ThI\xCC\x81rd track.ogg")
132     # ...hopefuly giving C3 8D = 00CD LATIN CAPITAL LETTER I WITH ACUTE
133     maketrack("Joe Bloggs/First Album/04:Fourth track.ogg")
134     maketrack("Joe Bloggs/First Album/05:Fifth track.ogg")
135     maketrack("Joe Bloggs/Second Album/01:First track.ogg")
136     maketrack("Joe Bloggs/Second Album/02:Second track.ogg")
137     maketrack("Joe Bloggs/Second Album/03:Third track.ogg")
138     maketrack("Joe Bloggs/Second Album/04:Fourth track.ogg")
139     maketrack("Joe Bloggs/Second Album/05:Fifth track.ogg")
140     maketrack("Joe Bloggs/Third Album/01:First_track.ogg")
141     maketrack("Joe Bloggs/Third Album/02:Second_track.ogg")
142     maketrack("Joe Bloggs/Third Album/03:Third_track.ogg")
143     maketrack("Joe Bloggs/Third Album/04:Fourth_track.ogg")
144     maketrack("Joe Bloggs/Third Album/05:Fifth_track.ogg")
145     maketrack("Fred Smith/Boring/01:Dull.ogg")
146     maketrack("Fred Smith/Boring/02:Tedious.ogg")
147     maketrack("Fred Smith/Boring/03:Drum Solo.ogg")
148     maketrack("Fred Smith/Boring/04:Yawn.ogg")
149     maketrack("misc/blahblahblah.ogg")
150     maketrack("Various/Greatest Hits/01:Jim Whatever - Spong.ogg")
151     maketrack("Various/Greatest Hits/02:Joe Bloggs - Yadda.ogg")
152
153 def bindable(p):
154     """bindable(P)
155
156     Return True iff UDP port P is bindable, else False"""
157     s = socket.socket(socket.AF_INET,
158                       socket.SOCK_DGRAM,
159                       socket.IPPROTO_UDP)
160     try:
161         s.bind(("127.0.0.1", p))
162         s.close()
163         return True
164     except:
165         return False
166
167 def default_config(encoding="UTF-8"):
168     """Write the default config"""
169     open("%s/config" % testroot, "w").write(
170     """home %s/home
171 collection fs %s %s/tracks
172 scratch %s/scratch.ogg
173 gap 0
174 queue_pad 5
175 stopword 01 02 03 04 05 06 07 08 09 10
176 stopword 1 2 3 4 5 6 7 8 9
177 stopword 11 12 13 14 15 16 17 18 19 20
178 stopword 21 22 23 24 25 26 27 28 29 30
179 stopword the a an and to too in on of we i am as im for is
180 username fred
181 password fredpass
182 plugins
183 plugins %s/plugins
184 plugins %s/plugins/.libs
185 player *.mp3 execraw disorder-decode
186 player *.ogg execraw disorder-decode
187 player *.wav execraw disorder-decode
188 player *.flac execraw disorder-decode
189 tracklength *.mp3 disorder-tracklength
190 tracklength *.ogg disorder-tracklength
191 tracklength *.wav disorder-tracklength
192 tracklength *.flac disorder-tracklength
193 api rtp
194 broadcast 127.0.0.1 %d
195 broadcast_from 127.0.0.1 %d
196 mail_sender no.such.user.sorry@greenend.org.uk
197 """ % (testroot, encoding, testroot, testroot, top_builddir, top_builddir,
198        port, port + 1))
199
200 def common_setup():
201     remove_dir(testroot)
202     os.mkdir(testroot)
203     # Choose a port
204     global port
205     port = random.randint(49152, 65530)
206     while not bindable(port + 1):
207         print "port %d is not bindable, trying another" % (port + 1)
208         port = random.randint(49152, 65530)
209     # Log anything sent to that port
210     packetlog = "%s/packetlog" % testroot
211     subprocess.Popen(["disorder-udplog",
212                       "--output", packetlog,
213                       "127.0.0.1", "%d" % port])
214     # disorder-udplog will quit when its parent process terminates
215     copyfile("%s/sounds/scratch.ogg" % top_srcdir,
216              "%s/scratch.ogg" % testroot)
217     default_config()
218
219 def start_daemon():
220     """start_daemon()
221
222 Start the daemon."""
223     global daemon, errs, port
224     assert daemon == None, "no daemon running"
225     if not bindable(port + 1):
226         print "waiting for port %d to become bindable again..." % (port + 1)
227         time.sleep(1)
228         while not bindable(port + 1):
229             time.sleep(1)
230     print " starting daemon"
231     # remove the socket if it exists
232     socket = "%s/home/socket" % testroot
233     if os.path.exists(socket):
234         os.remove(socket)
235     daemon = subprocess.Popen(["disorderd",
236                                "--foreground",
237                                "--config", "%s/config" % testroot],
238                               stderr=errs)
239     # Wait for the socket to be created
240     waited = 0
241     while not os.path.exists(socket):
242         rc = daemon.poll()
243         if rc is not None:
244             print "FATAL: daemon failed to start up"
245             sys.exit(1)
246         waited += 1
247         if waited == 1:
248             print "  waiting for socket..."
249         elif waited >= 60:
250             print "FATAL: took too long for socket to appear"
251             sys.exit(1)
252         time.sleep(1)
253     if waited > 0:
254         print "  took about %ds for socket to appear" % waited
255     # Wait for root user to be created
256     command(["disorder",
257              "--config", disorder._configfile, "--no-per-user-config",
258              "--wait-for-root"])
259
260 def create_user(username="fred", password="fredpass"):
261     """create_user(USERNAME, PASSWORD)
262
263     Create a user, abusing direct database access to do so.  Gives the
264     user rights 'all', allowing them to do anything."""
265     print " creating user %s" % username
266     command(["disorder",
267              "--config", disorder._configfile, "--no-per-user-config",
268              "--user", "root", "adduser", username, password])
269     command(["disorder",
270              "--config", disorder._configfile, "--no-per-user-config",
271              "--user", "root", "edituser", username, "rights", "all"])
272
273 def rescan(c=None):
274     print " initiating rescan"
275     if c is None:
276         c = disorder.client()
277     c.rescan('wait')
278     print " rescan completed"
279
280 def stop_daemon():
281     """stop_daemon()
282
283 Stop the daemon if it has not stopped already"""
284     global daemon
285     if daemon == None:
286         return
287     rc = daemon.poll()
288     if rc == None:
289         print " stopping daemon"
290         os.kill(daemon.pid, 15)
291         print "  waiting for daemon"
292         rc = daemon.wait()
293         print "  daemon has stopped (rc=%d)" % rc
294     else:
295         print "  daemon already stopped"
296     daemon = None
297     # Wait a bit for subprocess to finish too, to try to avoid stupid races
298     time.sleep(2)
299
300 def run(module=None, report=True):
301     """dtest.run(MODULE)
302
303     Run the test in MODULE.  This can be a string (in which case the module
304     will be imported) or a module object."""
305     global tests, failures
306     tests += 1
307     # Locate the test module
308     if module is None:
309         # We're running a test stand-alone
310         import __main__
311         module = __main__
312         name = os.path.splitext(os.path.basename(sys.argv[0]))[0]
313     else:
314         # We've been passed a module or a module name
315         if type(module) == str:
316             module = __import__(module)
317         name = module.__name__
318     print "--- %s ---" % name
319     # Open the error log
320     global errs
321     logfile = "%s.log" % name
322     try:
323         os.remove(logfile)
324     except:
325         pass
326     errs = open(logfile, "a")
327     # Ensure that disorder.py uses the test installation
328     disorder._configfile = "%s/config" % testroot
329     disorder._userconf = False
330     # Make config file etc
331     common_setup()
332     # Create some standard tracks
333     stdtracks()
334     try:
335         module.test()
336     except Exception, e:
337         traceback.print_exc(None, sys.stderr)
338         failures += 1
339     stop_daemon()
340     if report:
341         if failures:
342             print " FAILED"
343             sys.exit(1)
344         else:
345             print " OK"
346
347 def remove_dir(d):
348     """remove_dir(D)
349
350 Recursively delete directory D"""
351     if os.path.lexists(d):
352         if os.path.isdir(d):
353             for dd in os.listdir(d):
354                 remove_dir("%s/%s" % (d, dd))
355             os.rmdir(d)
356         else:
357             os.remove(d)
358
359 def lists_have_same_contents(l1, l2):
360     """lists_have_same_contents(L1, L2)
361
362     Return True if L1 and L2 have equal members, in any order; else False."""
363     s1 = []
364     s1.extend(l1)
365     s1.sort()
366     s2 = []
367     s2.extend(l2)
368     s2.sort()
369     return map(nfc, s1) == map(nfc, s2)
370
371 def check_files(chatty=True):
372     c = disorder.client()
373     failures = 0
374     for d in dirs_by_dir:
375         xdirs = dirs_by_dir[d]
376         dirs = c.directories(d)
377         if not lists_have_same_contents(xdirs, dirs):
378             if chatty:
379                 print
380                 print "directory: %s" % d
381                 print "expected:  %s" % xdirs
382                 print "got:       %s" % dirs
383             failures += 1
384     for d in files_by_dir:
385         xfiles = files_by_dir[d]
386         files = c.files(d)
387         if not lists_have_same_contents(xfiles, files):
388             if chatty:
389                 print
390                 print "directory: %s" % d
391                 print "expected:  %s" % xfiles
392                 print "got:       %s" % files
393             failures += 1
394     return failures
395
396 def command(args):
397     """Execute a command given as a list and return its stdout"""
398     p = subprocess.Popen(args, stdout=subprocess.PIPE)
399     lines = p.stdout.readlines()
400     rc = p.wait()
401     assert rc == 0, ("%s returned status %s" % (args, rc))
402     return lines
403
404 # -----------------------------------------------------------------------------
405 # Common setup
406
407 tests = 0
408 failures = 0
409 daemon = None
410 testroot = "%s/tests/testroot" % top_builddir
411 tracks = "%s/tracks" % testroot