fdroidserver/scanner.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #
   4 # scanner.py - part of the FDroid server tools
   5 # Copyright (C) 2010-12, Ciaran Gultnieks, ciaran@ciarang.com
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU Affero General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU Affero General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU Affero General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 import sys
  21 import os
  22 import shutil
  23 import re
  24 import urllib
  25 import time
  26 import subprocess
  27 import traceback
  28 from optparse import OptionParser
  29 import HTMLParser
  30 import common
  31 from common import BuildException
  32 from common import VCSException
  33
  34 def main():
  35
  36     # Read configuration...
  37     execfile('config.py', globals())
  38
  39
  40     # Parse command line...
  41     parser = OptionParser()
  42     parser.add_option("-v", "--verbose", action="store_true", default=False,
  43                       help="Spew out even more information than normal")
  44     parser.add_option("-p", "--package", default=None,
  45                       help="Scan only the specified package")
  46     parser.add_option("--nosvn", action="store_true", default=False,
  47                       help="Skip svn repositories - for test purposes, because they are too slow.")
  48     (options, args) = parser.parse_args()
  49
  50     # Get all apps...
  51     apps = common.read_metadata(options.verbose)
  52
  53     # Filter apps according to command-line options
  54     if options.package:
  55         apps = [app for app in apps if app['id'] == options.package]
  56         if len(apps) == 0:
  57             print "No such package"
  58             sys.exit(1)
  59
  60     html_parser = HTMLParser.HTMLParser()
  61
  62     problems = []
  63
  64     extlib_dir = os.path.join('build', 'extlib')
  65
  66     for app in apps:
  67
  68         skip = False
  69         if app['Disabled']:
  70             print "Skipping %s: disabled" % app['id']
  71             skip = True
  72         elif not app['builds']:
  73             print "Skipping %s: no builds specified" % app['id']
  74             skip = True
  75         elif options.nosvn and app['Repo Type'] == 'svn':
  76             skip = True
  77
  78         if not skip:
  79
  80             print "Processing " + app['id']
  81
  82             try:
  83
  84                 build_dir = 'build/' + app['id']
  85
  86                 # Set up vcs interface and make sure we have the latest code...
  87                 vcs = common.getvcs(app['Repo Type'], app['Repo'], build_dir, sdk_path)
  88
  89                 for thisbuild in app['builds']:
  90
  91                     if thisbuild['commit'].startswith('!'):
  92                         print ("..skipping version " + thisbuild['version'] + " - " +
  93                                 thisbuild['commit'][1:])
  94                     else:
  95                         print "..scanning version " + thisbuild['version']
  96
  97                         # Prepare the source code...
  98                         root_dir = common.prepare_source(vcs, app, thisbuild,
  99                                 build_dir, extlib_dir, sdk_path, ndk_path, javacc_path, options.verbose)
 100
 101                         # Do the scan...
 102                         buildprobs = common.scan_source(build_dir, root_dir, thisbuild)
 103                         for problem in buildprobs:
 104                             problems.append(problem +
 105                                 ' in ' + app['id'] + ' ' + thisbuild['version'])
 106
 107             except BuildException as be:
 108                 msg = "Could not scan app %s due to BuildException: %s" % (app['id'], be)
 109                 problems.append(msg)
 110             except VCSException as vcse:
 111                 msg = "VCS error while scanning app %s: %s" % (app['id'], vcse)
 112                 problems.append(msg)
 113             except Exception:
 114                 msg = "Could not scan app %s due to unknown error: %s" % (app['id'], traceback.format_exc())
 115                 problems.append(msg)
 116
 117     print "Finished:"
 118     for problem in problems:
 119         print problem
 120     print str(len(problems)) + ' problems.'
 121
 122 if __name__ == "__main__":
 123     main()
 124