chiark / gitweb /
Exception handling improvements
[fdroidserver.git] / fdroidserver / checkupdates.py
index 8003c30863b08f56892efb1af3df2b133e069d7d..6ab4e236156ec0c64e347c83361a8521998bcab9 100644 (file)
@@ -30,9 +30,9 @@ import HTMLParser
 from distutils.version import LooseVersion
 import logging
 
-import common, metadata
-from common import BuildException
-from common import VCSException
+import common
+import metadata
+from common import BuildException, VCSException
 from metadata import MetaDataException
 
 
@@ -43,7 +43,7 @@ def check_http(app):
 
     try:
 
-        if not 'Update Check Data' in app:
+        if 'Update Check Data' not in app:
             raise Exception('Missing Update Check Data')
 
         urlcode, codeex, urlver, verex = app['Update Check Data'].split('|')
@@ -79,6 +79,7 @@ def check_http(app):
         msg = "Could not complete http check for app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 # Check for a new version by looking at the tags in the source repo.
 # Whether this can be used reliably or not depends on
 # the development procedures used by the project's developers. Use it with
@@ -100,6 +101,9 @@ def check_tags(app, pattern):
         if repotype not in ('git', 'git-svn', 'hg', 'bzr'):
             return (None, 'Tags update mode only works for git, hg, bzr and git-svn repositories currently', None)
 
+        if repotype == 'git-svn' and ';' not in app['Repo']:
+            return (None, 'Tags update mode used in git-svn, but the repo was not set up with tags', None)
+
         # Set up vcs interface and make sure we have the latest code...
         vcs = common.getvcs(app['Repo Type'], app['Repo'], build_dir)
 
@@ -107,9 +111,9 @@ def check_tags(app, pattern):
 
         flavour = None
         if len(app['builds']) > 0:
-            if 'subdir' in app['builds'][-1]:
+            if app['builds'][-1]['subdir']:
                 build_dir = os.path.join(build_dir, app['builds'][-1]['subdir'])
-            if 'gradle' in app['builds'][-1]:
+            if app['builds'][-1]['gradle']:
                 flavour = app['builds'][-1]['gradle']
         if flavour == 'yes':
             flavour = None
@@ -123,18 +127,22 @@ def check_tags(app, pattern):
             pat = re.compile(pattern)
             tags = [tag for tag in tags if pat.match(tag)]
 
+        if repotype in ('git',):
+            tags = vcs.latesttags(tags, 5)
+
         for tag in tags:
             logging.debug("Check tag: '{0}'".format(tag))
             vcs.gotorevision(tag)
 
             # Only process tags where the manifest exists...
             paths = common.manifest_paths(build_dir, flavour)
-            version, vercode, package = common.parse_androidmanifests(paths)
+            version, vercode, package = \
+                common.parse_androidmanifests(paths, app['Update Check Ignore'])
             if not package or package != appid or not version or not vercode:
                 continue
 
-            logging.debug("Manifest exists. Found version {0} ({1})".format(
-                    version, vercode))
+            logging.debug("Manifest exists. Found version {0} ({1})"
+                          .format(version, vercode))
             if int(vercode) > int(hcode):
                 htag = tag
                 hcode = str(int(vercode))
@@ -154,6 +162,7 @@ def check_tags(app, pattern):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg, None)
 
+
 # Check for a new version by looking at the AndroidManifest.xml at the HEAD
 # of the source repo. Whether this can be used reliably or not depends on
 # the development procedures used by the project's developers. Use it with
@@ -177,7 +186,7 @@ def check_repomanifest(app, branch=None):
 
         if repotype == 'git':
             if branch:
-                branch = 'origin/'+branch
+                branch = 'origin/' + branch
             vcs.gotorevision(branch)
         elif repotype == 'git-svn':
             vcs.gotorevision(branch)
@@ -191,9 +200,9 @@ def check_repomanifest(app, branch=None):
         flavour = None
 
         if len(app['builds']) > 0:
-            if 'subdir' in app['builds'][-1]:
+            if app['builds'][-1]['subdir']:
                 build_dir = os.path.join(build_dir, app['builds'][-1]['subdir'])
-            if 'gradle' in app['builds'][-1]:
+            if app['builds'][-1]['gradle']:
                 flavour = app['builds'][-1]['gradle']
         if flavour == 'yes':
             flavour = None
@@ -203,15 +212,18 @@ def check_repomanifest(app, branch=None):
 
         paths = common.manifest_paths(build_dir, flavour)
 
-        version, vercode, package = common.parse_androidmanifests(paths)
+        version, vercode, package = \
+            common.parse_androidmanifests(paths, app['Update Check Ignore'])
         if not package:
             return (None, "Couldn't find package ID")
         if package != appid:
             return (None, "Package ID mismatch")
         if not version:
-            return (None,"Couldn't find latest version name")
+            return (None, "Couldn't find latest version name")
         if not vercode:
-            return (None,"Couldn't find latest version code")
+            if "Ignore" == version:
+                return (None, "Latest version is ignored")
+            return (None, "Couldn't find latest version code")
 
         vercode = str(int(vercode))
 
@@ -229,6 +241,7 @@ def check_repomanifest(app, branch=None):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 def check_repotrunk(app, branch=None):
 
     try:
@@ -259,13 +272,14 @@ def check_repotrunk(app, branch=None):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 # Check for a new version by looking at the Google Play Store.
 # Returns (None, "a message") if this didn't work, or (version, None) for
 # the details of the current version.
 def check_gplay(app):
     time.sleep(15)
     url = 'https://play.google.com/store/apps/details?id=' + app['id']
-    headers = {'User-Agent' : 'Mozilla/5.0 (X11; Linux i686; rv:18.0) Gecko/20100101 Firefox/18.0'}
+    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux i686; rv:18.0) Gecko/20100101 Firefox/18.0'}
     req = urllib2.Request(url, None, headers)
     try:
         resp = urllib2.urlopen(req, None, 20)
@@ -293,6 +307,7 @@ def check_gplay(app):
 config = None
 options = None
 
+
 def main():
 
     global config, options
@@ -316,7 +331,7 @@ def main():
     config = common.read_config(options)
 
     # Get all apps...
-    allapps = metadata.read_metadata(options.verbose)
+    allapps = metadata.read_metadata()
 
     apps = common.read_app_args(args, allapps, False)
 
@@ -331,21 +346,20 @@ def main():
             if version is not None:
                 stored = app['Current Version']
                 if not stored:
-                    logging.info("{0} has no Current Version but has version {1} on the Play Store".format(
-                            common.getappname(app), version))
+                    logging.info("{0} has no Current Version but has version {1} on the Play Store"
+                                 .format(common.getappname(app), version))
                 elif LooseVersion(stored) < LooseVersion(version):
-                    logging.info("{0} has version {1} on the Play Store, which is bigger than {2}".format(
-                            common.getappname(app), version, stored))
+                    logging.info("{0} has version {1} on the Play Store, which is bigger than {2}"
+                                 .format(common.getappname(app), version, stored))
                 else:
                     if stored != version:
-                        logging.info("{0} has version {1} on the Play Store, which differs from {2}".format(
-                                common.getappname(app), version, stored))
+                        logging.info("{0} has version {1} on the Play Store, which differs from {2}"
+                                     .format(common.getappname(app), version, stored))
                     else:
-                        logging.info("{0} has the same version {1} on the Play Store".format(
-                                common.getappname(app), version))
+                        logging.info("{0} has the same version {1} on the Play Store"
+                                     .format(common.getappname(app), version))
         return
 
-
     for app in apps:
 
         if options.autoonly and app['Auto Update Mode'] in ('None', 'Static'):
@@ -366,15 +380,20 @@ def main():
         if mode.startswith('Tags'):
             pattern = mode[5:] if len(mode) > 4 else None
             (version, vercode, tag) = check_tags(app, pattern)
+            msg = vercode
         elif mode == 'RepoManifest':
             (version, vercode) = check_repomanifest(app)
+            msg = vercode
         elif mode.startswith('RepoManifest/'):
             tag = mode[13:]
             (version, vercode) = check_repomanifest(app, tag)
+            msg = vercode
         elif mode == 'RepoTrunk':
             (version, vercode) = check_repotrunk(app)
+            msg = vercode
         elif mode == 'HTTP':
             (version, vercode) = check_http(app)
+            msg = vercode
         elif mode in ('None', 'Static'):
             version = None
             msg = 'Checking disabled'
@@ -416,15 +435,15 @@ def main():
 
                 flavour = None
                 if len(app['builds']) > 0:
-                    if 'subdir' in app['builds'][-1]:
+                    if app['builds'][-1]['subdir']:
                         app_dir = os.path.join(app_dir, app['builds'][-1]['subdir'])
-                    if 'gradle' in app['builds'][-1]:
+                    if app['builds'][-1]['gradle']:
                         flavour = app['builds'][-1]['gradle']
                 if flavour == 'yes':
                     flavour = None
 
                 logging.debug("...fetch auto name from " + app_dir +
-                        ((" (flavour: %s)" % flavour) if flavour else ""))
+                              ((" (flavour: %s)" % flavour) if flavour else ""))
                 new_name = common.fetch_real_name(app_dir, flavour)
                 if new_name:
                     logging.debug("...got autoname '" + new_name + "'")
@@ -471,12 +490,11 @@ def main():
                     if not latest or int(build['vercode']) > int(latest['vercode']):
                         latest = build
 
-                if 'disable' in latest:
-                    logging.warn('Not auto-updating %s since the latest build is disabled' % app['id'])
-                elif not gotcur:
+                if not gotcur:
                     newbuild = latest.copy()
                     if 'origlines' in newbuild:
                         del newbuild['origlines']
+                    newbuild['disable'] = False
                     newbuild['vercode'] = app['Current Version Code']
                     newbuild['version'] = app['Current Version'] + suffix
                     logging.info("...auto-generating build for " + newbuild['version'])
@@ -495,8 +513,7 @@ def main():
             metadata.write_metadata(metafile, app)
             if options.commit:
                 logging.info("Commiting update for " + metafile)
-                gitcmd = ["git", "commit", "-m",
-                    commitmsg]
+                gitcmd = ["git", "commit", "-m", commitmsg]
                 if 'auto_author' in config:
                     gitcmd.extend(['--author', config['auto_author']])
                 gitcmd.extend(["--", metafile])
@@ -508,4 +525,3 @@ def main():
 
 if __name__ == "__main__":
     main()
-