chiark / gitweb /
Exception handling improvements
[fdroidserver.git] / fdroidserver / checkupdates.py
index 629d350ae2309df2851ab9deed1e7b5d50b19f79..6ab4e236156ec0c64e347c83361a8521998bcab9 100644 (file)
@@ -30,9 +30,9 @@ import HTMLParser
 from distutils.version import LooseVersion
 import logging
 
-import common, metadata
-from common import BuildException
-from common import VCSException
+import common
+import metadata
+from common import BuildException, VCSException
 from metadata import MetaDataException
 
 
@@ -43,7 +43,7 @@ def check_http(app):
 
     try:
 
-        if not 'Update Check Data' in app:
+        if 'Update Check Data' not in app:
             raise Exception('Missing Update Check Data')
 
         urlcode, codeex, urlver, verex = app['Update Check Data'].split('|')
@@ -79,6 +79,7 @@ def check_http(app):
         msg = "Could not complete http check for app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 # Check for a new version by looking at the tags in the source repo.
 # Whether this can be used reliably or not depends on
 # the development procedures used by the project's developers. Use it with
@@ -89,6 +90,7 @@ def check_tags(app, pattern):
 
     try:
 
+        appid = app['Update Check Name'] if app['Update Check Name'] else app['id']
         if app['Repo Type'] == 'srclib':
             build_dir = os.path.join('build', 'srclib', app['Repo'])
             repotype = common.getsrclibvcs(app['Repo'])
@@ -99,6 +101,9 @@ def check_tags(app, pattern):
         if repotype not in ('git', 'git-svn', 'hg', 'bzr'):
             return (None, 'Tags update mode only works for git, hg, bzr and git-svn repositories currently', None)
 
+        if repotype == 'git-svn' and ';' not in app['Repo']:
+            return (None, 'Tags update mode used in git-svn, but the repo was not set up with tags', None)
+
         # Set up vcs interface and make sure we have the latest code...
         vcs = common.getvcs(app['Repo Type'], app['Repo'], build_dir)
 
@@ -106,10 +111,12 @@ def check_tags(app, pattern):
 
         flavour = None
         if len(app['builds']) > 0:
-            if 'subdir' in app['builds'][-1]:
+            if app['builds'][-1]['subdir']:
                 build_dir = os.path.join(build_dir, app['builds'][-1]['subdir'])
-            if 'gradle' in app['builds'][-1]:
+            if app['builds'][-1]['gradle']:
                 flavour = app['builds'][-1]['gradle']
+        if flavour == 'yes':
+            flavour = None
 
         htag = None
         hver = None
@@ -120,20 +127,26 @@ def check_tags(app, pattern):
             pat = re.compile(pattern)
             tags = [tag for tag in tags if pat.match(tag)]
 
+        if repotype in ('git',):
+            tags = vcs.latesttags(tags, 5)
+
         for tag in tags:
             logging.debug("Check tag: '{0}'".format(tag))
             vcs.gotorevision(tag)
 
             # Only process tags where the manifest exists...
             paths = common.manifest_paths(build_dir, flavour)
-            version, vercode, package = common.parse_androidmanifests(paths)
-            if package and package == app['id'] and version and vercode:
-                logging.debug("Manifest exists. Found version {0} ({1})".format(
-                        version, vercode))
-                if int(vercode) > int(hcode):
-                    htag = tag
-                    hcode = str(int(vercode))
-                    hver = version
+            version, vercode, package = \
+                common.parse_androidmanifests(paths, app['Update Check Ignore'])
+            if not package or package != appid or not version or not vercode:
+                continue
+
+            logging.debug("Manifest exists. Found version {0} ({1})"
+                          .format(version, vercode))
+            if int(vercode) > int(hcode):
+                htag = tag
+                hcode = str(int(vercode))
+                hver = version
 
         if hver:
             return (hver, hcode, htag)
@@ -149,6 +162,7 @@ def check_tags(app, pattern):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg, None)
 
+
 # Check for a new version by looking at the AndroidManifest.xml at the HEAD
 # of the source repo. Whether this can be used reliably or not depends on
 # the development procedures used by the project's developers. Use it with
@@ -159,6 +173,7 @@ def check_repomanifest(app, branch=None):
 
     try:
 
+        appid = app['Update Check Name'] if app['Update Check Name'] else app['id']
         if app['Repo Type'] == 'srclib':
             build_dir = os.path.join('build', 'srclib', app['Repo'])
             repotype = common.getsrclibvcs(app['Repo'])
@@ -171,7 +186,7 @@ def check_repomanifest(app, branch=None):
 
         if repotype == 'git':
             if branch:
-                branch = 'origin/'+branch
+                branch = 'origin/' + branch
             vcs.gotorevision(branch)
         elif repotype == 'git-svn':
             vcs.gotorevision(branch)
@@ -185,25 +200,30 @@ def check_repomanifest(app, branch=None):
         flavour = None
 
         if len(app['builds']) > 0:
-            if 'subdir' in app['builds'][-1]:
+            if app['builds'][-1]['subdir']:
                 build_dir = os.path.join(build_dir, app['builds'][-1]['subdir'])
-            if 'gradle' in app['builds'][-1]:
+            if app['builds'][-1]['gradle']:
                 flavour = app['builds'][-1]['gradle']
+        if flavour == 'yes':
+            flavour = None
 
         if not os.path.isdir(build_dir):
             return (None, "Subdir '" + app['builds'][-1]['subdir'] + "'is not a valid directory")
 
         paths = common.manifest_paths(build_dir, flavour)
 
-        version, vercode, package = common.parse_androidmanifests(paths)
+        version, vercode, package = \
+            common.parse_androidmanifests(paths, app['Update Check Ignore'])
         if not package:
             return (None, "Couldn't find package ID")
-        if package != app['id']:
+        if package != appid:
             return (None, "Package ID mismatch")
         if not version:
-            return (None,"Couldn't find latest version name")
+            return (None, "Couldn't find latest version name")
         if not vercode:
-            return (None,"Couldn't find latest version code")
+            if "Ignore" == version:
+                return (None, "Latest version is ignored")
+            return (None, "Couldn't find latest version code")
 
         vercode = str(int(vercode))
 
@@ -221,6 +241,7 @@ def check_repomanifest(app, branch=None):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 def check_repotrunk(app, branch=None):
 
     try:
@@ -251,13 +272,14 @@ def check_repotrunk(app, branch=None):
         msg = "Could not scan app {0} due to unknown error: {1}".format(app['id'], traceback.format_exc())
         return (None, msg)
 
+
 # Check for a new version by looking at the Google Play Store.
 # Returns (None, "a message") if this didn't work, or (version, None) for
 # the details of the current version.
 def check_gplay(app):
     time.sleep(15)
     url = 'https://play.google.com/store/apps/details?id=' + app['id']
-    headers = {'User-Agent' : 'Mozilla/5.0 (X11; Linux i686; rv:18.0) Gecko/20100101 Firefox/18.0'}
+    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux i686; rv:18.0) Gecko/20100101 Firefox/18.0'}
     req = urllib2.Request(url, None, headers)
     try:
         resp = urllib2.urlopen(req, None, 20)
@@ -285,6 +307,7 @@ def check_gplay(app):
 config = None
 options = None
 
+
 def main():
 
     global config, options
@@ -308,7 +331,7 @@ def main():
     config = common.read_config(options)
 
     # Get all apps...
-    allapps = metadata.read_metadata(options.verbose)
+    allapps = metadata.read_metadata()
 
     apps = common.read_app_args(args, allapps, False)
 
@@ -323,21 +346,20 @@ def main():
             if version is not None:
                 stored = app['Current Version']
                 if not stored:
-                    logging.info("{0} has no Current Version but has version {1} on the Play Store".format(
-                            common.getappname(app), version))
+                    logging.info("{0} has no Current Version but has version {1} on the Play Store"
+                                 .format(common.getappname(app), version))
                 elif LooseVersion(stored) < LooseVersion(version):
-                    logging.info("{0} has version {1} on the Play Store, which is bigger than {2}".format(
-                            common.getappname(app), version, stored))
+                    logging.info("{0} has version {1} on the Play Store, which is bigger than {2}"
+                                 .format(common.getappname(app), version, stored))
                 else:
                     if stored != version:
-                        logging.info("{0} has version {1} on the Play Store, which differs from {2}".format(
-                                common.getappname(app), version, stored))
+                        logging.info("{0} has version {1} on the Play Store, which differs from {2}"
+                                     .format(common.getappname(app), version, stored))
                     else:
-                        logging.info("{0} has the same version {1} on the Play Store".format(
-                                common.getappname(app), version))
+                        logging.info("{0} has the same version {1} on the Play Store"
+                                     .format(common.getappname(app), version))
         return
 
-
     for app in apps:
 
         if options.autoonly and app['Auto Update Mode'] in ('None', 'Static'):
@@ -346,8 +368,9 @@ def main():
 
         logging.info("Processing " + app['id'] + '...')
 
-        writeit = False
-        logmsg = None
+        # If a change is made, commitmsg should be set to a description of it.
+        # Only if this is set will changes be written back to the metadata.
+        commitmsg = None
 
         tag = None
         msg = None
@@ -357,15 +380,20 @@ def main():
         if mode.startswith('Tags'):
             pattern = mode[5:] if len(mode) > 4 else None
             (version, vercode, tag) = check_tags(app, pattern)
+            msg = vercode
         elif mode == 'RepoManifest':
             (version, vercode) = check_repomanifest(app)
+            msg = vercode
         elif mode.startswith('RepoManifest/'):
             tag = mode[13:]
             (version, vercode) = check_repomanifest(app, tag)
+            msg = vercode
         elif mode == 'RepoTrunk':
             (version, vercode) = check_repotrunk(app)
+            msg = vercode
         elif mode == 'HTTP':
             (version, vercode) = check_http(app)
+            msg = vercode
         elif mode in ('None', 'Static'):
             version = None
             msg = 'Checking disabled'
@@ -391,7 +419,6 @@ def main():
             app['Current Version'] = version
             app['Current Version Code'] = str(int(vercode))
             updating = True
-            writeit = True
 
         # Do the Auto Name thing as well as finding the CV real name
         if len(app["Repo Type"]) > 0 and mode not in ('None', 'Static'):
@@ -408,25 +435,31 @@ def main():
 
                 flavour = None
                 if len(app['builds']) > 0:
-                    if 'subdir' in app['builds'][-1]:
+                    if app['builds'][-1]['subdir']:
                         app_dir = os.path.join(app_dir, app['builds'][-1]['subdir'])
-                    if 'gradle' in app['builds'][-1]:
+                    if app['builds'][-1]['gradle']:
                         flavour = app['builds'][-1]['gradle']
+                if flavour == 'yes':
+                    flavour = None
 
+                logging.debug("...fetch auto name from " + app_dir +
+                              ((" (flavour: %s)" % flavour) if flavour else ""))
                 new_name = common.fetch_real_name(app_dir, flavour)
-                if new_name != app['Auto Name']:
-                    app['Auto Name'] = new_name
-                    writeit = True
-                    if not logmsg:
-                        logmsg = "Set autoname of {0}".format(common.getappname(app))
+                if new_name:
+                    logging.debug("...got autoname '" + new_name + "'")
+                    if new_name != app['Auto Name']:
+                        app['Auto Name'] = new_name
+                        if not commitmsg:
+                            commitmsg = "Set autoname of {0}".format(common.getappname(app))
+                else:
+                    logging.debug("...couldn't get autoname")
 
                 if app['Current Version'].startswith('@string/'):
                     cv = common.version_name(app['Current Version'], app_dir, flavour)
                     if app['Current Version'] != cv:
                         app['Current Version'] = cv
-                        writeit = True
-                        if not logmsg:
-                            logmsg = "Fix CV of {0}".format(common.getappname(app))
+                        if not commitmsg:
+                            commitmsg = "Fix CV of {0}".format(common.getappname(app))
             except Exception:
                 logging.error("Auto Name or Current Version failed for {0} due to exception: {1}".format(app['id'], traceback.format_exc()))
 
@@ -434,7 +467,7 @@ def main():
             name = common.getappname(app)
             ver = common.getcvname(app)
             logging.info('...updating to version %s' % ver)
-            logmsg = 'Update CV of %s to %s' % (name, ver)
+            commitmsg = 'Update CV of %s to %s' % (name, ver)
 
         if options.auto:
             mode = app['Auto Update Mode']
@@ -457,12 +490,11 @@ def main():
                     if not latest or int(build['vercode']) > int(latest['vercode']):
                         latest = build
 
-                if 'disable' in latest:
-                    logging.warn('Not auto-updating %s since the latest build is disabled' % app['id'])
-                elif not gotcur:
+                if not gotcur:
                     newbuild = latest.copy()
                     if 'origlines' in newbuild:
                         del newbuild['origlines']
+                    newbuild['disable'] = False
                     newbuild['vercode'] = app['Current Version Code']
                     newbuild['version'] = app['Current Version'] + suffix
                     logging.info("...auto-generating build for " + newbuild['version'])
@@ -470,20 +502,18 @@ def main():
                     commit = commit.replace('%c', newbuild['vercode'])
                     newbuild['commit'] = commit
                     app['builds'].append(newbuild)
-                    writeit = True
                     name = common.getappname(app)
                     ver = common.getcvname(app)
-                    logmsg = "Update %s to %s" % (name, ver)
+                    commitmsg = "Update %s to %s" % (name, ver)
             else:
                 logging.warn('Invalid auto update mode "' + mode + '" on ' + app['id'])
 
-        if writeit:
+        if commitmsg:
             metafile = os.path.join('metadata', app['id'] + '.txt')
             metadata.write_metadata(metafile, app)
-            if options.commit and logmsg:
+            if options.commit:
                 logging.info("Commiting update for " + metafile)
-                gitcmd = ["git", "commit", "-m",
-                    logmsg]
+                gitcmd = ["git", "commit", "-m", commitmsg]
                 if 'auto_author' in config:
                     gitcmd.extend(['--author', config['auto_author']])
                 gitcmd.extend(["--", metafile])
@@ -495,4 +525,3 @@ def main():
 
 if __name__ == "__main__":
     main()
-