fdroidserver/lint.py

   1 #!/usr/bin/env python2
   2 # -*- coding: utf-8 -*-
   3 #
   4 # lint.py - part of the FDroid server tool
   5 # Copyright (C) 2013-2014 Daniel Martí <mvdan@mvdan.cc>
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU Affero General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See th
  15 # GNU Affero General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU Affero General Public Licen
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 from optparse import OptionParser
  21 import re
  22 import logging
  23 import common
  24 import metadata
  25 import sys
  26 from collections import Counter
  27 from sets import Set
  28
  29 config = None
  30 options = None
  31
  32
  33 def enforce_https(domain):
  34     return (re.compile(r'.*[^sS]://[^/]*' + re.escape(domain) + r'(/.*)?'),
  35             domain + " URLs should always use https://")
  36
  37 https_enforcings = [
  38     enforce_https('github.com'),
  39     enforce_https('gitlab.com'),
  40     enforce_https('bitbucket.org'),
  41     enforce_https('gitorious.org'),
  42     enforce_https('apache.org'),
  43     enforce_https('google.com'),
  44     enforce_https('svn.code.sf.net'),
  45     enforce_https('googlecode.com'),
  46 ]
  47
  48
  49 def forbid_shortener(domain):
  50     return (re.compile(r'https?://[^/]*' + re.escape(domain) + r'/.*'),
  51             "URL shorteners should not be used")
  52
  53 http_url_shorteners = [
  54     forbid_shortener('goo.gl'),
  55     forbid_shortener('t.co'),
  56     forbid_shortener('ur1.ca'),
  57 ]
  58
  59 http_warnings = https_enforcings + http_url_shorteners + [
  60     (re.compile(r'.*github\.com/[^/]+/[^/]+\.git'),
  61      "Appending .git is not necessary"),
  62     (re.compile(r'(.*/blob/master/|.*raw\.github.com/[^/]*/[^/]*/master/)'),
  63      "Use /HEAD/ instead of /master/ to point at a file in the default branch"),
  64 ]
  65
  66 regex_warnings = {
  67     'Web Site': http_warnings + [
  68     ],
  69     'Source Code': http_warnings + [
  70     ],
  71     'Repo': https_enforcings + [
  72     ],
  73     'Issue Tracker': http_warnings + [
  74         (re.compile(r'.*github\.com/[^/]+/[^/]+[/]*$'),
  75          "/issues is missing"),
  76     ],
  77     'Donate': http_warnings + [
  78         (re.compile(r'.*flattr\.com'),
  79          "Flattr donation methods belong in the FlattrID flag"),
  80     ],
  81     'Changelog': http_warnings + [
  82     ],
  83     'License': [
  84         (re.compile(r'^(|None|Unknown)$'),
  85          "No license specified"),
  86     ],
  87     'Summary': [
  88         (re.compile(r'^$'),
  89          "Summary yet to be filled"),
  90         (re.compile(r'.*\b(free software|open source)\b.*', re.IGNORECASE),
  91          "No need to specify that the app is Free Software"),
  92         (re.compile(r'.*((your|for).*android|android.*(app|device|client|port|version))', re.IGNORECASE),
  93          "No need to specify that the app is for Android"),
  94         (re.compile(r'.*[a-z0-9][.!?]( |$)'),
  95          "Punctuation should be avoided"),
  96     ],
  97     'Description': [
  98         (re.compile(r'^No description available$'),
  99          "Description yet to be filled"),
 100         (re.compile(r'\s*[*#][^ .]'),
 101          "Invalid bulleted list"),
 102         (re.compile(r'^\s'),
 103          "Unnecessary leading space"),
 104         (re.compile(r'.*\s$'),
 105          "Unnecessary trailing space"),
 106         (re.compile(r'.*([^[]|^)\[[^:[\]]+( |\]|$)'),
 107          "Invalid link - use [http://foo.bar Link title] or [http://foo.bar]"),
 108         (re.compile(r'.*[^[]https?://[^ ]+'),
 109          "Unlinkified link - use [http://foo.bar Link title] or [http://foo.bar]"),
 110     ],
 111 }
 112
 113 categories = Set([
 114     "Children",
 115     "Development",
 116     "Games",
 117     "Internet",
 118     "Multimedia",
 119     "Navigation",
 120     "Office",
 121     "Phone & SMS",
 122     "Reading",
 123     "Science & Education",
 124     "Security",
 125     "System",
 126     "Wallpaper",
 127 ])
 128
 129 desc_url = re.compile("[^[]\[([^ ]+)( |\]|$)")
 130
 131
 132 def main():
 133
 134     global config, options, curid, count
 135     curid = None
 136
 137     count = Counter()
 138
 139     def warn(message):
 140         global curid, count
 141         if curid:
 142             print "%s:" % curid
 143             curid = None
 144             count['app'] += 1
 145         print '    %s' % message
 146         count['warn'] += 1
 147
 148     # Parse command line...
 149     parser = OptionParser(usage="Usage: %prog [options] [APPID [APPID ...]]")
 150     parser.add_option("-v", "--verbose", action="store_true", default=False,
 151                       help="Spew out even more information than normal")
 152     parser.add_option("-q", "--quiet", action="store_true", default=False,
 153                       help="Restrict output to warnings and errors")
 154     (options, args) = parser.parse_args()
 155
 156     config = common.read_config(options)
 157
 158     # Get all apps...
 159     allapps = metadata.read_metadata(xref=True)
 160     apps = common.read_app_args(args, allapps, False)
 161
 162     filling_ucms = re.compile('^(Tags.*|RepoManifest.*)')
 163
 164     for appid, app in apps.iteritems():
 165         if app['Disabled']:
 166             continue
 167
 168         curid = appid
 169         count['app_total'] += 1
 170
 171         # enabled_builds = 0
 172         lowest_vercode = -1
 173         curbuild = None
 174         for build in app['builds']:
 175             if not build['disable']:
 176                 # enabled_builds += 1
 177                 vercode = int(build['vercode'])
 178                 if lowest_vercode == -1 or vercode < lowest_vercode:
 179                     lowest_vercode = vercode
 180             if not curbuild or int(build['vercode']) > int(curbuild['vercode']):
 181                 curbuild = build
 182
 183         # Incorrect UCM
 184         if (curbuild and curbuild['commit']
 185                 and app['Update Check Mode'] == 'RepoManifest'
 186                 and not curbuild['commit'].startswith('unknown')
 187                 and curbuild['vercode'] == app['Current Version Code']
 188                 and not curbuild['forcevercode']
 189                 and any(s in curbuild['commit'] for s in '.,_-/')):
 190             warn("Last used commit '%s' looks like a tag, but Update Check Mode is '%s'" % (
 191                 curbuild['commit'], app['Update Check Mode']))
 192
 193         # Summary size limit
 194         summ_chars = len(app['Summary'])
 195         if summ_chars > config['char_limits']['Summary']:
 196             warn("Summary of length %s is over the %i char limit" % (
 197                 summ_chars, config['char_limits']['Summary']))
 198
 199         # Redundant info
 200         if app['Web Site'] and app['Source Code']:
 201             if app['Web Site'].lower() == app['Source Code'].lower():
 202                 warn("Website '%s' is just the app's source code link" % app['Web Site'])
 203
 204         if filling_ucms.match(app['Update Check Mode']):
 205             if all(app[f] == metadata.app_defaults[f] for f in [
 206                     'Auto Name',
 207                     'Current Version',
 208                     'Current Version Code',
 209                     ]):
 210                 warn("UCM is set but it looks like checkupdates hasn't been run yet")
 211
 212         if app['Update Check Name'] == appid:
 213             warn("Update Check Name is set to the known app id - it can be removed")
 214
 215         cvc = int(app['Current Version Code'])
 216         if cvc > 0 and cvc < lowest_vercode:
 217             warn("Current Version Code is lower than any enabled build")
 218
 219         # Missing or incorrect categories
 220         if not app['Categories']:
 221             warn("Categories are not set")
 222         for categ in app['Categories']:
 223             if categ not in categories:
 224                 warn("Category '%s' is not valid" % categ)
 225
 226         if app['Name'] and app['Name'] == app['Auto Name']:
 227             warn("Name '%s' is just the auto name" % app['Name'])
 228
 229         name = app['Name'] or app['Auto Name']
 230         if app['Summary'] and name:
 231             if app['Summary'].lower() == name.lower():
 232                 warn("Summary '%s' is just the app's name" % app['Summary'])
 233
 234         desc = app['Description']
 235         if app['Summary'] and desc and len(desc) == 1:
 236             if app['Summary'].lower() == desc[0].lower():
 237                 warn("Description '%s' is just the app's summary" % app['Summary'])
 238
 239         # Description size limit
 240         desc_charcount = sum(len(l) for l in desc)
 241         if desc_charcount > config['char_limits']['Description']:
 242             warn("Description of length %s is over the %i char limit" % (
 243                 desc_charcount, config['char_limits']['Description']))
 244
 245         if (not desc[0] or not desc[-1]
 246                 or any(not desc[l - 1] and not desc[l] for l in range(1, len(desc)))):
 247             warn("Description has an extra empty line")
 248
 249         # Check for lists using the wrong characters
 250         validchars = ['*', '#']
 251         lchar = ''
 252         lcount = 0
 253         for l in app['Description']:
 254             if len(l) < 1:
 255                 continue
 256
 257             for um in desc_url.finditer(l):
 258                 url = um.group(1)
 259                 for m, r in http_warnings:
 260                     if m.match(url):
 261                         warn("URL '%s' in Description: %s" % (url, r))
 262
 263             c = l.decode('utf-8')[0]
 264             if c == lchar:
 265                 lcount += 1
 266                 if lcount > 3 and lchar not in validchars:
 267                     warn("Description has a list (%s) but it isn't bulleted (*) nor numbered (#)" % lchar)
 268                     break
 269             else:
 270                 lchar = c
 271                 lcount = 1
 272
 273         # Regex checks in all kinds of fields
 274         for f in regex_warnings:
 275             for m, r in regex_warnings[f]:
 276                 v = app[f]
 277                 if type(v) == str:
 278                     if v is None:
 279                         continue
 280                     if m.match(v):
 281                         warn("%s '%s': %s" % (f, v, r))
 282                 elif type(v) == list:
 283                     for l in v:
 284                         if m.match(l):
 285                             warn("%s at line '%s': %s" % (f, l, r))
 286
 287         # Build warnings
 288         for build in app['builds']:
 289             if build['disable']:
 290                 continue
 291             for s in ['master', 'origin', 'HEAD', 'default', 'trunk']:
 292                 if build['commit'] and build['commit'].startswith(s):
 293                     warn("Branch '%s' used as commit in build '%s'" % (
 294                         s, build['version']))
 295                 for srclib in build['srclibs']:
 296                     ref = srclib.split('@')[1].split('/')[0]
 297                     if ref.startswith(s):
 298                         warn("Branch '%s' used as commit in srclib '%s'" % (
 299                             s, srclib))
 300
 301         if not curid:
 302             print
 303
 304     if count['warn'] > 0:
 305         logging.warn("Found a total of %i warnings in %i apps out of %i total." % (
 306             count['warn'], count['app'], count['app_total']))
 307         sys.exit(1)
 308
 309
 310 if __name__ == "__main__":
 311     main()