chiark - git - mdw - stgit/blob - stgit/commands/imprt.py

   1 __copyright__ = """
   2 Copyright (C) 2005, Catalin Marinas <catalin.marinas@gmail.com>
   3
   4 This program is free software; you can redistribute it and/or modify
   5 it under the terms of the GNU General Public License version 2 as
   6 published by the Free Software Foundation.
   7
   8 This program is distributed in the hope that it will be useful,
   9 but WITHOUT ANY WARRANTY; without even the implied warranty of
  10 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  11 GNU General Public License for more details.
  12
  13 You should have received a copy of the GNU General Public License
  14 along with this program; if not, write to the Free Software
  15 Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  16 """
  17
  18 import sys, os, re, email
  19 from email.Header import decode_header, make_header
  20 from mailbox import UnixMailbox
  21 from StringIO import StringIO
  22 from optparse import OptionParser, make_option
  23
  24 from stgit.commands.common import *
  25 from stgit.utils import *
  26 from stgit import stack, git
  27
  28
  29 help = 'import a GNU diff file as a new patch'
  30 usage = """%prog [options] [<file>|<url>]
  31
  32 Create a new patch and apply the given GNU diff file (or the standard
  33 input). By default, the file name is used as the patch name but this
  34 can be overridden with the '--name' option. The patch can either be a
  35 normal file with the description at the top or it can have standard
  36 mail format, the Subject, From and Date headers being used for
  37 generating the patch information. The command can also read series and
  38 mbox files.
  39
  40 If a patch does not apply cleanly, the failed diff is written to the
  41 .stgit-failed.patch file and an empty StGIT patch is added to the
  42 stack.
  43
  44 The patch description has to be separated from the data with a '---'
  45 line."""
  46
  47 options = [make_option('-m', '--mail',
  48                        help = 'import the patch from a standard e-mail file',
  49                        action = 'store_true'),
  50            make_option('-M', '--mbox',
  51                        help = 'import a series of patches from an mbox file',
  52                        action = 'store_true'),
  53            make_option('-s', '--series',
  54                        help = 'import a series of patches',
  55                        action = 'store_true'),
  56            make_option('-u', '--url',
  57                        help = 'import a patch from a URL',
  58                        action = 'store_true'),
  59            make_option('-n', '--name',
  60                        help = 'use NAME as the patch name'),
  61            make_option('-t', '--strip',
  62                        help = 'strip numbering and extension from patch name',
  63                        action = 'store_true'),
  64            make_option('-i', '--ignore',
  65                        help = 'ignore the applied patches in the series',
  66                        action = 'store_true'),
  67            make_option('--replace',
  68                        help = 'replace the unapplied patches in the series',
  69                        action = 'store_true'),
  70            make_option('-b', '--base',
  71                        help = 'use BASE instead of HEAD for file importing'),
  72            make_option('-e', '--edit',
  73                        help = 'invoke an editor for the patch description',
  74                        action = 'store_true'),
  75            make_option('-p', '--showpatch',
  76                        help = 'show the patch content in the editor buffer',
  77                        action = 'store_true'),
  78            make_option('-a', '--author', metavar = '"NAME <EMAIL>"',
  79                        help = 'use "NAME <EMAIL>" as the author details'),
  80            make_option('--authname',
  81                        help = 'use AUTHNAME as the author name'),
  82            make_option('--authemail',
  83                        help = 'use AUTHEMAIL as the author e-mail'),
  84            make_option('--authdate',
  85                        help = 'use AUTHDATE as the author date'),
  86            make_option('--commname',
  87                        help = 'use COMMNAME as the committer name'),
  88            make_option('--commemail',
  89                        help = 'use COMMEMAIL as the committer e-mail')]
  90
  91
  92 def __end_descr(line):
  93     return re.match('---\s*$', line) or re.match('diff -', line) or \
  94             re.match('Index: ', line)
  95
  96 def __strip_patch_name(name):
  97     stripped = re.sub('^[0-9]+-(.*)$', '\g<1>', name)
  98     stripped = re.sub('^(.*)\.(diff|patch)$', '\g<1>', stripped)
  99
 100     return stripped
 101
 102 def __replace_slashes_with_dashes(name):
 103     stripped = name.replace('/', '-')
 104
 105     return stripped
 106
 107 def __parse_description(descr):
 108     """Parse the patch description and return the new description and
 109     author information (if any).
 110     """
 111     subject = body = ''
 112     authname = authemail = authdate = None
 113
 114     descr_lines = [line.rstrip() for line in  descr.split('\n')]
 115     if not descr_lines:
 116         raise CmdException, "Empty patch description"
 117
 118     lasthdr = 0
 119     end = len(descr_lines)
 120
 121     # Parse the patch header
 122     for pos in range(0, end):
 123         if not descr_lines[pos]:
 124            continue
 125         # check for a "From|Author:" line
 126         if re.match('\s*(?:from|author):\s+', descr_lines[pos], re.I):
 127             auth = re.findall('^.*?:\s+(.*)$', descr_lines[pos])[0]
 128             authname, authemail = name_email(auth)
 129             lasthdr = pos + 1
 130             continue
 131         # check for a "Date:" line
 132         if re.match('\s*date:\s+', descr_lines[pos], re.I):
 133             authdate = re.findall('^.*?:\s+(.*)$', descr_lines[pos])[0]
 134             lasthdr = pos + 1
 135             continue
 136         if subject:
 137             break
 138         # get the subject
 139         subject = descr_lines[pos]
 140         lasthdr = pos + 1
 141
 142     # get the body
 143     if lasthdr < end:
 144         body = reduce(lambda x, y: x + '\n' + y, descr_lines[lasthdr:], '')
 145
 146     return (subject + body, authname, authemail, authdate)
 147
 148 def __parse_mail(msg):
 149     """Parse the message object and return (description, authname,
 150     authemail, authdate, diff)
 151     """
 152     def __decode_header(header):
 153         """Decode a qp-encoded e-mail header as per rfc2047"""
 154         try:
 155             words_enc = decode_header(header)
 156             hobj = make_header(words_enc)
 157         except Exception, ex:
 158             raise CmdException, 'header decoding error: %s' % str(ex)
 159         return unicode(hobj).encode('utf-8')
 160
 161     # parse the headers
 162     if msg.has_key('from'):
 163         authname, authemail = name_email(__decode_header(msg['from']))
 164     else:
 165         authname = authemail = None
 166
 167     # '\n\t' can be found on multi-line headers
 168     descr = __decode_header(msg['subject']).replace('\n\t', ' ')
 169     authdate = msg['date']
 170
 171     # remove the '[*PATCH*]' expression in the subject
 172     if descr:
 173         descr = re.findall('^(\[.*?[Pp][Aa][Tt][Cc][Hh].*?\])?\s*(.*)$',
 174                            descr)[0][1]
 175         descr += '\n\n'
 176     else:
 177         raise CmdException, 'Subject: line not found'
 178
 179     # the rest of the message
 180     if msg.is_multipart():
 181         # this is assuming that the first part is the patch
 182         # description and the second part is the attached patch
 183         descr += msg.get_payload(0).get_payload(decode = True)
 184         diff = msg.get_payload(1).get_payload(decode = True)
 185     else:
 186         diff = msg.get_payload(decode = True)
 187
 188         for line in diff.split('\n'):
 189             if __end_descr(line):
 190                 break
 191             descr += line + '\n'
 192
 193     descr.rstrip()
 194
 195     # parse the description for author information
 196     descr, descr_authname, descr_authemail, descr_authdate = \
 197            __parse_description(descr)
 198     if descr_authname:
 199         authname = descr_authname
 200     if descr_authemail:
 201         authemail = descr_authemail
 202     if descr_authdate:
 203        authdate = descr_authdate
 204
 205     return (descr, authname, authemail, authdate, diff)
 206
 207 def __parse_patch(fobj):
 208     """Parse the input file and return (description, authname,
 209     authemail, authdate, diff)
 210     """
 211     descr = ''
 212     while True:
 213         line = fobj.readline()
 214         if not line:
 215             break
 216
 217         if __end_descr(line):
 218             break
 219         else:
 220             descr += line
 221     descr.rstrip()
 222
 223     diff = fobj.read()
 224
 225     descr, authname, authemail, authdate = __parse_description(descr)
 226
 227     # we don't yet have an agreed place for the creation date.
 228     # Just return None
 229     return (descr, authname, authemail, authdate, diff)
 230
 231 def __create_patch(filename, message, author_name, author_email,
 232                    author_date, diff, options):
 233     """Create a new patch on the stack
 234     """
 235     if options.name:
 236         patch = options.name
 237     elif filename:
 238         patch = os.path.basename(filename)
 239     else:
 240         patch = ''
 241     if options.strip:
 242         patch = __strip_patch_name(patch)
 243
 244     if not patch:
 245         if options.ignore or options.replace:
 246             unacceptable_name = lambda name: False
 247         else:
 248             unacceptable_name = crt_series.patch_exists
 249         patch = make_patch_name(message, unacceptable_name)
 250     else:
 251         # fix possible invalid characters in the patch name
 252         patch = re.sub('[^\w.]+', '-', patch).strip('-')
 253
 254     if not diff:
 255         raise CmdException, 'No diff found inside the patch'
 256
 257     if options.ignore and patch in crt_series.get_applied():
 258         out.info('Ignoring already applied patch "%s"' % patch)
 259         return
 260     if options.replace and patch in crt_series.get_unapplied():
 261         crt_series.delete_patch(patch)
 262
 263     # refresh_patch() will invoke the editor in this case, with correct
 264     # patch content
 265     if not message:
 266         can_edit = False
 267
 268     committer_name = committer_email = None
 269
 270     if options.author:
 271         options.authname, options.authemail = name_email(options.author)
 272
 273     # override the automatically parsed settings
 274     if options.authname:
 275         author_name = options.authname
 276     if options.authemail:
 277         author_email = options.authemail
 278     if options.authdate:
 279         author_date = options.authdate
 280     if options.commname:
 281         committer_name = options.commname
 282     if options.commemail:
 283         committer_email = options.commemail
 284
 285     crt_series.new_patch(patch, message = message, can_edit = False,
 286                          author_name = author_name,
 287                          author_email = author_email,
 288                          author_date = author_date,
 289                          committer_name = committer_name,
 290                          committer_email = committer_email)
 291
 292     out.start('Importing patch "%s"' % patch)
 293     if options.base:
 294         git.apply_patch(diff = diff, base = git_id(options.base))
 295     else:
 296         git.apply_patch(diff = diff)
 297     crt_series.refresh_patch(edit = options.edit,
 298                              show_patch = options.showpatch)
 299     out.done()
 300
 301 def __import_file(filename, options, patch = None):
 302     """Import a patch from a file or standard input
 303     """
 304     if filename:
 305         f = file(filename)
 306     else:
 307         f = sys.stdin
 308
 309     if options.mail:
 310         try:
 311             msg = email.message_from_file(f)
 312         except Exception, ex:
 313             raise CmdException, 'error parsing the e-mail file: %s' % str(ex)
 314         message, author_name, author_email, author_date, diff = \
 315                  __parse_mail(msg)
 316     else:
 317         message, author_name, author_email, author_date, diff = \
 318                  __parse_patch(f)
 319
 320     if filename:
 321         f.close()
 322
 323     if patch:
 324         pname = patch
 325     else:
 326         pname = filename
 327
 328     __create_patch(pname, message, author_name, author_email,
 329                    author_date, diff, options)
 330
 331 def __import_series(filename, options):
 332     """Import a series of patches
 333     """
 334     applied = crt_series.get_applied()
 335
 336     if filename:
 337         f = file(filename)
 338         patchdir = os.path.dirname(filename)
 339     else:
 340         f = sys.stdin
 341         patchdir = ''
 342
 343     for line in f:
 344         patch = re.sub('#.*$', '', line).strip()
 345         if not patch:
 346             continue
 347         patchfile = os.path.join(patchdir, patch)
 348         patch = __replace_slashes_with_dashes(patch);
 349
 350         __import_file(patchfile, options, patch)
 351
 352     if filename:
 353         f.close()
 354
 355 def __import_mbox(filename, options):
 356     """Import a series from an mbox file
 357     """
 358     if filename:
 359         f = file(filename, 'rb')
 360     else:
 361         f = StringIO(sys.stdin.read())
 362
 363     try:
 364         mbox = UnixMailbox(f, email.message_from_file)
 365     except Exception, ex:
 366         raise CmdException, 'error parsing the mbox file: %s' % str(ex)
 367
 368     for msg in mbox:
 369         message, author_name, author_email, author_date, diff = \
 370                  __parse_mail(msg)
 371         __create_patch(None, message, author_name, author_email,
 372                        author_date, diff, options)
 373
 374     f.close()
 375
 376 def __import_url(url, options):
 377     """Import a patch from a URL
 378     """
 379     import urllib
 380     import tempfile
 381
 382     if not url:
 383         parser.error('URL argument required')
 384
 385     patch = os.path.basename(urllib.unquote(url))
 386     filename = os.path.join(tempfile.gettempdir(), patch)
 387     urllib.urlretrieve(url, filename)
 388     __import_file(filename, options)
 389
 390 def func(parser, options, args):
 391     """Import a GNU diff file as a new patch
 392     """
 393     if len(args) > 1:
 394         parser.error('incorrect number of arguments')
 395
 396     check_local_changes()
 397     check_conflicts()
 398     check_head_top_equal()
 399
 400     if len(args) == 1:
 401         filename = args[0]
 402     else:
 403         filename = None
 404
 405     if options.series:
 406         __import_series(filename, options)
 407     elif options.mbox:
 408         __import_mbox(filename, options)
 409     elif options.url:
 410         __import_url(filename, options)
 411     else:
 412         __import_file(filename, options)
 413
 414     print_crt_patch()