chiark / gitweb /
Merge branch 'stable'
authorCatalin Marinas <catalin.marinas@gmail.com>
Wed, 28 Jan 2009 23:07:37 +0000 (23:07 +0000)
committerCatalin Marinas <catalin.marinas@gmail.com>
Wed, 28 Jan 2009 23:07:37 +0000 (23:07 +0000)
Conflicts:
stgit/commands/files.py
stgit/commands/mail.py
stgit/git.py

1  2 
stgit/commands/files.py
stgit/commands/mail.py

diff --combined stgit/commands/files.py
index 84925afc5b3eab71242a9cf3b9a12549a4d6e50e,af772b8dc22df38e72ffbbf37d07cd0f7c78c846..a2ed6a25bbeeabb0eb18ef19bff3df6a9cafdfaf
@@@ -17,54 -17,58 +17,55 @@@ Foundation, Inc., 59 Temple Place, Suit
  """
  
  import sys, os
 -from optparse import OptionParser, make_option
 -
 +from stgit.argparse import opt
  from stgit.commands.common import *
  from stgit.utils import *
  from stgit.out import *
 -from stgit import stack, git
 -
 -
 -help = 'show the files modified by a patch (or the current patch)'
 -usage = """%prog [options] [<patch>]
 +from stgit import argparse, stack, git
 +from stgit.lib import git as gitlib
  
 +help = 'Show the files modified by a patch (or the current patch)'
 +kind = 'patch'
 +usage = ['[options] [[<branch>:]<patch>]']
 +description = """
  List the files modified by the given patch (defaulting to the current
  one). Passing the '--stat' option shows the diff statistics for the
  given patch. Note that this command doesn't show the files modified in
  the working tree and not yet included in the patch by a 'refresh'
  command. Use the 'diff' or 'status' commands for these files."""
  
 -directory = DirectoryHasRepository()
 -options = [make_option('-s', '--stat',
 -                       help = 'show the diff stat',
 -                       action = 'store_true'),
 -           make_option('-b', '--branch',
 -                       help = 'use BRANCH instead of the default one'),
 -           make_option('-O', '--diff-opts',
 -                       help = 'options to pass to git diff'),
 -           make_option('--bare',
 -                       help = 'bare file names (useful for scripting)',
 -                       action = 'store_true')]
 +args = [argparse.applied_patches, argparse.unapplied_patches,
 +        argparse.hidden_patches]
 +options = [
 +    opt('-s', '--stat', action = 'store_true',
 +        short = 'Show the diffstat'),
 +    opt('--bare', action = 'store_true',
 +        short = 'Bare file names (useful for scripting)'),
 +    ] + argparse.diff_opts_option()
  
 +directory = DirectoryHasRepository(log = False)
  
  def func(parser, options, args):
      """Show the files modified by a patch (or the current patch)
      """
      if len(args) == 0:
 -        patch = ''
 +        patch = 'HEAD'
      elif len(args) == 1:
          patch = args[0]
      else:
          parser.error('incorrect number of arguments')
  
 -    if options.diff_opts:
 -        diff_flags = options.diff_opts.split()
 -    else:
 -        diff_flags = []
 -
 -    rev1 = git_id(crt_series, '%s//bottom' % patch)
 -    rev2 = git_id(crt_series, '%s//top' % patch)
 +    rev1 = git_id(crt_series, '%s^' % patch)
 +    rev2 = git_id(crt_series, '%s' % patch)
  
      if options.stat:
-         output = gitlib.diffstat(git.diff(rev1 = rev1, rev2 = rev2))
 -        out.stdout_raw(git.diffstat(rev1 = rev1, rev2 = rev2,
 -                                    diff_flags = diff_flags) + '\n')
++        output = gitlib.diffstat(git.diff(rev1 = rev1, rev2 = rev2,
++                                          diff_flags = options.diff_flags))
      elif options.bare:
 -        out.stdout_raw(git.barefiles(rev1, rev2) + '\n')
 +        output = git.barefiles(rev1, rev2)
      else:
 -        out.stdout_raw(git.files(rev1, rev2, diff_flags = diff_flags) + '\n')
 +        output = git.files(rev1, rev2, diff_flags = options.diff_flags)
 +    if output:
 +        if not output.endswith('\n'):
 +            output += '\n'
 +        out.stdout_raw(output)
diff --combined stgit/commands/mail.py
index cab896bad5c50e9a4cbf699027e71ddee0ade512,2230d2a82bcc27796cb1f839a463c022f59f6804..46e4b559a8477d4deb70a0b9336bbedfdb683e4e
@@@ -17,30 -17,27 +17,30 @@@ Foundation, Inc., 59 Temple Place, Suit
  
  import sys, os, re, time, datetime, socket, smtplib, getpass
  import email, email.Utils, email.Header
 -from optparse import OptionParser, make_option
 -
 +from stgit.argparse import opt
  from stgit.commands.common import *
  from stgit.utils import *
  from stgit.out import *
 -from stgit import stack, git, version, templates
 +from stgit import argparse, stack, git, version, templates
  from stgit.config import config
 +from stgit.run import Run
 +from stgit.lib import git as gitlib
  
 -
 -help = 'send a patch or series of patches by e-mail'
 -usage = """%prog [options] [<patch1>] [<patch2>] [<patch3>..<patch4>]
 -
 +help = 'Send a patch or series of patches by e-mail'
 +kind = 'patch'
 +usage = [' [options] [<patch1>] [<patch2>] [<patch3>..<patch4>]']
 +description = r"""
  Send a patch or a range of patches by e-mail using the SMTP server
  specified by the 'stgit.smtpserver' configuration option, or the
 -'--smtp-server' command line option. The From address and the e-mail
 -format are generated from the template file passed as argument to
 -'--template' (defaulting to '.git/patchmail.tmpl' or
 -'~/.stgit/templates/patchmail.tmpl' or
 +'--smtp-server' command line option. This option can also be an
 +absolute path to 'sendmail' followed by command line arguments.
 +
 +The From address and the e-mail format are generated from the template
 +file passed as argument to '--template' (defaulting to
 +'.git/patchmail.tmpl' or '~/.stgit/templates/patchmail.tmpl' or
  '/usr/share/stgit/templates/patchmail.tmpl'). A patch can be sent as
 -attachment using the --attach option in which case the 'mailattch.tmpl'
 -template will be used instead of 'patchmail.tmpl'.
 +attachment using the --attach option in which case the
 +'mailattch.tmpl' template will be used instead of 'patchmail.tmpl'.
  
  The To/Cc/Bcc addresses can either be added to the template file or
  passed via the corresponding command line options. They can be e-mail
@@@ -87,63 -84,72 +87,63 @@@ the following
    %(commemail)s    - committer's e-mail
    %(commname)s     - committer's name
    %(diff)s         - unified diff of the patch
 -  %(fromauth)s     - 'From: author\\n\\n' if different from sender
 +  %(fromauth)s     - 'From: author\n\n' if different from sender
    %(longdescr)s    - the rest of the patch description, after the first line
    %(patch)s        - patch name
    %(prefix)s       - 'prefix ' string passed on the command line
    %(shortdescr)s   - the first line of the patch description"""
  
 -directory = DirectoryHasRepository()
 -options = [make_option('-a', '--all',
 -                       help = 'e-mail all the applied patches',
 -                       action = 'store_true'),
 -           make_option('--to',
 -                       help = 'add TO to the To: list',
 -                       action = 'append'),
 -           make_option('--cc',
 -                       help = 'add CC to the Cc: list',
 -                       action = 'append'),
 -           make_option('--bcc',
 -                       help = 'add BCC to the Bcc: list',
 -                       action = 'append'),
 -           make_option('--auto',
 -                       help = 'automatically cc the patch signers',
 -                       action = 'store_true'),
 -           make_option('--noreply',
 -                       help = 'do not send subsequent messages as replies',
 -                       action = 'store_true'),
 -           make_option('--unrelated',
 -                       help = 'send patches without sequence numbering',
 -                       action = 'store_true'),
 -           make_option('--attach',
 -                       help = 'send a patch as attachment',
 -                       action = 'store_true'),
 -           make_option('-v', '--version', metavar = 'VERSION',
 -                       help = 'add VERSION to the [PATCH ...] prefix'),
 -           make_option('--prefix', metavar = 'PREFIX',
 -                       help = 'add PREFIX to the [... PATCH ...] prefix'),
 -           make_option('-t', '--template', metavar = 'FILE',
 -                       help = 'use FILE as the message template'),
 -           make_option('-c', '--cover', metavar = 'FILE',
 -                       help = 'send FILE as the cover message'),
 -           make_option('-e', '--edit-cover',
 -                       help = 'edit the cover message before sending',
 -                       action = 'store_true'),
 -           make_option('-E', '--edit-patches',
 -                       help = 'edit each patch before sending',
 -                       action = 'store_true'),
 -           make_option('-s', '--sleep', type = 'int', metavar = 'SECONDS',
 -                       help = 'sleep for SECONDS between e-mails sending'),
 -           make_option('--refid',
 -                       help = 'use REFID as the reference id'),
 -           make_option('--smtp-server', metavar = 'HOST[:PORT]',
 -                       help = 'SMTP server to use for sending mail'),
 -           make_option('-u', '--smtp-user', metavar = 'USER',
 -                       help = 'username for SMTP authentication'),
 -           make_option('-p', '--smtp-password', metavar = 'PASSWORD',
 -                       help = 'username for SMTP authentication'),
 -           make_option('-T', '--smtp-tls',
 -                       help = 'use SMTP with TLS encryption',
 -                       action = 'store_true'),
 -           make_option('-b', '--branch',
 -                       help = 'use BRANCH instead of the default one'),
 -           make_option('-O', '--diff-opts',
 -                       help = 'options to pass to git diff'),
 -           make_option('-m', '--mbox',
 -                       help = 'generate an mbox file instead of sending',
 -                       action = 'store_true')]
 -
 +args = [argparse.patch_range(argparse.applied_patches,
 +                             argparse.unapplied_patches,
 +                             argparse.hidden_patches)]
 +options = [
 +    opt('-a', '--all', action = 'store_true',
 +        short = 'E-mail all the applied patches'),
 +    opt('--to', action = 'append',
 +        short = 'Add TO to the To: list'),
 +    opt('--cc', action = 'append',
 +        short = 'Add CC to the Cc: list'),
 +    opt('--bcc', action = 'append',
 +        short = 'Add BCC to the Bcc: list'),
 +    opt('--auto', action = 'store_true',
 +        short = 'Automatically cc the patch signers'),
 +    opt('--noreply', action = 'store_true',
 +        short = 'Do not send subsequent messages as replies'),
 +    opt('--unrelated', action = 'store_true',
 +        short = 'Send patches without sequence numbering'),
 +    opt('--attach', action = 'store_true',
 +        short = 'Send a patch as attachment'),
 +    opt('-v', '--version', metavar = 'VERSION',
 +        short = 'Add VERSION to the [PATCH ...] prefix'),
 +    opt('--prefix', metavar = 'PREFIX',
 +        short = 'Add PREFIX to the [... PATCH ...] prefix'),
 +    opt('-t', '--template', metavar = 'FILE',
 +        short = 'Use FILE as the message template'),
 +    opt('-c', '--cover', metavar = 'FILE',
 +        short = 'Send FILE as the cover message'),
 +    opt('-e', '--edit-cover', action = 'store_true',
 +        short = 'Edit the cover message before sending'),
 +    opt('-E', '--edit-patches', action = 'store_true',
 +        short = 'Edit each patch before sending'),
 +    opt('-s', '--sleep', type = 'int', metavar = 'SECONDS',
 +        short = 'Sleep for SECONDS between e-mails sending'),
 +    opt('--refid',
 +        short = 'Use REFID as the reference id'),
 +    opt('--smtp-server', metavar = 'HOST[:PORT] or "/path/to/sendmail -t -i"',
 +        short = 'SMTP server or command to use for sending mail'),
 +    opt('-u', '--smtp-user', metavar = 'USER',
 +        short = 'Username for SMTP authentication'),
 +    opt('-p', '--smtp-password', metavar = 'PASSWORD',
 +        short = 'Password for SMTP authentication'),
 +    opt('-T', '--smtp-tls', action = 'store_true',
 +        short = 'Use SMTP with TLS encryption'),
 +    opt('-b', '--branch', args = [argparse.stg_branches],
 +        short = 'Use BRANCH instead of the default branch'),
 +    opt('-m', '--mbox', action = 'store_true',
 +        short = 'Generate an mbox file instead of sending')
 +    ] + argparse.diff_opts_option()
 +
 +directory = DirectoryHasRepository(log = False)
  
  def __get_sender():
      """Return the 'authname <authemail>' string as read from the
          try:
              sender = str(git.user())
          except git.GitException:
 -            sender = str(git.author())
 -
 +            try:
 +                sender = str(git.author())
 +            except git.GitException:
 +                pass
      if not sender:
 -        raise CmdException, 'unknown sender details'
 +        raise CmdException, ('Unknown sender name and e-mail; you should'
 +                             ' for example set git config user.name and'
 +                             ' user.email')
 +    sender = email.Utils.parseaddr(sender)
 +
 +    return email.Utils.formataddr(address_or_alias(sender))
  
 -    return address_or_alias(sender)
 +def __addr_list(msg, header):
 +    return [addr for name, addr in
 +            email.Utils.getaddresses(msg.get_all(header, []))]
  
  def __parse_addresses(msg):
      """Return a two elements tuple: (from, [to])
      """
 -    def __addr_list(msg, header):
 -        return [name_addr[1] for name_addr in
 -                email.Utils.getaddresses(msg.get_all(header, []))]
 -
      from_addr_list = __addr_list(msg, 'From')
      if len(from_addr_list) == 0:
          raise CmdException, 'No "From" address'
      if len(to_addr_list) == 0:
          raise CmdException, 'No "To/Cc/Bcc" addresses'
  
 -    return (from_addr_list[0], to_addr_list)
 +    return (from_addr_list[0], set(to_addr_list))
 +
 +def __send_message_sendmail(sendmail, msg):
 +    """Send the message using the sendmail command.
 +    """
 +    cmd = sendmail.split()
 +    Run(*cmd).raw_input(msg).discard_output()
  
 -def __send_message(smtpserver, from_addr, to_addr_list, msg, sleep,
 -                   smtpuser, smtppassword, use_tls):
 +def __send_message_smtp(smtpserver, from_addr, to_addr_list, msg,
 +                        smtpuser, smtppassword, use_tls):
      """Send the message using the given SMTP server
      """
      try:
          result = s.sendmail(from_addr, to_addr_list, msg)
          if len(result):
              print "mail server refused delivery for the following recipients: %s" % result
 -        # give recipients a chance of receiving patches in the correct order
 -        time.sleep(sleep)
      except Exception, err:
          raise CmdException, str(err)
  
      s.quit()
  
 +def __send_message(smtpserver, from_addr, to_addr_list, msg,
 +                   sleep, smtpuser, smtppassword, use_tls):
 +    """Message sending dispatcher.
 +    """
 +    if smtpserver.startswith('/'):
 +        # Use the sendmail tool
 +        __send_message_sendmail(smtpserver, msg)
 +    else:
 +        # Use the SMTP server (we have host and port information)
 +        __send_message_smtp(smtpserver, from_addr, to_addr_list, msg,
 +                            smtpuser, smtppassword, use_tls)
 +    # give recipients a chance of receiving patches in the correct order
 +    time.sleep(sleep)
 +
  def __build_address_headers(msg, options, extra_cc = []):
      """Build the address headers and check existing headers in the
      template.
      """
 -    def __replace_header(header, addr):
 -        if addr:
 -            crt_addr = msg[header]
 -            del msg[header]
 -
 -            if crt_addr:
 -                msg[header] = address_or_alias(', '.join([crt_addr, addr]))
 -            else:
 -                msg[header] = address_or_alias(addr)
 +    def __addr_pairs(msg, header, extra):
 +        pairs = email.Utils.getaddresses(msg.get_all(header, []) + extra)
 +        # remove pairs without an address and resolve the aliases
 +        return [address_or_alias(p) for p in pairs if p[1]]
 +
 +    def __update_header(header, addr = '', ignore = ()):
 +        addr_pairs = __addr_pairs(msg, header, [addr])
 +        del msg[header]
 +        # remove the duplicates and filter the addresses
 +        addr_dict = dict((addr, email.Utils.formataddr((name, addr)))
 +                         for name, addr in addr_pairs if addr not in ignore)
 +        if addr_dict:
 +            msg[header] = ', '.join(addr_dict.itervalues())
 +        return set(addr_dict.iterkeys())
  
      to_addr = ''
      cc_addr = ''
 +    extra_cc_addr = ''
      bcc_addr = ''
  
      autobcc = config.get('stgit.autobcc') or ''
      if options.to:
          to_addr = ', '.join(options.to)
      if options.cc:
 -        cc_addr = ', '.join(options.cc + extra_cc)
 -        cc_addr = ', '.join(options.cc + extra_cc)
 -    elif extra_cc:
 -        cc_addr = ', '.join(extra_cc)
 +        cc_addr = ', '.join(options.cc)
 +    if extra_cc:
 +        extra_cc_addr = ', '.join(extra_cc)
      if options.bcc:
          bcc_addr = ', '.join(options.bcc + [autobcc])
      elif autobcc:
          bcc_addr = autobcc
  
 -    __replace_header('To', to_addr)
 -    __replace_header('Cc', cc_addr)
 -    __replace_header('Bcc', bcc_addr)
 +    # if an address is on a header, ignore it from the rest
 +    to_set = __update_header('To', to_addr)
 +    cc_set = __update_header('Cc', cc_addr, to_set)
 +    bcc_set = __update_header('Bcc', bcc_addr, to_set.union(cc_set))
 +
 +    # --auto generated addresses, don't include the sender
 +    from_set = __update_header('From')
 +    __update_header('Cc', extra_cc_addr, to_set.union(bcc_set).union(from_set))
 +
 +    # update other address headers
 +    __update_header('Reply-To')
 +    __update_header('Mail-Reply-To')
 +    __update_header('Mail-Followup-To')
  
  def __get_signers_list(msg):
      """Return the address list generated from signed-off-by and
      acked-by lines in the message.
      """
      addr_list = []
 -
 -    r = re.compile('^(signed-off-by|acked-by|cc):\s+(.+)$', re.I)
 +    tags = '%s|%s|%s|%s|%s|%s|%s' % (
 +            'signed-off-by',
 +            'acked-by',
 +            'cc',
 +            'reviewed-by',
 +            'reported-by',
 +            'tested-by',
 +            'reported-and-tested-by')
 +    regex = '^(%s):\s+(.+)$' % tags
 +
 +    r = re.compile(regex, re.I)
      for line in msg.split('\n'):
          m = r.match(line)
          if m:
@@@ -317,7 -276,7 +317,7 @@@ def __build_extra_headers(msg, msg_id, 
          ref_id = '<%s>' % ref_id.strip(' \t\n<>')
          msg['In-Reply-To'] = ref_id
          msg['References'] = ref_id
 -    msg['User-Agent'] = 'StGIT/%s' % version.version
 +    msg['User-Agent'] = 'StGit/%s' % version.version
  
  def __encode_message(msg):
      # 7 or 8 bit encoding
@@@ -388,6 -347,11 +388,6 @@@ def __build_cover(tmpl, patches, msg_id
      else:
          number_str = ''
  
 -    if options.diff_opts:
 -        diff_flags = options.diff_opts.split()
 -    else:
 -        diff_flags = []
 -
      tmpl_dict = {'sender':       sender,
                   # for backward template compatibility
                   'maintainer':   sender,
                   'number':       number_str,
                   'shortlog':     stack.shortlog(crt_series.get_patch(p)
                                                  for p in patches),
 -                 'diffstat':     git.diffstat(
 -                     rev1 = git_id(crt_series, '%s//bottom' % patches[0]),
 -                     rev2 = git_id(crt_series, '%s//top' % patches[-1]),
 -                     diff_flags = diff_flags)}
 +                 'diffstat':     gitlib.diffstat(git.diff(
 +                     rev1 = git_id(crt_series, '%s^' % patches[0]),
-                      rev2 = git_id(crt_series, '%s' % patches[-1])))}
++                     rev2 = git_id(crt_series, '%s' % patches[-1]),
++                     diff_flags = options.diff_flags))}
  
      try:
          msg_string = tmpl % tmpl_dict
@@@ -443,8 -408,8 +444,8 @@@ def __build_message(tmpl, patch, patch_
          options.edit_patches = True
  
      descr_lines = descr.split('\n')
 -    short_descr = descr_lines[0].rstrip()
 -    long_descr = '\n'.join(descr_lines[1:]).lstrip()
 +    short_descr = descr_lines[0].strip()
 +    long_descr = '\n'.join(l.rstrip() for l in descr_lines[1:]).lstrip('\n')
  
      authname = p.get_authname();
      authemail = p.get_authemail();
              prefix_str = confprefix + ' '
          else:
              prefix_str = ''
 -        
 -    if options.diff_opts:
 -        diff_flags = options.diff_opts.split()
 -    else:
 -        diff_flags = []
  
      total_nr_str = str(total_nr)
      patch_nr_str = str(patch_nr).zfill(len(total_nr_str))
      else:
          number_str = ''
  
 +    diff = git.diff(rev1 = git_id(crt_series, '%s^' % patch),
 +                    rev2 = git_id(crt_series, '%s' % patch),
 +                    diff_flags = options.diff_flags)
      tmpl_dict = {'patch':        patch,
                   'sender':       sender,
                   # for backward template compatibility
                   'longdescr':    long_descr,
                   # for backward template compatibility
                   'endofheaders': '',
 -                 'diff':         git.diff(
 -                     rev1 = git_id(crt_series, '%s//bottom' % patch),
 -                     rev2 = git_id(crt_series, '%s//top' % patch),
 -                     diff_flags = diff_flags),
 -                 'diffstat':     git.diffstat(
 -                     rev1 = git_id(crt_series, '%s//bottom'%patch),
 -                     rev2 = git_id(crt_series, '%s//top' % patch),
 -                     diff_flags = diff_flags),
 +                 'diff':         diff,
 +                 'diffstat':     gitlib.diffstat(diff),
                   # for backward template compatibility
                   'date':         '',
                   'version':      version_str,
@@@ -556,9 -529,6 +557,9 @@@ def func(parser, options, args)
      else:
          raise CmdException, 'Incorrect options. Unknown patches to send'
  
 +    # early test for sender identity
 +    __get_sender()
 +
      out.start('Checking the validity of the patches')
      for p in patches:
          if crt_series.empty_patch(p):