chiark - git - mdw - sod/blob - src/lexer-impl.lisp

   1 ;;; -*-lisp-*-
   2 ;;;
   3 ;;; Implementation of lexical analysis protocol.
   4 ;;;
   5 ;;; (c) 2009 Straylight/Edgeware
   6 ;;;
   7
   8 ;;;----- Licensing notice ---------------------------------------------------
   9 ;;;
  10 ;;; This file is part of the Sensble Object Design, an object system for C.
  11 ;;;
  12 ;;; SOD is free software; you can redistribute it and/or modify
  13 ;;; it under the terms of the GNU General Public License as published by
  14 ;;; the Free Software Foundation; either version 2 of the License, or
  15 ;;; (at your option) any later version.
  16 ;;;
  17 ;;; SOD is distributed in the hope that it will be useful,
  18 ;;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  19 ;;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20 ;;; GNU General Public License for more details.
  21 ;;;
  22 ;;; You should have received a copy of the GNU General Public License
  23 ;;; along with SOD; if not, write to the Free Software Foundation,
  24 ;;; Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  25
  26 (cl:in-package #:sod)
  27
  28 ;;;--------------------------------------------------------------------------
  29 ;;; Class implementation.
  30
  31 (defmethod shared-initialize :after
  32     ((scanner sod-token-scanner) slot-names &key)
  33   (default-slot (scanner 'sod-parser::filename slot-names)
  34     (scanner-filename (token-scanner-char-scanner scanner))))
  35
  36 (defmethod make-scanner-stream ((scanner sod-token-scanner))
  37   (make-scanner-stream (token-scanner-char-scanner scanner)))
  38
  39 ;;;--------------------------------------------------------------------------
  40 ;;; Indicators and error messages.
  41
  42 (defun show-char (stream char &optional colonp atsignp)
  43   "Format CHAR to STREAM in a readable way.
  44
  45    Usable in `format''s ~/.../ command."
  46   (declare (ignore colonp atsignp))
  47   (cond ((null char) (write-string "<eof>" stream))
  48         ((and (graphic-char-p char) (char/= char #\space))
  49          (format stream "`~C'" char))
  50         (t (format stream "<~(~:C~)>" char))))
  51
  52 (defun skip-until (scanner token-types &key keep-end)
  53   "This is the implementation of the `skip-until' parser."
  54   (do ((consumedp nil t))
  55       ((member (token-type scanner) token-types)
  56        (unless keep-end (scanner-step scanner))
  57        (values nil t (or keep-end consumedp)))
  58     (when (scanner-at-eof-p scanner)
  59       (return (values token-types nil consumedp)))
  60     (scanner-step scanner)))
  61
  62 (defun parse-error-recover (scanner parser recover)
  63   "This is the implementation of the `error' parser."
  64   (multiple-value-bind (result win consumedp) (funcall parser)
  65     (cond ((or win (and (not consumedp) (scanner-at-eof-p scanner)))
  66            ;; If we succeeded then there's nothing for us to do here.  On the
  67            ;; other hand, if we failed, didn't consume any tokens, and we're
  68            ;; at end-of-file, then there's not much hope of making onward
  69            ;; progress, so in this case we propagate the failure rather than
  70            ;; trying to recover.  And we assume that the continuation will
  71            ;; somehow arrange to report the problem, and avoid inundating the
  72            ;; user with error reports.
  73            (values result win consumedp))
  74           (t
  75            ;; Now we have to do some kind of sensible error recovery.  The
  76            ;; important thing to do here is to make sure that we make some
  77            ;; progress.  If we consumed any tokens then we're fine, and we'll
  78            ;; just try the provided recovery strategy.  Otherwise, if we're
  79            ;; not at EOF, then we can ensure progress by discarding the
  80            ;; current token.  Finally, if we are at EOF then our best bet is
  81            ;; simply to propagate the current failure back to the caller, but
  82            ;; we handled that case above.
  83            (syntax-error scanner result :continuep t)
  84            (unless consumedp (scanner-step scanner))
  85            (funcall recover)))))
  86
  87 ;;;--------------------------------------------------------------------------
  88 ;;; Token scanning.
  89
  90 (defmethod scanner-token ((scanner sod-token-scanner))
  91   (with-slots (char-scanner line column) scanner
  92     (with-parser-context (character-scanner-context :scanner char-scanner)
  93
  94       (flet ((scan-digits (&key (radix 10) (min 1) (init 0))
  95                ;; Scan and return a sequence of digits.
  96                (parse (many (acc init (+ (* acc radix) it) :min min)
  97                         (label (list :digit radix)
  98                                (filter (lambda (ch)
  99                                          (digit-char-p ch radix))))))))
 100
 101         ;; Skip initial junk, and remember the place.
 102         (loop
 103           (setf (scanner-line scanner) (scanner-line char-scanner)
 104                 (scanner-column scanner) (scanner-column char-scanner))
 105           (cond-parse (:consumedp cp :expected exp)
 106             ((satisfies whitespace-char-p) (parse :whitespace))
 107             ((scan-comment char-scanner))
 108             (t (if cp (lexer-error char-scanner exp cp) (return)))))
 109
 110         ;; Now parse something.
 111         (cond-parse (:consumedp cp :expected exp)
 112
 113           ;; Alphanumerics mean we read an identifier.
 114           ((or #\_ (satisfies alpha-char-p))
 115            (values :id (with-output-to-string (out)
 116                          (write-char it out)
 117                          (parse (many (nil nil (write-char it out))
 118                                   (or #\_ (satisfies alphanumericp)))))))
 119
 120           ;; Quotes introduce a literal.
 121           ((seq ((quote (or #\" #\'))
 122                  (contents (many (out (make-string-output-stream)
 123                                       (progn (write-char it out) out)
 124                                       :final (get-output-stream-string out))
 125                              (or (and #\\ :any) (not quote))))
 126                  (nil (char quote)))
 127              (ecase quote
 128                (#\" contents)
 129                (#\' (case (length contents)
 130                       (1 (char contents 0))
 131                       (0 (cerror* "Empty character literal") #\?)
 132                       (t (cerror* "Too many characters in literal")
 133                          (char contents 0))))))
 134            (values (etypecase it
 135                      (character :char)
 136                      (string :string))
 137                    it))
 138
 139           ;; Zero introduces a chosen-radix integer.
 140           ((and #\0
 141                 (or (and (or #\b #\B) (scan-digits :radix 2))
 142                     (and (or #\o #\O) (scan-digits :radix 8))
 143                     (and (or #\x #\X) (scan-digits :radix 16))
 144                     (scan-digits :radix 8 :min 0)))
 145            (values :int it))
 146
 147           ;; Any other digit forces radix-10.
 148           ((seq ((d (filter digit-char-p))
 149                  (i (scan-digits :radix 10 :min 0 :init d)))
 150              i)
 151            (values :int it))
 152
 153           ;; Some special punctuation sequences are single tokens.
 154           ("..." (values :ellipsis nil))
 155
 156           ;; Any other character is punctuation.
 157           (:any (values it nil))
 158
 159           ;; End of file means precisely that.
 160           (:eof (values :eof nil))
 161
 162           ;; Report errors and try again.  Because we must have consumed some
 163           ;; input in order to get here (we've matched both :any and :eof) we
 164           ;; must make progress on every call.
 165           (t
 166            (assert cp)
 167            (lexer-error char-scanner exp cp)
 168            (scanner-token scanner)))))))
 169
 170 ;;;----- That's all, folks --------------------------------------------------