Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/parse/parse.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/parse/parse.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 275, Sat May 15 09:54:52 1999 UTC revision 505, Thu Dec 9 08:24:08 1999 UTC
# Line 5  Line 5 
5   *   *
6   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7   *)   *)
8  signature CMPARSE = sig  signature PARSE = sig
9      val parse : AbsPath.t -> CMSemant.group option      val parse :
10            GroupReg.groupreg option ->
11            GeneralParams.param -> bool option ->
12            SrcPath.t -> (CMSemant.group * GeneralParams.info) option
13        val reset : unit -> unit
14        val listLibs : unit -> SrcPath.t list
15        val dropPickles : unit -> unit
16        val dismissLib : SrcPath.t -> unit
17  end  end
18    
19  structure CMParse :> CMPARSE = struct  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map
20                     structure Stabilize: STABILIZE) :> PARSE = struct
21    
22      val lookAhead = 30      val lookAhead = 30
23    
24      structure S = GenericVC.Source      structure S = GenericVC.Source
25      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
26      structure SM = GenericVC.SourceMap      structure SM = GenericVC.SourceMap
27      structure P = GenericVC.Control.Print      structure GG = GroupGraph
28    
29      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)
30      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)
# Line 25  Line 33 
33                       structure Lex = CMLex                       structure Lex = CMLex
34                       structure LrParser = LrParser)                       structure LrParser = LrParser)
35    
36      fun parse' (group, groupstack) = let      (* the "stable group cache" *)
37        val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)
38          val currentDir = AbsPath.dir group      fun reset () = sgc := SrcPathMap.empty
39          val context = AbsPath.relativeContext (AbsPath.dir group)  
40          val filename = AbsPath.name group      fun listLibs () = map #1 (SrcPathMap.listItemsi (!sgc))
41          val _ = Say.vsay (concat ["[scanning ", filename, "]\n"])  
42          val stream = TextIO.openIn filename      fun dropPickles () = let
43          val errcons =          fun drop (GG.GROUP { kind = GG.STABLELIB dropper, ... }) = dropper ()
44              { linewidth = !P.linewidth, flush = P.flush, consumer = P.say }            | drop _ = ()
45          val source = S.newSource (filename, 1, stream, false, errcons)      in
46          val sourceMap = #sourceMap source          if #get (StdConfig.conserve_memory) () then
47          fun error region m =              SrcPathMap.app drop (!sgc)
48              EM.error source region EM.COMPLAIN m EM.nullErrorBody          else ()
49        end
         (* recParse returns a group (not an option)  
          * and re-raises LrParser.ParseError.  
          * This exception will be handled by the surrounding  
          * call to parse.  
          * This function is used to parse aliases and sub-groups. *)  
         fun recParse (p1, p2) p =  
             case parse' (p, (group, (source, p1, p2)) :: groupstack) of  
                 NONE => (#anyErrors source := true; CMSemant.emptyGroup)  
               | SOME res => res  
50    
51          fun doMember (p, p1, p2, c, e) =      fun dismissLib l =
52              CMSemant.member (recParse (p1, p2)) { sourcepath = p,          (sgc := #1 (SrcPathMap.remove (!sgc, l)))
53                                                    group = group,          handle LibBase.NotFound => ()
54                                                    class = c,  
55                                                    error = e }      fun parse gropt param stabflag group = let
56    
57            val stabthis = isSome stabflag
58            val staball = stabflag = SOME true
59    
60            val groupreg =
61                case gropt of
62                    SOME r => r
63                  | NONE => GroupReg.new ()
64            val errcons = EM.defaultConsumer ()
65            val ginfo = { param = param, groupreg = groupreg, errcons = errcons }
66    
67            (* The "group cache" -- we store "group options";  having
68             * NONE registered for a group means that a previous attempt
69             * to parse it had failed. *)
70            val gc = ref (SrcPathMap.empty: CMSemant.group option SrcPathMap.map)
71    
72            fun hasCycle (group, groupstack) = let
73          (* checking for cycles among groups and printing them nicely *)          (* checking for cycles among groups and printing them nicely *)
         val _ = let  
74              fun findCycle ([], _) = []              fun findCycle ([], _) = []
75                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =
76                  if AbsPath.compare (g, group) = EQUAL then rev (h :: cyc)                  if SrcPath.compare (g, group) = EQUAL then rev (h :: cyc)
77                  else findCycle (t, h :: cyc)                  else findCycle (t, h :: cyc)
78              fun report ((g, (s, p1, p2)), hist) = let              fun report ((g, (s, p1, p2)), hist) = let
79                  fun pphist pps = let                  fun pphist pps = let
# Line 67  Line 81 
81                        | loop (g0, (g, (s, p1, p2)) :: t) = let                        | loop (g0, (g, (s, p1, p2)) :: t) = let
82                              val s = EM.matchErrorString s (p1, p2)                              val s = EM.matchErrorString s (p1, p2)
83                          in                          in
                             PrettyPrint.add_string pps s;  
                             PrettyPrint.add_string pps ": ";  
                             PrettyPrint.add_string pps (AbsPath.spec g0);  
84                              PrettyPrint.add_newline pps;                              PrettyPrint.add_newline pps;
85                                PrettyPrint.add_string pps s;
86                                PrettyPrint.add_string pps ": importing ";
87                                PrettyPrint.add_string pps (SrcPath.specOf g0);
88                              loop (g, t)                              loop (g, t)
89                          end                          end
90                  in                  in
                     PrettyPrint.add_newline pps;  
91                      loop (g, hist)                      loop (g, hist)
92                  end                  end
93              in              in
94                  EM.error s (p1, p2) EM.COMPLAIN                  EM.error s (p1, p2) EM.COMPLAIN
95                     ("group hierarchy forms a cycle with " ^ AbsPath.spec group)                             ("group hierarchy forms a cycle with " ^
96                     pphist;                              SrcPath.specOf group)
97                  raise LrParser.ParseError                             pphist
98              end              end
99          in          in
100              case findCycle (groupstack, []) of              case findCycle (groupstack, []) of
101                  [] => ()                  h :: t => (report (h, t); true)
102                | h :: t => report (h, t)                | [] => false
103          end          end
104    
105            fun mparse (group, groupstack, pErrFlag, stabthis, curlib) = let
106                fun getStable stablestack gpath = let
107                    (* This is a separate "findCycle" routine that detects
108                     * cycles among stable libraries.  These cycles should
109                     * never occur unless someone purposefully renames
110                     * stable library files in a bad way. *)
111                    fun findCycle ([], _) = NONE
112                      | findCycle (h :: t, cyc) =
113                        if SrcPath.compare (h, gpath) = EQUAL then SOME (h :: cyc)
114                        else findCycle (t, h :: cyc)
115                    fun report cyc = let
116                        fun pphist pps = let
117                            fun loop [] = ()
118                              | loop (h :: t) =
119                                (PrettyPrint.add_newline pps;
120                                 PrettyPrint.add_string pps (SrcPath.descr h);
121                                 loop t)
122                        in
123                            loop (rev cyc)
124                        end
125                    in
126                        EM.errorNoFile (errcons, pErrFlag) SM.nullRegion
127                          EM.COMPLAIN
128                          ("stable libraries form a cycle with " ^
129                           SrcPath.descr gpath)
130                          pphist
131                    end
132                    fun load () = let
133                        val go = Stabilize.loadStable ginfo
134                            { getGroup = getStable (gpath :: stablestack),
135                              anyerrors = pErrFlag }
136                            gpath
137                    in
138                        case go of
139                            NONE => NONE
140                          | SOME g =>
141                                (sgc := SrcPathMap.insert (!sgc, gpath, g);
142                                 Say.vsay ["[library ", SrcPath.descr gpath,
143                                           " is stable]\n"];
144                                 SrcPathSet.app SmlInfo.cleanGroup
145                                                (Reachable.groupsOf g);
146                                 SOME g)
147                    end
148                in
149                    case findCycle (stablestack, []) of
150                        NONE => (case SrcPathMap.find (!sgc, gpath) of
151                                     SOME g => SOME g
152                                   | NONE => load ())
153                      | SOME cyc => (report cyc; NONE)
154                end
155            in
156                case getStable [] group of
157                    SOME g => SOME g
158                  | NONE =>
159                        (case SrcPathMap.find (!gc, group) of
160                             SOME gopt => gopt
161                           | NONE => let
162                                 val pres =
163                                     parse' (group, groupstack, pErrFlag,
164                                             stabthis, curlib)
165                             in
166                                 gc := SrcPathMap.insert (!gc, group, pres);
167                                 pres
168                             end)
169            end
170    
171            and parse' (group, groupstack, pErrFlag, stabthis, curlib) = let
172    
173                (* We stabilize libraries only because a stable library will
174                 * encompass the contents of its sub-groups
175                 * (but not sub-libraries!). *)
176                fun stabilize (g as GG.GROUP { kind = GG.NOLIB, ... }) = SOME g
177                  | stabilize g =
178                    Stabilize.stabilize ginfo { group = g, anyerrors = pErrFlag }
179    
180                (* normal processing -- used when there is no cycle to report *)
181                fun normal_processing () = let
182                    val _ = Say.vsay ["[scanning ", SrcPath.descr group, "]\n"]
183    
184                    val context = SrcPath.sameDirContext group
185    
186                    fun work stream = let
187                        val source =
188                            S.newSource (SrcPath.osstring group,
189                                         1, stream, false, errcons)
190                        val sourceMap = #sourceMap source
191                        val _ = GroupReg.register groupreg (group, source)
192    
193                        (* We can hard-wire the source into this
194                         * error function because the function is only for
195                         * immediate use and doesn't get stored into persistent
196                         * data structures. *)
197                        fun error r m =
198                            EM.error source r EM.COMPLAIN m EM.nullErrorBody
199                        fun obsolete r =
200                            if #get StdConfig.warn_obsolete () then
201                                EM.error source r EM.WARN
202                                  "old-style operator (obsolete)" EM.nullErrorBody
203                            else ()
204    
205                        (* recParse returns a group (not an option).
206                         * This function is used to parse sub-groups.
207                         * Errors are propagated by explicitly setting the
208                         * "anyErrors" flag of the parent group. *)
209                        fun recParse (p1, p2) curlib p = let
210                            val gs' = (group, (source, p1, p2)) :: groupstack
211                            val myErrorFlag = #anyErrors source
212                        in
213                            case mparse (p, gs', myErrorFlag, staball, curlib) of
214                                NONE => (myErrorFlag := true;
215                                         CMSemant.emptyGroup group)
216                              | SOME res => res
217                        end
218                        handle exn as IO.Io _ =>
219                            (error (p1, p2) (General.exnMessage exn);
220                             CMSemant.emptyGroup group)
221    
222                        fun doMember ({ name, mkpath }, p1, p2, c) =
223                            CMSemant.member (ginfo, recParse (p1, p2))
224                              { name = name, mkpath = mkpath,
225                                class = c, group = (group, (p1, p2)),
226                                context = context }
227    
228                        (* Build the argument for the lexer; the lexer's local
229                         * state is encapsulated here to make sure the parser
230                         * is re-entrant. *)
231          val lexarg = let          val lexarg = let
232              (* local state *)              (* local state *)
233              val depth = ref 0              val depth = ref 0
234              val curstring = ref []              val curstring = ref []
235              val startpos = ref 0              val startpos = ref 0
236              val instring = ref NONE                          val instring = ref false
237              (* handling comments *)              (* handling comments *)
238              fun enterC () = depth := !depth + 1              fun enterC () = depth := !depth + 1
239              fun leaveC () = let val d = !depth - 1 in depth := d; d = 0 end                          fun leaveC () = let
240                                val d = !depth - 1
241                            in
242                                depth := d;
243                                d = 0
244                            end
245              (* handling strings *)              (* handling strings *)
246              fun newS (pos, kind) =                          fun newS pos =
247                  (instring := SOME kind;                              (instring := true;
248                   curstring := [];                   curstring := [];
249                   startpos := pos)                   startpos := pos)
250              fun addS c = curstring := c :: !curstring              fun addS c = curstring := c :: !curstring
251              fun addSC (s, offs) = addS (chr (ord (String.sub (s, 2)) - offs))                          fun addSC (s, offs) =
252                                addS (chr (ord (String.sub (s, 2)) - offs))
253              fun addSN (s, pos) = let              fun addSN (s, pos) = let
254                  val ns = substring (s, 1, 3)                  val ns = substring (s, 1, 3)
255                  val n = Int.fromString ns                  val n = Int.fromString ns
# Line 115  Line 260 
260                        ("illegal decimal char spec: " ^ ns)                        ("illegal decimal char spec: " ^ ns)
261              end              end
262              fun getS (pos, tok) =              fun getS (pos, tok) =
263                  (instring := NONE;                              (instring := false;
264                   tok (implode (rev (!curstring)), !startpos, pos))                   tok (implode (rev (!curstring)), !startpos, pos))
265              (* handling EOF *)              (* handling EOF *)
266              fun handleEof () = let              fun handleEof () = let
267                  val pos = SM.lastChange sourceMap                  val pos = SM.lastChange sourceMap
268              in              in
269                  if !depth > 0 then                  if !depth > 0 then
                     error (pos, pos) "unexpected end of input in comment"  
                 else if isSome (!instring) then  
270                      error (pos, pos)                      error (pos, pos)
271                       ("unexpected end of input in " ^ valOf (!instring))                                         "unexpected end of input in comment"
272                                else if !instring then
273                                    error (pos, pos)
274                                           "unexpected end of input in string"
275                  else ();                  else ();
276                  pos                  pos
277              end              end
278              (* handling line breaks *)              (* handling line breaks *)
279              fun newline pos = SM.newline sourceMap pos              fun newline pos = SM.newline sourceMap pos
280                            (* handling #line directives *)
281                            fun sync (p, t) = let
282                                fun sep c = c = #"#" orelse Char.isSpace c
283                                fun cvt s = getOpt (Int.fromString s, 0)
284                                fun r (line, col, file) = SM.resynch sourceMap
285                                    (p, { fileName = file,
286                                          line = line, column = col })
287                            in
288                                case String.tokens sep t of
289                                    [_, line] =>
290                                        r (cvt line, NONE, NONE)
291                                  | [_, line, file] =>
292                                        r (cvt line, NONE, SOME file)
293                                  | [_, line, col, file] =>
294                                        r (cvt line, SOME (cvt col), SOME file)
295                                  | _ => error (p, p + size t)
296                                        "illegal #line directive"
297                            end
298          in          in
299              { enterC = enterC,              { enterC = enterC,
300                leaveC = leaveC,                leaveC = leaveC,
# Line 141  Line 305 
305                getS = getS,                getS = getS,
306                handleEof = handleEof,                handleEof = handleEof,
307                newline = newline,                newline = newline,
308                error = error }                            obsolete = obsolete,
309                              error = error,
310                              sync = sync}
311          end          end
312    
313          fun inputc k =                      fun inputc k = TextIO.input stream
             TextIO.input stream  
314    
315          val lexer = CMLex.makeLexer inputc lexarg          val lexer = CMLex.makeLexer inputc lexarg
316          val tokenStream = LrParser.Stream.streamify lexer          val tokenStream = LrParser.Stream.streamify lexer
317          val (parseResult, _) =          val (parseResult, _) =
318              CMParse.parse (lookAhead, tokenStream,              CMParse.parse (lookAhead, tokenStream,
319                             fn (s,p1,p2) => error (p1, p2) s,                             fn (s,p1,p2) => error (p1, p2) s,
320                             (context, error, recParse, doMember))                                         (group, context, obsolete, error,
321                                            doMember, curlib, ginfo))
322      in      in
         TextIO.closeIn stream;  
323          if !(#anyErrors source) then NONE          if !(#anyErrors source) then NONE
324          else SOME parseResult          else SOME parseResult
325      end      end
326                    fun openIt () = TextIO.openIn (SrcPath.osstring group)
327                    val pro =
328                        SafeIO.perform { openIt = openIt,
329                                         closeIt = TextIO.closeIn,
330                                         work = work,
331                                         cleanup = fn _ => () }
332                in
333                    case pro of
334                        NONE => NONE
335                      | SOME pr =>
336                            (SmlInfo.cleanGroup group;
337                             if stabthis then stabilize pr
338                             else SOME pr)
339                end
340      handle LrParser.ParseError => NONE      handle LrParser.ParseError => NONE
341           | Cycle => NONE          in
342                if hasCycle (group, groupstack) then NONE
343      fun parse group = parse' (group, [])              else normal_processing ()
344            end
345        in
346            SmlInfo.newGeneration ();
347            case mparse (group, [], ref false, stabthis, NONE) of
348                NONE => NONE
349              | SOME g => SOME (g, ginfo)
350        end
351  end  end

Legend:
Removed from v.275  
changed lines
  Added in v.505

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0