Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/parse/parse.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/parse/parse.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 277, Mon May 17 09:13:26 1999 UTC revision 578, Tue Mar 14 05:16:29 2000 UTC
# Line 5  Line 5 
5   *   *
6   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7   *)   *)
8  signature CMPARSE = sig  signature PARSE = sig
9      val parse : AbsPath.t -> CMSemant.group option      val parse : { load_plugin: SrcPath.context -> string -> bool,
10                      gr: GroupReg.groupreg,
11                      param: GeneralParams.param,
12                      stabflag: bool option,
13                      group: SrcPath.t,
14                      init_group: CMSemant.group,
15                      paranoid: bool }
16            -> (CMSemant.group * GeneralParams.info) option
17        val reset : unit -> unit
18        val listLibs : unit -> SrcPath.t list
19        val dropPickles : unit -> unit
20        val dismissLib : SrcPath.t -> unit
21  end  end
22    
23  structure CMParse :> CMPARSE = struct  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map
24                     val evictStale : unit -> unit
25                     structure Stabilize: STABILIZE) :> PARSE = struct
26    
27        structure VerifyStable = VerStabFn (structure Stabilize = Stabilize)
28    
29      val lookAhead = 30      val lookAhead = 30
30    
31      structure S = GenericVC.Source      structure S = GenericVC.Source
32      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
33      structure SM = GenericVC.SourceMap      structure SM = GenericVC.SourceMap
34      structure P = GenericVC.Control.Print      structure GG = GroupGraph
35        structure DG = DependencyGraph
36    
37      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)
38      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)
# Line 25  Line 41 
41                       structure Lex = CMLex                       structure Lex = CMLex
42                       structure LrParser = LrParser)                       structure LrParser = LrParser)
43    
44      fun parse' (group, groupstack) = let      (* the "stable group cache" *)
45        val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)
46        fun reset () = sgc := SrcPathMap.empty
47    
48        fun majorGC () = SMLofNJ.Internals.GC.doGC 7
49    
50        fun cachedStable (p, ig as GG.GROUP { grouppath, ... }) =
51            if SrcPath.compare (p, grouppath) = EQUAL then SOME ig
52            else SrcPathMap.find (!sgc, p)
53    
54        (* When an entry A vanishes from the stable cache (this only happens in
55         * paranoid mode), then all the other ones that refer to A must
56         * vasish, too.  They might still be valid themselves, but if they
57         * had been unpickled before A became invalid they will point to
58         * invalid data.  By removing them from the cache we force them to
59         * be re-read and re-unpickled.  This restores sanity. *)
60        fun delCachedStable (p, GG.GROUP { grouppath = igp, ... }) = let
61            val changed = ref true
62            fun canStay (GG.GROUP { sublibs, ... }) = let
63                fun goodSublib (p, GG.GROUP { kind = GG.STABLELIB _, ... }) =
64                    SrcPath.compare (p, igp) = EQUAL orelse
65                    SrcPathMap.inDomain (!sgc, p)
66                  | goodSublib _ = true
67                val cs = List.all goodSublib sublibs
68            in
69                if cs then () else changed := true;
70                cs
71            end
72    
73          val currentDir = AbsPath.dir group      in
74          val context = AbsPath.relativeContext (AbsPath.dir group)          (sgc := #1 (SrcPathMap.remove (!sgc, p)))
75          val filename = AbsPath.name group               handle LibBase.NotFound => ();
76          val _ = Say.vsay (concat ["[scanning ", filename, "]\n"])          while !changed do
77          val stream = TextIO.openIn filename               (changed := false; sgc := SrcPathMap.filter canStay (!sgc))
78          val errcons =      end
             { linewidth = !P.linewidth, flush = P.flush, consumer = P.say }  
         val source = S.newSource (filename, 1, stream, false, errcons)  
         val sourceMap = #sourceMap source  
         fun error' region m b = EM.error source region EM.COMPLAIN m b  
         fun error region m = error' region m EM.nullErrorBody  
79    
80          (* recParse returns a group (not an option)      fun listLibs () = map #1 (SrcPathMap.listItemsi (!sgc))
          * and re-raises LrParser.ParseError.  
          * This exception will be handled by the surrounding  
          * call to parse.  
          * This function is used to parse aliases and sub-groups. *)  
         fun recParse (p1, p2) p =  
             case parse' (p, (group, (source, p1, p2)) :: groupstack) of  
                 NONE => (#anyErrors source := true; CMSemant.emptyGroup)  
               | SOME res => res  
81    
82          fun doMember (p, p1, p2, c, e) =      fun dropPickles () = let
83              CMSemant.member (recParse (p1, p2))          fun drop (GG.GROUP { kind = GG.STABLELIB dropper, ... }) = dropper ()
84                              { sourcepath = p,            | drop _ = ()
85                                group = group,      in
86                                class = c,          SrcPathMap.app drop (!sgc)
87                                error = e }      end
88    
89        fun dismissLib l =
90            (sgc := #1 (SrcPathMap.remove (!sgc, l)))
91            handle LibBase.NotFound => ()
92    
93        fun parse args = let
94            val { load_plugin, gr, param, stabflag, group,
95                  init_group, paranoid } = args
96    
97            val GroupGraph.GROUP { grouppath = init_gname, ... } = init_group
98    
99            val stabthis = isSome stabflag
100            val staball = stabflag = SOME true
101    
102            val groupreg = gr
103            val errcons = EM.defaultConsumer ()
104            val ginfo = { param = param, groupreg = groupreg, errcons = errcons }
105    
106            (* The "group cache" -- we store "group options";  having
107             * NONE registered for a group means that a previous attempt
108             * to parse it had failed.
109             * This registry is primed with the "init" group because it is
110             * "special" and cannot be parsed directly. *)
111            val gc = ref (SrcPathMap.singleton (init_gname, SOME init_group))
112    
113            val em = ref StableMap.empty
114    
115            fun update_em (GG.GROUP ns_g, GG.GROUP s_g) = let
116                val s_e = #exports s_g
117                fun add (sy, ((_ , DG.SB_SNODE (DG.SNODE sn)), _)) =
118                    (case SymbolMap.find (s_e, sy) of
119                         SOME ((_, DG.SB_BNODE (DG.BNODE bn, _)), _) =>
120                             em := StableMap.insert (!em, #bininfo bn, #smlinfo sn)
121                       | _ => ())
122                  | add _ = ()
123            in SymbolMap.appi add (#exports ns_g)
124            end
125    
126            fun registerNewStable (p, g) =
127                (sgc := SrcPathMap.insert (!sgc, p, g);
128                 SrcPathSet.app (SmlInfo.cleanGroup true) (Reachable.groupsOf g);
129                 evictStale ();
130                 (gc := #1 (SrcPathMap.remove (!gc, p));
131                  (* ... and for good measure, do a major GC... *)
132                  majorGC ())
133                 handle LibBase.NotFound => ())
134    
135            fun hasCycle (group, groupstack) = let
136          (* checking for cycles among groups and printing them nicely *)          (* checking for cycles among groups and printing them nicely *)
         val _ = let  
137              fun findCycle ([], _) = []              fun findCycle ([], _) = []
138                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =
139                  if AbsPath.compare (g, group) = EQUAL then rev (h :: cyc)                  if SrcPath.compare (g, group) = EQUAL then rev (h :: cyc)
140                  else findCycle (t, h :: cyc)                  else findCycle (t, h :: cyc)
141              fun report ((g, (s, p1, p2)), hist) = let              fun report ((g, (s, p1, p2)), hist) = let
142                  fun pphist pps = let                  fun pphist pps = let
# Line 68  Line 144 
144                        | loop (g0, (g, (s, p1, p2)) :: t) = let                        | loop (g0, (g, (s, p1, p2)) :: t) = let
145                              val s = EM.matchErrorString s (p1, p2)                              val s = EM.matchErrorString s (p1, p2)
146                          in                          in
                             PrettyPrint.add_string pps s;  
                             PrettyPrint.add_string pps ": ";  
                             PrettyPrint.add_string pps (AbsPath.spec g0);  
147                              PrettyPrint.add_newline pps;                              PrettyPrint.add_newline pps;
148                                PrettyPrint.add_string pps s;
149                                PrettyPrint.add_string pps ": importing ";
150                                PrettyPrint.add_string pps (SrcPath.specOf g0);
151                              loop (g, t)                              loop (g, t)
152                          end                          end
153                  in                  in
                     PrettyPrint.add_newline pps;  
154                      loop (g, hist)                      loop (g, hist)
155                  end                  end
156              in              in
157                  EM.error s (p1, p2) EM.COMPLAIN                  EM.error s (p1, p2) EM.COMPLAIN
158                     ("group hierarchy forms a cycle with " ^ AbsPath.spec group)                             ("group hierarchy forms a cycle with " ^
159                     pphist;                              SrcPath.specOf group)
160                  raise LrParser.ParseError                             pphist
161              end              end
162          in          in
163              case findCycle (groupstack, []) of              case findCycle (groupstack, []) of
164                  [] => ()                  h :: t => (report (h, t); true)
165                | h :: t => report (h, t)                | [] => false
166            end
167    
168            fun mparse (group, groupstack, pErrFlag, stabthis, curlib) = let
169                fun getStable stablestack gpath = let
170                    (* This is a separate "findCycle" routine that detects
171                     * cycles among stable libraries.  These cycles should
172                     * never occur unless someone purposefully renames
173                     * stable library files in a bad way. *)
174                    fun findCycle ([], _) = NONE
175                      | findCycle (h :: t, cyc) =
176                        if SrcPath.compare (h, gpath) = EQUAL then SOME (h :: cyc)
177                        else findCycle (t, h :: cyc)
178                    fun report cyc = let
179                        fun pphist pps = let
180                            fun loop [] = ()
181                              | loop (h :: t) =
182                                (PrettyPrint.add_newline pps;
183                                 PrettyPrint.add_string pps (SrcPath.descr h);
184                                 loop t)
185                        in
186                            loop (rev cyc)
187                        end
188                    in
189                        EM.errorNoFile (errcons, pErrFlag) SM.nullRegion
190                          EM.COMPLAIN
191                          ("stable libraries form a cycle with " ^
192                           SrcPath.descr gpath)
193                          pphist
194                    end
195                    fun load () = let
196                        val go = Stabilize.loadStable ginfo
197                            { getGroup = getStable (gpath :: stablestack),
198                              anyerrors = pErrFlag }
199                            gpath
200                    in
201                        case go of
202                            NONE => NONE
203                          | SOME g =>
204                                (registerNewStable (gpath, g);
205                                 Say.vsay ["[library ", SrcPath.descr gpath,
206                                           " is stable]\n"];
207                                 SOME g)
208                    end
209                in
210                    case findCycle (stablestack, []) of
211                        NONE => (case cachedStable (gpath, init_group) of
212                                     SOME g => SOME g
213                                   | NONE => load ())
214                      | SOME cyc => (report cyc; NONE)
215          end          end
216    
217                fun stabilize NONE = NONE
218                  | stabilize (SOME g) =
219                    (case g of
220                         GG.GROUP { kind = GG.LIB _, ... } => let
221                             val go = Stabilize.stabilize ginfo
222                                 { group = g, anyerrors = pErrFlag }
223                         in
224                             case go of
225                                 NONE => NONE
226                               | SOME g' =>
227                                     (registerNewStable (group, g'); SOME g')
228                         end
229                       | _ => SOME g)
230            in
231                case SrcPathMap.find (!gc, group) of
232                    SOME gopt => gopt
233                  | NONE => let
234                        fun try_s () = getStable [] group
235                        fun try_n () = parse' (group, groupstack, pErrFlag, curlib)
236                        fun reg gopt =
237                            (gc := SrcPathMap.insert (!gc, group, gopt); gopt)
238                        fun proc_n gopt =
239                            reg (if stabthis then stabilize gopt
240                                 else (SmlInfo.cleanGroup false group; gopt))
241                    in
242                        if paranoid then
243                            case try_n () of
244                                NONE => reg NONE
245                              | SOME g => let
246                                    val gopt' =
247                                        if VerifyStable.verify ginfo (!em) g then
248                                            reg (case try_s () of
249                                                     NONE => SOME g
250                                                   | SOME g' => SOME g')
251                                        else (delCachedStable (group, init_group);
252                                              proc_n (SOME g))
253                                in
254                                    case gopt' of
255                                        NONE => NONE
256                                      | SOME g' => (update_em (g, g'); SOME g')
257                                end
258                        else case try_s () of
259                            SOME g => reg (SOME g)
260                          | NONE => proc_n (try_n ())
261                    end
262            end
263    
264            (* Parse' is used when we are sure that we don't want to load
265             * a stable library. *)
266            and parse' (group, groupstack, pErrFlag, curlib) = let
267    
268                (* normal processing -- used when there is no cycle to report *)
269                fun normal_processing () = let
270                    val _ = Say.vsay ["[scanning ", SrcPath.descr group, "]\n"]
271    
272                    val context = SrcPath.sameDirContext group
273    
274                    fun work stream = let
275                        val source =
276                            S.newSource (SrcPath.osstring group,
277                                         1, stream, false, errcons)
278                        val sourceMap = #sourceMap source
279                        val _ = GroupReg.register groupreg (group, source)
280    
281                        (* We can hard-wire the source into this
282                         * error function because the function is only for
283                         * immediate use and doesn't get stored into persistent
284                         * data structures. *)
285                        fun error r m =
286                            EM.error source r EM.COMPLAIN m EM.nullErrorBody
287                        fun obsolete r =
288                            if #get StdConfig.warn_obsolete () then
289                                EM.error source r EM.WARN
290                                  "old-style operator (obsolete)" EM.nullErrorBody
291                            else ()
292    
293                        (* recParse returns a group (not an option).
294                         * This function is used to parse sub-groups.
295                         * Errors are propagated by explicitly setting the
296                         * "anyErrors" flag of the parent group. *)
297                        fun recParse (p1, p2) curlib p = let
298                            val gs' = (group, (source, p1, p2)) :: groupstack
299                            val myErrorFlag = #anyErrors source
300                        in
301                            case mparse (p, gs', myErrorFlag, staball, curlib) of
302                                NONE => (myErrorFlag := true;
303                                         CMSemant.emptyGroup group)
304                              | SOME res => res
305                        end
306                        handle exn as IO.Io _ =>
307                            (error (p1, p2) (General.exnMessage exn);
308                             CMSemant.emptyGroup group)
309    
310                        fun doMember ({ name, mkpath }, p1, p2, c) =
311                            CMSemant.member (ginfo, recParse (p1, p2), load_plugin)
312                              { name = name, mkpath = mkpath,
313                                class = c, group = (group, (p1, p2)),
314                                context = context }
315    
316                        (* Build the argument for the lexer; the lexer's local
317                         * state is encapsulated here to make sure the parser
318                         * is re-entrant. *)
319          val lexarg = let          val lexarg = let
320              (* local state *)              (* local state *)
321              val depth = ref 0              val depth = ref 0
322              val curstring = ref []              val curstring = ref []
323              val startpos = ref 0              val startpos = ref 0
324              val instring = ref NONE                          val instring = ref false
325              (* handling comments *)              (* handling comments *)
326              fun enterC () = depth := !depth + 1              fun enterC () = depth := !depth + 1
327              fun leaveC () = let val d = !depth - 1 in depth := d; d = 0 end                          fun leaveC () = let
328                                val d = !depth - 1
329                            in
330                                depth := d;
331                                d = 0
332                            end
333              (* handling strings *)              (* handling strings *)
334              fun newS (pos, kind) =                          fun newS pos =
335                  (instring := SOME kind;                              (instring := true;
336                   curstring := [];                   curstring := [];
337                   startpos := pos)                   startpos := pos)
338              fun addS c = curstring := c :: !curstring              fun addS c = curstring := c :: !curstring
339              fun addSC (s, offs) = addS (chr (ord (String.sub (s, 2)) - offs))                          fun addSC (s, offs) =
340                                addS (chr (ord (String.sub (s, 2)) - offs))
341              fun addSN (s, pos) = let              fun addSN (s, pos) = let
342                  val ns = substring (s, 1, 3)                  val ns = substring (s, 1, 3)
343                  val n = Int.fromString ns                  val n = Int.fromString ns
# Line 116  Line 348 
348                        ("illegal decimal char spec: " ^ ns)                        ("illegal decimal char spec: " ^ ns)
349              end              end
350              fun getS (pos, tok) =              fun getS (pos, tok) =
351                  (instring := NONE;                              (instring := false;
352                   tok (implode (rev (!curstring)), !startpos, pos))                   tok (implode (rev (!curstring)), !startpos, pos))
353              (* handling EOF *)              (* handling EOF *)
354              fun handleEof () = let              fun handleEof () = let
355                  val pos = SM.lastChange sourceMap                  val pos = SM.lastChange sourceMap
356              in              in
357                  if !depth > 0 then                  if !depth > 0 then
                     error (pos, pos) "unexpected end of input in comment"  
                 else if isSome (!instring) then  
358                      error (pos, pos)                      error (pos, pos)
359                       ("unexpected end of input in " ^ valOf (!instring))                                         "unexpected end of input in comment"
360                                else if !instring then
361                                    error (pos, pos)
362                                           "unexpected end of input in string"
363                  else ();                  else ();
364                  pos                  pos
365              end              end
366              (* handling line breaks *)              (* handling line breaks *)
367              fun newline pos = SM.newline sourceMap pos              fun newline pos = SM.newline sourceMap pos
368                            (* handling #line directives *)
369                            fun sync (p, t) = let
370                                fun sep c = c = #"#" orelse Char.isSpace c
371                                fun cvt s = getOpt (Int.fromString s, 0)
372                                fun r (line, col, file) = SM.resynch sourceMap
373                                    (p, { fileName = file,
374                                          line = line, column = col })
375                            in
376                                case String.tokens sep t of
377                                    [_, line] =>
378                                        r (cvt line, NONE, NONE)
379                                  | [_, line, file] =>
380                                        r (cvt line, NONE, SOME file)
381                                  | [_, line, col, file] =>
382                                        r (cvt line, SOME (cvt col), SOME file)
383                                  | _ => error (p, p + size t)
384                                        "illegal #line directive"
385                            end
386          in          in
387              { enterC = enterC,              { enterC = enterC,
388                leaveC = leaveC,                leaveC = leaveC,
# Line 142  Line 393 
393                getS = getS,                getS = getS,
394                handleEof = handleEof,                handleEof = handleEof,
395                newline = newline,                newline = newline,
396                error = error }                            obsolete = obsolete,
397                              error = error,
398                              sync = sync}
399          end          end
400    
401          fun inputc k =                      fun inputc k = TextIO.input stream
             TextIO.input stream  
402    
403          val lexer = CMLex.makeLexer inputc lexarg          val lexer = CMLex.makeLexer inputc lexarg
404          val tokenStream = LrParser.Stream.streamify lexer          val tokenStream = LrParser.Stream.streamify lexer
405          val (parseResult, _) =          val (parseResult, _) =
406              CMParse.parse (lookAhead, tokenStream,              CMParse.parse (lookAhead, tokenStream,
407                             fn (s,p1,p2) => error (p1, p2) s,                             fn (s,p1,p2) => error (p1, p2) s,
408                             (context, error', error, recParse, doMember))                                         (group, context, obsolete, error,
409                                            doMember, curlib, ginfo, init_group))
410      in      in
         TextIO.closeIn stream;  
411          if !(#anyErrors source) then NONE          if !(#anyErrors source) then NONE
412          else SOME parseResult          else SOME parseResult
413      end      end
414                    fun openIt () = TextIO.openIn (SrcPath.osstring group)
415                in
416                    SafeIO.perform { openIt = openIt,
417                                     closeIt = TextIO.closeIn,
418                                     work = work,
419                                     cleanup = fn _ => () }
420                end
421      handle LrParser.ParseError => NONE      handle LrParser.ParseError => NONE
422           | Cycle => NONE          in
423                if hasCycle (group, groupstack) then NONE
424      fun parse group = parse' (group, [])              else normal_processing ()
425            end
426        in
427            SmlInfo.newGeneration ();
428            case mparse (group, [], ref false, stabthis, NONE) of
429                NONE => NONE
430              | SOME g => SOME (g, ginfo)
431        end
432  end  end

Legend:
Removed from v.277  
changed lines
  Added in v.578

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0