Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/parse/parse.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/parse/parse.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 277, Mon May 17 09:13:26 1999 UTC revision 735, Tue Nov 21 12:15:55 2000 UTC
# Line 5  Line 5 
5   *   *
6   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7   *)   *)
8  signature CMPARSE = sig  signature PARSE = sig
9      val parse : AbsPath.t -> CMSemant.group option      val parse : { load_plugin: SrcPath.dir -> string -> bool,
10                      gr: GroupReg.groupreg,
11                      param: GeneralParams.param,
12                      stabflag: bool option,
13                      group: SrcPath.file,
14                      init_group: CMSemant.group,
15                      paranoid: bool }
16            -> (CMSemant.group * GeneralParams.info) option
17        val reset : unit -> unit
18        val listLibs : unit -> SrcPath.file list
19        val dropPickles : unit -> unit
20        val dismissLib : SrcPath.file -> unit
21  end  end
22    
23  structure CMParse :> CMPARSE = struct  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map
24                     val evictStale : unit -> unit
25                     structure StabModmap : STAB_MODMAP
26                     structure Stabilize : STABILIZE) :> PARSE = struct
27    
28        structure VerifyStable = VerStabFn (structure Stabilize = Stabilize)
29    
30      val lookAhead = 30      val lookAhead = 30
31    
32      structure S = GenericVC.Source      structure S = GenericVC.Source
33      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
34      structure SM = GenericVC.SourceMap      structure SM = GenericVC.SourceMap
35      structure P = GenericVC.Control.Print      structure GG = GroupGraph
36        structure DG = DependencyGraph
37    
38      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)
39      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)
# Line 25  Line 42 
42                       structure Lex = CMLex                       structure Lex = CMLex
43                       structure LrParser = LrParser)                       structure LrParser = LrParser)
44    
45      fun parse' (group, groupstack) = let      (* the "stable group cache" *)
46        val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)
47        fun reset () = sgc := SrcPathMap.empty
48    
49        fun majorGC () = SMLofNJ.Internals.GC.doGC 7
50    
51        fun cachedStable (p, ig as GG.GROUP { grouppath, ... }) =
52            if SrcPath.compare (p, grouppath) = EQUAL then SOME ig
53            else SrcPathMap.find (!sgc, p)
54          | cachedStable (_, GG.ERRORGROUP) = NONE
55    
56        (* When an entry A vanishes from the stable cache (this only happens in
57         * paranoid mode), then all the other ones that refer to A must
58         * vasish, too.  They might still be valid themselves, but if they
59         * had been unpickled before A became invalid they will point to
60         * invalid data.  By removing them from the cache we force them to
61         * be re-read and re-unpickled.  This restores sanity. *)
62        fun delCachedStable (p, GG.GROUP { grouppath = igp, ... }) =
63            let val changed = ref true
64                fun canStay GG.ERRORGROUP = true (* doesn't matter *)
65                  | canStay (GG.GROUP { sublibs, ... }) = let
66                        fun goodSublib (p, gth, _) =
67                            case gth () of
68                                GG.GROUP { kind = GG.LIB { kind = GG.STABLE _,
69                                                           ... }, ... } =>
70                                SrcPath.compare (p, igp) = EQUAL orelse
71                                SrcPathMap.inDomain (!sgc, p)
72                              | _ => true
73                        val cs = List.all goodSublib sublibs
74                    in
75                        if cs then () else changed := true;
76                        cs
77                    end
78            in
79                (sgc := #1 (SrcPathMap.remove (!sgc, p)))
80                handle LibBase.NotFound => ();
81                while !changed do
82                   (changed := false; sgc := SrcPathMap.filter canStay (!sgc))
83            end
84          | delCachedStable (_, GG.ERRORGROUP) = ()
85    
86          val currentDir = AbsPath.dir group      fun listLibs () = map #1 (SrcPathMap.listItemsi (!sgc))
         val context = AbsPath.relativeContext (AbsPath.dir group)  
         val filename = AbsPath.name group  
         val _ = Say.vsay (concat ["[scanning ", filename, "]\n"])  
         val stream = TextIO.openIn filename  
         val errcons =  
             { linewidth = !P.linewidth, flush = P.flush, consumer = P.say }  
         val source = S.newSource (filename, 1, stream, false, errcons)  
         val sourceMap = #sourceMap source  
         fun error' region m b = EM.error source region EM.COMPLAIN m b  
         fun error region m = error' region m EM.nullErrorBody  
87    
88          (* recParse returns a group (not an option)      fun dropPickles () = let
89           * and re-raises LrParser.ParseError.          fun drop (GG.GROUP { kind = GG.LIB { kind = GG.STABLE dropper,
90           * This exception will be handled by the surrounding                                               ... }, ... }) = dropper ()
91           * call to parse.            | drop _ = ()
92           * This function is used to parse aliases and sub-groups. *)      in
93          fun recParse (p1, p2) p =          SrcPathMap.app drop (!sgc)
94              case parse' (p, (group, (source, p1, p2)) :: groupstack) of      end
95                  NONE => (#anyErrors source := true; CMSemant.emptyGroup)  
96                | SOME res => res      fun dismissLib l =
97            (StabModmap.reset ();
98             sgc := #1 (SrcPathMap.remove (!sgc, l)))
99            handle LibBase.NotFound => ()
100    
101        fun parse args = let
102            val { load_plugin, gr, param, stabflag, group,
103                  init_group, paranoid } = args
104    
105            val { grouppath = init_gname, ... } =
106                case init_group of
107                    GG.GROUP x => x
108                  | GG.ERRORGROUP =>
109                    EM.impossible "parse.sml: parse: bad init group"
110    
111            val stabthis = isSome stabflag
112            val staball = stabflag = SOME true
113    
114            val groupreg = gr
115            val errcons = EM.defaultConsumer ()
116            val youngest = ref TStamp.ancient
117            val ginfo0 = { param = param, groupreg = groupreg,
118                           errcons = errcons, youngest = youngest }
119            val keep_going = #keep_going param
120    
121            (* The "group cache" -- we store "group options";  having
122             * NONE registered for a group means that a previous attempt
123             * to parse it had failed.
124             * This registry is primed with the "init" group because it is
125             * "special" and cannot be parsed directly. *)
126            val gc = ref (SrcPathMap.singleton (init_gname, SOME init_group))
127    
128            val em = ref StableMap.empty
129    
130            fun update_em (GG.GROUP ns_g, GG.GROUP s_g) =
131                let val s_e = #exports s_g
132                    fun add (sy, (snth, _, _)) =
133                        case snth () of
134                            (_ , DG.SB_SNODE (DG.SNODE sn)) =>
135                            (case SymbolMap.find (s_e, sy) of
136                                 NONE => ()
137                               | SOME (bnth, _, _) =>
138                                 (case bnth () of
139                                      (_, DG.SB_BNODE (DG.BNODE bn, _)) =>
140                                      em := StableMap.insert (!em, #bininfo bn,
141                                                              #smlinfo sn)
142                                    | _ => ()))
143                          | _ => ()
144                in
145                    SymbolMap.appi add (#exports ns_g)
146                end
147              | update_em _ = ()
148    
149          fun doMember (p, p1, p2, c, e) =          fun registerNewStable (p, g) =
150              CMSemant.member (recParse (p1, p2))              (sgc := SrcPathMap.insert (!sgc, p, g);
151                              { sourcepath = p,               SrcPathSet.app (SmlInfo.cleanGroup true) (Reachable.groupsOf g);
152                                group = group,               evictStale ();
153                                class = c,               (gc := #1 (SrcPathMap.remove (!gc, p));
154                                error = e }                (* ... and for good measure, do a major GC... *)
155                  majorGC ())
156                 handle LibBase.NotFound => ())
157    
158            fun hasCycle (group, groupstack) = let
159          (* checking for cycles among groups and printing them nicely *)          (* checking for cycles among groups and printing them nicely *)
         val _ = let  
160              fun findCycle ([], _) = []              fun findCycle ([], _) = []
161                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =
162                  if AbsPath.compare (g, group) = EQUAL then rev (h :: cyc)                  if SrcPath.compare (g, group) = EQUAL then rev (h :: cyc)
163                  else findCycle (t, h :: cyc)                  else findCycle (t, h :: cyc)
164              fun report ((g, (s, p1, p2)), hist) = let              fun report ((g, (s, p1, p2)), hist) = let
165                  fun pphist pps = let                  fun pphist pps = let
# Line 68  Line 167 
167                        | loop (g0, (g, (s, p1, p2)) :: t) = let                        | loop (g0, (g, (s, p1, p2)) :: t) = let
168                              val s = EM.matchErrorString s (p1, p2)                              val s = EM.matchErrorString s (p1, p2)
169                          in                          in
                             PrettyPrint.add_string pps s;  
                             PrettyPrint.add_string pps ": ";  
                             PrettyPrint.add_string pps (AbsPath.spec g0);  
170                              PrettyPrint.add_newline pps;                              PrettyPrint.add_newline pps;
171                                PrettyPrint.add_string pps s;
172                                PrettyPrint.add_string pps ": importing ";
173                                PrettyPrint.add_string pps (SrcPath.descr g0);
174                              loop (g, t)                              loop (g, t)
175                          end                          end
176                  in                  in
                     PrettyPrint.add_newline pps;  
177                      loop (g, hist)                      loop (g, hist)
178                  end                  end
179              in              in
180                  EM.error s (p1, p2) EM.COMPLAIN                  EM.error s (p1, p2) EM.COMPLAIN
181                     ("group hierarchy forms a cycle with " ^ AbsPath.spec group)                             ("group hierarchy forms a cycle with " ^
182                     pphist;                              SrcPath.descr group)
183                  raise LrParser.ParseError                             pphist
184              end              end
185          in          in
186              case findCycle (groupstack, []) of              case findCycle (groupstack, []) of
187                  [] => ()                  h :: t => (report (h, t); true)
188                | h :: t => report (h, t)                | [] => false
189            end
190    
191            fun mparse args = let
192                val (group, vers, groupstack, pErrFlag, stabthis, curlib,
193                     ginfo, rb) = args
194                fun getStable stablestack (ginfo, gpath, vers, rb) = let
195                    (* This is a separate "findCycle" routine that detects
196                     * cycles among stable libraries.  These cycles should
197                     * never occur unless someone purposefully renames
198                     * stable library files in a bad way. *)
199                    fun findCycle ([], _) = NONE
200                      | findCycle (h :: t, cyc) =
201                        if SrcPath.compare (h, gpath) = EQUAL then SOME (h :: cyc)
202                        else findCycle (t, h :: cyc)
203                    fun report cyc = let
204                        fun pphist pps = let
205                            fun loop [] = ()
206                              | loop (h :: t) =
207                                (PrettyPrint.add_newline pps;
208                                 PrettyPrint.add_string pps (SrcPath.descr h);
209                                 loop t)
210                        in
211                            loop (rev cyc)
212                        end
213                    in
214                        EM.errorNoFile (errcons, pErrFlag) SM.nullRegion
215                          EM.COMPLAIN
216                          ("stable libraries form a cycle with " ^
217                           SrcPath.descr gpath)
218                          pphist
219                    end
220                    fun load () = let
221                        val go = Stabilize.loadStable
222                            { getGroup = getStable (gpath :: stablestack),
223                              anyerrors = pErrFlag }
224                            (ginfo, gpath, vers, rb)
225                    in
226                        case go of
227                            NONE => NONE
228                          | SOME g =>
229                                (registerNewStable (gpath, g);
230                                 Say.vsay ["[library ", SrcPath.descr gpath,
231                                           " is stable]\n"];
232                                 SOME g)
233                    end
234                in
235                    case findCycle (stablestack, []) of
236                        NONE => (case cachedStable (gpath, init_group) of
237                                     SOME g => SOME g
238                                   | NONE => load ())
239                      | SOME cyc => (report cyc; NONE)
240          end          end
241    
242                fun stabilize NONE = NONE
243                  | stabilize (SOME g) =
244                    (case g of
245                         GG.ERRORGROUP => NONE
246                       | GG.GROUP { kind = GG.LIB _, ... } => let
247                             val go = Stabilize.stabilize ginfo
248                                 { group = g, anyerrors = pErrFlag }
249                         in
250                             case go of
251                                 NONE => NONE
252                               | SOME g' =>
253                                     (registerNewStable (group, g'); SOME g')
254                         end
255                       | _ => SOME g)
256            in
257                case SrcPathMap.find (!gc, group) of
258                    SOME gopt => gopt
259                  | NONE => let
260                        fun try_s () = getStable [] (ginfo, group, vers, rb)
261                        fun try_n () =
262                            parse' (group, groupstack, pErrFlag, curlib, ginfo, rb)
263                        fun reg gopt =
264                            (gc := SrcPathMap.insert (!gc, group, gopt); gopt)
265                        fun proc_n gopt =
266                            reg (if stabthis then stabilize gopt
267                                 else (SmlInfo.cleanGroup false group; gopt))
268                    in
269                        if paranoid then
270                            case try_n () of
271                                NONE => reg NONE
272                              | SOME g => let
273                                    val gopt' =
274                                        if VerifyStable.verify ginfo (!em) g then
275                                            reg (case try_s () of
276                                                     NONE => SOME g
277                                                   | SOME g' => SOME g')
278                                        else (delCachedStable (group, init_group);
279                                              proc_n (SOME g))
280                                in
281                                    case gopt' of
282                                        NONE => NONE
283                                      | SOME g' => (update_em (g, g'); SOME g')
284                                end
285                        else case try_s () of
286                            SOME g => reg (SOME g)
287                          | NONE => proc_n (try_n ())
288                    end
289            end
290    
291            (* Parse' is used when we are sure that we don't want to load
292             * a stable library. *)
293            and parse' (group, groupstack, pErrFlag, curlib, ginfo, rb) = let
294    
295                val ginfo = GeneralParams.bind ginfo rb
296    
297                (* normal processing -- used when there is no cycle to report *)
298                fun normal_processing () = let
299                    val _ = Say.vsay ["[scanning ", SrcPath.descr group, "]\n"]
300    
301                    val context = SrcPath.dir group
302                    val local_registry = CMSemant.newToolRegistry ()
303    
304                    fun work stream = let
305                        val source =
306                            S.newSource (SrcPath.osstring group,
307                                         1, stream, false, errcons)
308                        val sourceMap = #sourceMap source
309                        val _ = GroupReg.register groupreg (group, source)
310    
311                        (* We can hard-wire the source into this
312                         * error function because the function is only for
313                         * immediate use and doesn't get stored into persistent
314                         * data structures. *)
315                        fun error r m =
316                            EM.error source r EM.COMPLAIN m EM.nullErrorBody
317                        fun obsolete r =
318                            if #get StdConfig.warn_obsolete () then
319                                EM.error source r EM.WARN
320                                  "old-style operator (obsolete)" EM.nullErrorBody
321                            else ()
322    
323                        (* recParse returns a group (not an option).
324                         * This function is used to parse sub-groups.
325                         * Errors are propagated by explicitly setting the
326                         * "anyErrors" flag of the parent group. *)
327                        fun recParse (p1, p2) curlib (p, v, rb) = let
328                            val gs' = (group, (source, p1, p2)) :: groupstack
329                            (* my error flag *)
330                            val mef = #anyErrors source
331                        in
332                            (* unless we are in keep-going mode we do no further
333                             * recursive traversals once there was an error on
334                             * this group. *)
335                            if !mef andalso not keep_going then GG.ERRORGROUP
336                            else case mparse (p, v, gs', mef, staball,
337                                              curlib, ginfo, rb) of
338                                     NONE => (mef := true; GG.ERRORGROUP)
339                                   | SOME res => res
340                        end
341                        handle exn as IO.Io _ =>
342                            (error (p1, p2) (General.exnMessage exn);
343                             GG.ERRORGROUP)
344    
345                        fun doMember ({ name, mkpath }, p1, p2, c, oto) =
346                            CMSemant.member { gp = ginfo,
347                                              rparse = recParse (p1, p2),
348                                              load_plugin = load_plugin }
349                                            { name = name, mkpath = mkpath,
350                                              class = c, tooloptions = oto,
351                                              group = (group, (p1, p2)),
352                                              local_registry = local_registry,
353                                              context = context }
354    
355                        (* Build the argument for the lexer; the lexer's local
356                         * state is encapsulated here to make sure the parser
357                         * is re-entrant. *)
358          val lexarg = let          val lexarg = let
359              (* local state *)              (* local state *)
360              val depth = ref 0              val depth = ref 0
361              val curstring = ref []              val curstring = ref []
362              val startpos = ref 0              val startpos = ref 0
363              val instring = ref NONE                          val instring = ref false
364              (* handling comments *)              (* handling comments *)
365              fun enterC () = depth := !depth + 1              fun enterC () = depth := !depth + 1
366              fun leaveC () = let val d = !depth - 1 in depth := d; d = 0 end                          fun leaveC () = let
367                                val d = !depth - 1
368                            in
369                                depth := d;
370                                d = 0
371                            end
372              (* handling strings *)              (* handling strings *)
373              fun newS (pos, kind) =                          fun newS pos =
374                  (instring := SOME kind;                              (instring := true;
375                   curstring := [];                   curstring := [];
376                   startpos := pos)                   startpos := pos)
377              fun addS c = curstring := c :: !curstring              fun addS c = curstring := c :: !curstring
378              fun addSC (s, offs) = addS (chr (ord (String.sub (s, 2)) - offs))                          fun addSC (s, offs) =
379                                addS (chr (ord (String.sub (s, 2)) - offs))
380              fun addSN (s, pos) = let              fun addSN (s, pos) = let
381                  val ns = substring (s, 1, 3)                  val ns = substring (s, 1, 3)
382                  val n = Int.fromString ns                  val n = Int.fromString ns
# Line 116  Line 387 
387                        ("illegal decimal char spec: " ^ ns)                        ("illegal decimal char spec: " ^ ns)
388              end              end
389              fun getS (pos, tok) =              fun getS (pos, tok) =
390                  (instring := NONE;                              (instring := false;
391                   tok (implode (rev (!curstring)), !startpos, pos))                   tok (implode (rev (!curstring)), !startpos, pos))
392              (* handling EOF *)              (* handling EOF *)
393              fun handleEof () = let              fun handleEof () = let
394                  val pos = SM.lastChange sourceMap                  val pos = SM.lastChange sourceMap
395              in              in
396                  if !depth > 0 then                  if !depth > 0 then
                     error (pos, pos) "unexpected end of input in comment"  
                 else if isSome (!instring) then  
397                      error (pos, pos)                      error (pos, pos)
398                       ("unexpected end of input in " ^ valOf (!instring))                                         "unexpected end of input in comment"
399                                else if !instring then
400                                    error (pos, pos)
401                                           "unexpected end of input in string"
402                  else ();                  else ();
403                  pos                  pos
404              end              end
405              (* handling line breaks *)              (* handling line breaks *)
406              fun newline pos = SM.newline sourceMap pos              fun newline pos = SM.newline sourceMap pos
407                            (* handling #line directives *)
408                            fun sync (p, t) = let
409                                fun sep c = c = #"#" orelse Char.isSpace c
410                                fun cvt s = getOpt (Int.fromString s, 0)
411                                fun r (line, col, file) = SM.resynch sourceMap
412                                    (p, { fileName = file,
413                                          line = line, column = col })
414                            in
415                                case String.tokens sep t of
416                                    [_, line] =>
417                                        r (cvt line, NONE, NONE)
418                                  | [_, line, file] =>
419                                        r (cvt line, NONE, SOME file)
420                                  | [_, line, col, file] =>
421                                        r (cvt line, SOME (cvt col), SOME file)
422                                  | _ => error (p, p + size t)
423                                        "illegal #line directive"
424                            end
425          in          in
426              { enterC = enterC,              { enterC = enterC,
427                leaveC = leaveC,                leaveC = leaveC,
# Line 142  Line 432 
432                getS = getS,                getS = getS,
433                handleEof = handleEof,                handleEof = handleEof,
434                newline = newline,                newline = newline,
435                error = error }                            obsolete = obsolete,
436                              error = error,
437                              sync = sync}
438          end          end
439    
440          fun inputc k =                      fun inputc k = TextIO.input stream
             TextIO.input stream  
441    
442          val lexer = CMLex.makeLexer inputc lexarg                      val tokenStream = CMParse.makeLexer inputc lexarg
         val tokenStream = LrParser.Stream.streamify lexer  
443          val (parseResult, _) =          val (parseResult, _) =
444              CMParse.parse (lookAhead, tokenStream,              CMParse.parse (lookAhead, tokenStream,
445                             fn (s,p1,p2) => error (p1, p2) s,                             fn (s,p1,p2) => error (p1, p2) s,
446                             (context, error', error, recParse, doMember))                                         (group, context, obsolete, error,
447                                            doMember, curlib, ginfo, init_group))
448      in      in
         TextIO.closeIn stream;  
449          if !(#anyErrors source) then NONE          if !(#anyErrors source) then NONE
450          else SOME parseResult          else SOME parseResult
451      end      end
452                    fun openIt () = TextIO.openIn (SrcPath.osstring group)
453                in
454                    SafeIO.perform { openIt = openIt,
455                                     closeIt = TextIO.closeIn,
456                                     work = work,
457                                     cleanup = fn _ => () }
458                end
459      handle LrParser.ParseError => NONE      handle LrParser.ParseError => NONE
460           | Cycle => NONE          in
461                if hasCycle (group, groupstack) then NONE
462      fun parse group = parse' (group, [])              else normal_processing ()
463            end
464        in
465            SmlInfo.newGeneration ();
466            case mparse (group, NONE, [], ref false, stabthis, NONE, ginfo0, []) of
467                NONE => NONE
468              | SOME g => SOME (g, ginfo0)
469        end
470  end  end

Legend:
Removed from v.277  
changed lines
  Added in v.735

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0