Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/parse/parse.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/parse/parse.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 387, Mon Jul 26 02:44:20 1999 UTC revision 588, Fri Mar 31 09:00:02 2000 UTC
# Line 6  Line 6 
6   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7   *)   *)
8  signature PARSE = sig  signature PARSE = sig
9      val parse :      val parse : { load_plugin: SrcPath.context -> string -> bool,
10          GroupReg.groupreg option ->                    gr: GroupReg.groupreg,
11          GeneralParams.param -> bool option ->                    param: GeneralParams.param,
12          SrcPath.t -> (CMSemant.group * GeneralParams.info) option                    stabflag: bool option,
13                      group: SrcPath.t,
14                      init_group: CMSemant.group,
15                      paranoid: bool }
16            -> (CMSemant.group * GeneralParams.info) option
17      val reset : unit -> unit      val reset : unit -> unit
18        val listLibs : unit -> SrcPath.t list
19        val dropPickles : unit -> unit
20        val dismissLib : SrcPath.t -> unit
21  end  end
22    
23  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map
24                     val evictStale : unit -> unit
25                     structure StabModmap : STAB_MODMAP
26                   structure Stabilize: STABILIZE) :> PARSE = struct                   structure Stabilize: STABILIZE) :> PARSE = struct
27    
28        structure VerifyStable = VerStabFn (structure Stabilize = Stabilize)
29    
30      val lookAhead = 30      val lookAhead = 30
31    
32      structure S = GenericVC.Source      structure S = GenericVC.Source
33      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
34      structure SM = GenericVC.SourceMap      structure SM = GenericVC.SourceMap
35      structure GG = GroupGraph      structure GG = GroupGraph
36        structure DG = DependencyGraph
37    
38      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)
39      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)
# Line 34  Line 46 
46      val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)      val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)
47      fun reset () = sgc := SrcPathMap.empty      fun reset () = sgc := SrcPathMap.empty
48    
49      fun parse gropt param stabflag group = let      fun majorGC () = SMLofNJ.Internals.GC.doGC 7
50    
51        fun cachedStable (p, ig as GG.GROUP { grouppath, ... }) =
52            if SrcPath.compare (p, grouppath) = EQUAL then SOME ig
53            else SrcPathMap.find (!sgc, p)
54          | cachedStable (_, GG.ERRORGROUP) = NONE
55    
56        (* When an entry A vanishes from the stable cache (this only happens in
57         * paranoid mode), then all the other ones that refer to A must
58         * vasish, too.  They might still be valid themselves, but if they
59         * had been unpickled before A became invalid they will point to
60         * invalid data.  By removing them from the cache we force them to
61         * be re-read and re-unpickled.  This restores sanity. *)
62        fun delCachedStable (p, GG.GROUP { grouppath = igp, ... }) =
63            let val changed = ref true
64                fun canStay GG.ERRORGROUP = true (* doesn't matter *)
65                  | canStay (GG.GROUP { sublibs, ... }) = let
66                      fun goodSublib (p, GG.GROUP { kind = GG.STABLELIB _, ... }) =
67                          SrcPath.compare (p, igp) = EQUAL orelse
68                          SrcPathMap.inDomain (!sgc, p)
69                        | goodSublib _ = true
70                      val cs = List.all goodSublib sublibs
71                    in
72                        if cs then () else changed := true;
73                        cs
74                    end
75            in
76                (sgc := #1 (SrcPathMap.remove (!sgc, p)))
77                handle LibBase.NotFound => ();
78                while !changed do
79                   (changed := false; sgc := SrcPathMap.filter canStay (!sgc))
80            end
81          | delCachedStable (_, GG.ERRORGROUP) = ()
82    
83        fun listLibs () = map #1 (SrcPathMap.listItemsi (!sgc))
84    
85        fun dropPickles () = let
86            fun drop (GG.GROUP { kind = GG.STABLELIB dropper, ... }) = dropper ()
87              | drop _ = ()
88        in
89            SrcPathMap.app drop (!sgc)
90        end
91    
92        fun dismissLib l =
93            (StabModmap.reset ();
94             sgc := #1 (SrcPathMap.remove (!sgc, l)))
95            handle LibBase.NotFound => ()
96    
97        fun parse args = let
98            val { load_plugin, gr, param, stabflag, group,
99                  init_group, paranoid } = args
100    
101            val { grouppath = init_gname, ... } =
102                case init_group of
103                    GG.GROUP x => x
104                  | GG.ERRORGROUP =>
105                    EM.impossible "parse.sml: parse: bad init group"
106    
107          val stabthis = isSome stabflag          val stabthis = isSome stabflag
108          val staball = stabflag = SOME true          val staball = stabflag = SOME true
109    
110          val groupreg =          val groupreg = gr
             case gropt of  
                 SOME r => r  
               | NONE => GroupReg.new ()  
111          val errcons = EM.defaultConsumer ()          val errcons = EM.defaultConsumer ()
112          val ginfo = { param = param, groupreg = groupreg, errcons = errcons }          val ginfo = { param = param, groupreg = groupreg, errcons = errcons }
113            val keep_going = #keep_going param
114    
115          (* The "group cache" -- we store "group options";  having          (* The "group cache" -- we store "group options";  having
116           * NONE registered for a group means that a previous attempt           * NONE registered for a group means that a previous attempt
117           * to parse it had failed. *)           * to parse it had failed.
118          val gc = ref (SrcPathMap.empty: CMSemant.group option SrcPathMap.map)           * This registry is primed with the "init" group because it is
119             * "special" and cannot be parsed directly. *)
120          fun mparse (group, groupstack, pErrFlag, stabthis, curlib) =          val gc = ref (SrcPathMap.singleton (init_gname, SOME init_group))
121              case SrcPathMap.find (!sgc, group) of  
122                  SOME g => SOME g          val em = ref StableMap.empty
123                | NONE =>  
124                      (case SrcPathMap.find (!gc, group) of          fun update_em (GG.GROUP ns_g, GG.GROUP s_g) =
125                           SOME gopt => gopt              let val s_e = #exports s_g
126                         | NONE => let                  fun add (sy, ((_ , DG.SB_SNODE (DG.SNODE sn)), _)) =
127                               fun cache_nonstable gopt =                      (case SymbolMap.find (s_e, sy) of
128                                   (gc := SrcPathMap.insert (!gc, group, gopt);                           SOME ((_, DG.SB_BNODE (DG.BNODE bn, _)), _) =>
129                                    gopt)                           em := StableMap.insert (!em, #bininfo bn, #smlinfo sn)
130                               fun cache_stable g =                         | _ => ())
131                                   (sgc := SrcPathMap.insert (!sgc, group, g);                    | add _ = ()
132                                    SOME g)              in
133                               fun isStable (GG.GROUP { kind, ... }) =                  SymbolMap.appi add (#exports ns_g)
134                                   case kind of              end
135                                       GG.STABLELIB _ => true            | update_em _ = ()
136                                     | _ => false  
137                               val pres =          fun registerNewStable (p, g) =
138                                   parse' (group, groupstack, pErrFlag,              (sgc := SrcPathMap.insert (!sgc, p, g);
139                                           stabthis, curlib)               SrcPathSet.app (SmlInfo.cleanGroup true) (Reachable.groupsOf g);
140                           in               evictStale ();
141                               case pres of               (gc := #1 (SrcPathMap.remove (!gc, p));
142                                   NONE => cache_nonstable NONE                (* ... and for good measure, do a major GC... *)
143                                 | SOME g =>                majorGC ())
144                                       if isStable g then cache_stable g               handle LibBase.NotFound => ())
                                      else cache_nonstable (SOME g)  
                          end)  
145    
146          and parse' (group, groupstack, pErrFlag, stabthis, curlib) = let          fun hasCycle (group, groupstack) = let
147              (* checking for cycles among groups and printing them nicely *)              (* checking for cycles among groups and printing them nicely *)
148              fun findCycle ([], _) = []              fun findCycle ([], _) = []
149                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =                | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =
# Line 91  Line 155 
155                        | loop (g0, (g, (s, p1, p2)) :: t) = let                        | loop (g0, (g, (s, p1, p2)) :: t) = let
156                              val s = EM.matchErrorString s (p1, p2)                              val s = EM.matchErrorString s (p1, p2)
157                          in                          in
158                                PrettyPrint.add_newline pps;
159                              PrettyPrint.add_string pps s;                              PrettyPrint.add_string pps s;
160                              PrettyPrint.add_string pps ": importing ";                              PrettyPrint.add_string pps ": importing ";
161                              PrettyPrint.add_string pps (SrcPath.specOf g0);                              PrettyPrint.add_string pps (SrcPath.specOf g0);
                             PrettyPrint.add_newline pps;  
162                              loop (g, t)                              loop (g, t)
163                          end                          end
164                  in                  in
                     PrettyPrint.add_newline pps;  
165                      loop (g, hist)                      loop (g, hist)
166                  end                  end
167              in              in
# Line 107  Line 170 
170                              SrcPath.specOf group)                              SrcPath.specOf group)
171                             pphist                             pphist
172              end              end
173            in
174                case findCycle (groupstack, []) of
175                    h :: t => (report (h, t); true)
176                  | [] => false
177            end
178    
179            fun mparse (group, groupstack, pErrFlag, stabthis, curlib) = let
180                fun getStable stablestack gpath = let
181                    (* This is a separate "findCycle" routine that detects
182                     * cycles among stable libraries.  These cycles should
183                     * never occur unless someone purposefully renames
184                     * stable library files in a bad way. *)
185                    fun findCycle ([], _) = NONE
186                      | findCycle (h :: t, cyc) =
187                        if SrcPath.compare (h, gpath) = EQUAL then SOME (h :: cyc)
188                        else findCycle (t, h :: cyc)
189                    fun report cyc = let
190                        fun pphist pps = let
191                            fun loop [] = ()
192                              | loop (h :: t) =
193                                (PrettyPrint.add_newline pps;
194                                 PrettyPrint.add_string pps (SrcPath.descr h);
195                                 loop t)
196                        in
197                            loop (rev cyc)
198                        end
199                    in
200                        EM.errorNoFile (errcons, pErrFlag) SM.nullRegion
201                          EM.COMPLAIN
202                          ("stable libraries form a cycle with " ^
203                           SrcPath.descr gpath)
204                          pphist
205                    end
206                    fun load () = let
207                        val go = Stabilize.loadStable ginfo
208                            { getGroup = getStable (gpath :: stablestack),
209                              anyerrors = pErrFlag }
210                            gpath
211                    in
212                        case go of
213                            NONE => NONE
214                          | SOME g =>
215                                (registerNewStable (gpath, g);
216                                 Say.vsay ["[library ", SrcPath.descr gpath,
217                                           " is stable]\n"];
218                                 SOME g)
219                    end
220                in
221                    case findCycle (stablestack, []) of
222                        NONE => (case cachedStable (gpath, init_group) of
223                                     SOME g => SOME g
224                                   | NONE => load ())
225                      | SOME cyc => (report cyc; NONE)
226                end
227    
228              fun getStable gpath = let              fun stabilize NONE = NONE
229                  (* To make a cycle involving existing stable groups,                | stabilize (SOME g) =
230                   * one must use aliases.  The cycle will be detected                  (case g of
231                   * amoung those aliases... (?? - hopefully) *)                       GG.ERRORGROUP => NONE
232                  fun getStableSG p =                     | GG.GROUP { kind = GG.LIB _, ... } => let
233                      mparse (p, groupstack, pErrFlag, staball, SOME gpath)                           val go = Stabilize.stabilize ginfo
234              in                               { group = g, anyerrors = pErrFlag }
235                  Stabilize.loadStable (ginfo, getStableSG, pErrFlag) gpath                       in
236              end                           case go of
237                                 NONE => NONE
238              (* We stabilize libraries only because a stable library will                             | SOME g' =>
239               * encompass the contents of its sub-groups                                   (registerNewStable (group, g'); SOME g')
240               * (but not sub-libraries!). *)                       end
241              fun stabilize (g as GG.GROUP { kind = GG.NOLIB, ... }) = SOME g                     | _ => SOME g)
242                | stabilize g =          in
243                  Stabilize.stabilize ginfo { group = g, anyerrors = pErrFlag }              case SrcPathMap.find (!gc, group) of
244                    SOME gopt => gopt
245                  | NONE => let
246                        fun try_s () = getStable [] group
247                        fun try_n () = parse' (group, groupstack, pErrFlag, curlib)
248                        fun reg gopt =
249                            (gc := SrcPathMap.insert (!gc, group, gopt); gopt)
250                        fun proc_n gopt =
251                            reg (if stabthis then stabilize gopt
252                                 else (SmlInfo.cleanGroup false group; gopt))
253                    in
254                        if paranoid then
255                            case try_n () of
256                                NONE => reg NONE
257                              | SOME g => let
258                                    val gopt' =
259                                        if VerifyStable.verify ginfo (!em) g then
260                                            reg (case try_s () of
261                                                     NONE => SOME g
262                                                   | SOME g' => SOME g')
263                                        else (delCachedStable (group, init_group);
264                                              proc_n (SOME g))
265                                in
266                                    case gopt' of
267                                        NONE => NONE
268                                      | SOME g' => (update_em (g, g'); SOME g')
269                                end
270                        else case try_s () of
271                            SOME g => reg (SOME g)
272                          | NONE => proc_n (try_n ())
273                    end
274            end
275    
276            (* Parse' is used when we are sure that we don't want to load
277             * a stable library. *)
278            and parse' (group, groupstack, pErrFlag, curlib) = let
279    
280              (* normal processing -- used when there is no cycle to report *)              (* normal processing -- used when there is no cycle to report *)
281              fun normal_processing () = let              fun normal_processing () = let
282                    val _ = Say.vsay ["[scanning ", SrcPath.descr group, "]\n"]
283    
284                  val context = SrcPath.sameDirContext group                  val context = SrcPath.sameDirContext group
285    
286                  fun work stream = let                  fun work stream = let
# Line 142  Line 296 
296                       * data structures. *)                       * data structures. *)
297                      fun error r m =                      fun error r m =
298                          EM.error source r EM.COMPLAIN m EM.nullErrorBody                          EM.error source r EM.COMPLAIN m EM.nullErrorBody
299                        fun obsolete r =
300                            if #get StdConfig.warn_obsolete () then
301                                EM.error source r EM.WARN
302                                  "old-style operator (obsolete)" EM.nullErrorBody
303                            else ()
304    
305                      (* recParse returns a group (not an option).                      (* recParse returns a group (not an option).
306                       * This function is used to parse sub-groups.                       * This function is used to parse sub-groups.
# Line 149  Line 308 
308                       * "anyErrors" flag of the parent group. *)                       * "anyErrors" flag of the parent group. *)
309                      fun recParse (p1, p2) curlib p = let                      fun recParse (p1, p2) curlib p = let
310                          val gs' = (group, (source, p1, p2)) :: groupstack                          val gs' = (group, (source, p1, p2)) :: groupstack
311                          val myErrorFlag = #anyErrors source                          (* my error flag *)
312                            val mef = #anyErrors source
313                      in                      in
314                          case mparse (p, gs', myErrorFlag, staball, curlib) of                          (* unless we are in keep-going mode we do no further
315                              NONE => (myErrorFlag := true;                           * recursive traversals once there was an error on
316                                       CMSemant.emptyGroup group)                           * this group. *)
317                            if !mef andalso not keep_going then GG.ERRORGROUP
318                            else case mparse (p, gs', mef, staball, curlib) of
319                                     NONE => (mef := true; GG.ERRORGROUP)
320                            | SOME res => res                            | SOME res => res
321                      end                      end
322                      handle exn as IO.Io _ =>                      handle exn as IO.Io _ =>
323                          (error (p1, p2) (General.exnMessage exn);                          (error (p1, p2) (General.exnMessage exn);
324                           CMSemant.emptyGroup group)                           GG.ERRORGROUP)
325    
326                      fun doMember (p, p1, p2, c) =                      fun doMember ({ name, mkpath }, p1, p2, c, oto) =
327                          CMSemant.member (ginfo, recParse (p1, p2))                          CMSemant.member (ginfo, recParse (p1, p2), load_plugin)
328                                   { sourcepath = p, class = c,                            { name = name, mkpath = mkpath,
329                                     group = (group, (p1, p2)) }                              class = c, tooloptions = oto,
330                                group = (group, (p1, p2)),
331                                context = context }
332    
333                      (* Build the argument for the lexer; the lexer's local                      (* Build the argument for the lexer; the lexer's local
334                       * state is encapsulated here to make sure the parser                       * state is encapsulated here to make sure the parser
# Line 245  Line 410 
410                            getS = getS,                            getS = getS,
411                            handleEof = handleEof,                            handleEof = handleEof,
412                            newline = newline,                            newline = newline,
413                              obsolete = obsolete,
414                            error = error,                            error = error,
415                            sync = sync}                            sync = sync}
416                      end                      end
# Line 256  Line 422 
422                      val (parseResult, _) =                      val (parseResult, _) =
423                          CMParse.parse (lookAhead, tokenStream,                          CMParse.parse (lookAhead, tokenStream,
424                                         fn (s,p1,p2) => error (p1, p2) s,                                         fn (s,p1,p2) => error (p1, p2) s,
425                                         (group, context, error,                                         (group, context, obsolete, error,
426                                          doMember, curlib, ginfo))                                          doMember, curlib, ginfo, init_group))
427                  in                  in
428                      if !(#anyErrors source) then NONE                      if !(#anyErrors source) then NONE
429                      else SOME parseResult                      else SOME parseResult
430                  end                  end
431                  fun openIt () = TextIO.openIn (SrcPath.osstring group)                  fun openIt () = TextIO.openIn (SrcPath.osstring group)
432                  val pro =              in
433                      SafeIO.perform { openIt = openIt,                      SafeIO.perform { openIt = openIt,
434                                       closeIt = TextIO.closeIn,                                       closeIt = TextIO.closeIn,
435                                       work = work,                                       work = work,
436                                       cleanup = fn () => () }                                   cleanup = fn _ => () }
             in  
                 case pro of  
                     NONE => NONE  
                   | SOME pr =>  
                         if stabthis then stabilize pr  
                         else SOME pr  
437              end              end
438              handle LrParser.ParseError => NONE              handle LrParser.ParseError => NONE
439          in          in
440              case findCycle (groupstack, []) of              if hasCycle (group, groupstack) then NONE
441                  h :: t => (report (h, t); NONE)              else normal_processing ()
               | [] =>  
                     (case getStable group of  
                          NONE =>  
                              (Say.vsay ["[scanning ", SrcPath.descr group,  
                                         "]\n"];  
                               normal_processing ())  
                        | SOME g =>  
                              (Say.vsay ["[library ", SrcPath.descr group,  
                                         " is stable]\n"];  
                               SOME g))  
442          end          end
443      in      in
444            SmlInfo.newGeneration ();
445          case mparse (group, [], ref false, stabthis, NONE) of          case mparse (group, [], ref false, stabthis, NONE) of
446              NONE => NONE              NONE => NONE
447            | SOME g => let            | SOME g => SOME (g, ginfo)
                 val reach1 = Reachable.reachable g  
                 val reach2 = Reachable.reachable' (pending ())  
                 val reach = SrcPathSet.union (reach1, reach2)  
             in  
                 SmlInfo.forgetAllBut reach;  
                 SOME (g, ginfo)  
             end  
448      end      end
449  end  end

Legend:
Removed from v.387  
changed lines
  Added in v.588

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0