Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/parse/parse.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/parse/parse.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 268, Mon May 10 07:00:02 1999 UTC revision 435, Tue Sep 14 08:51:11 1999 UTC
# Line 1  Line 1 
1  signature CMPARSE = sig  (*
2      val parse : AbsPath.t -> CMSemant.group option   * Parser for CM description files.
3     *
4     * (C) 1999 Lucent Technologies, Bell Laboratories
5     *
6     * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7     *)
8    signature PARSE = sig
9        val parse :
10            GroupReg.groupreg option ->
11            GeneralParams.param -> bool option ->
12            SrcPath.t -> (CMSemant.group * GeneralParams.info) option
13        val reset : unit -> unit
14        val listLibs : unit -> unit
15        val dismissLib : SrcPath.t -> unit
16  end  end
17    
18  structure CMParse :> CMPARSE = struct  functor ParseFn (val pending : unit -> DependencyGraph.impexp SymbolMap.map
19                     structure Stabilize: STABILIZE) :> PARSE = struct
20    
21      val lookAhead = 30      val lookAhead = 30
22    
23      structure S = GenericVC.Source      structure S = GenericVC.Source
24      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
25      structure SM = GenericVC.SourceMap      structure SM = GenericVC.SourceMap
26      structure P = GenericVC.Control.Print      structure GG = GroupGraph
27    
28      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)      structure CMLrVals = CMLrValsFun (structure Token = LrParser.Token)
29      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)      structure CMLex = CMLexFun (structure Tokens = CMLrVals.Tokens)
# Line 18  Line 32 
32                       structure Lex = CMLex                       structure Lex = CMLex
33                       structure LrParser = LrParser)                       structure LrParser = LrParser)
34    
35      fun parse filename = let      (* the "stable group cache" *)
36          val currentDir = AbsPath.dir filename      val sgc = ref (SrcPathMap.empty: CMSemant.group SrcPathMap.map)
37          val filename = AbsPath.name filename      fun reset () = sgc := SrcPathMap.empty
38          val stream = TextIO.openIn filename  
39          val errcons =      fun listLibs () = let
40              { linewidth = !P.linewidth, flush = P.flush, consumer = P.say }          fun show (sp, _) =
41          val source = S.newSource (filename, 1, stream, false, errcons)              Say.say [SrcPath.descr sp, "\n"]
42        in
43            SrcPathMap.appi show (!sgc)
44        end
45    
46        fun dismissLib l =
47            (sgc := #1 (SrcPathMap.remove (!sgc, l)))
48            handle LibBase.NotFound => ()
49    
50        fun parse gropt param stabflag group = let
51    
52            val stabthis = isSome stabflag
53            val staball = stabflag = SOME true
54    
55            val groupreg =
56                case gropt of
57                    SOME r => r
58                  | NONE => GroupReg.new ()
59            val errcons = EM.defaultConsumer ()
60            val ginfo = { param = param, groupreg = groupreg, errcons = errcons }
61    
62            (* The "group cache" -- we store "group options";  having
63             * NONE registered for a group means that a previous attempt
64             * to parse it had failed. *)
65            val gc = ref (SrcPathMap.empty: CMSemant.group option SrcPathMap.map)
66    
67            fun hasCycle (group, groupstack) = let
68                (* checking for cycles among groups and printing them nicely *)
69                fun findCycle ([], _) = []
70                  | findCycle ((h as (g, (s, p1, p2))) :: t, cyc) =
71                    if SrcPath.compare (g, group) = EQUAL then rev (h :: cyc)
72                    else findCycle (t, h :: cyc)
73                fun report ((g, (s, p1, p2)), hist) = let
74                    fun pphist pps = let
75                        fun loop (_, []) = ()
76                          | loop (g0, (g, (s, p1, p2)) :: t) = let
77                                val s = EM.matchErrorString s (p1, p2)
78                            in
79                                PrettyPrint.add_newline pps;
80                                PrettyPrint.add_string pps s;
81                                PrettyPrint.add_string pps ": importing ";
82                                PrettyPrint.add_string pps (SrcPath.specOf g0);
83                                loop (g, t)
84                            end
85                    in
86                        loop (g, hist)
87                    end
88                in
89                    EM.error s (p1, p2) EM.COMPLAIN
90                               ("group hierarchy forms a cycle with " ^
91                                SrcPath.specOf group)
92                               pphist
93                end
94            in
95                case findCycle (groupstack, []) of
96                    h :: t => (report (h, t); true)
97                  | [] => false
98            end
99    
100            fun mparse (group, groupstack, pErrFlag, stabthis, curlib) = let
101                fun getStable stablestack gpath = let
102                    (* This is a separate "findCycle" routine that detects
103                     * cycles among stable libraries.  These cycles should
104                     * never occur unless someone purposefully renames
105                     * stable library files in a bad way. *)
106                    fun findCycle ([], _) = NONE
107                      | findCycle (h :: t, cyc) =
108                        if SrcPath.compare (h, gpath) = EQUAL then SOME (h :: cyc)
109                        else findCycle (t, h :: cyc)
110                    fun report cyc = let
111                        fun pphist pps = let
112                            fun loop [] = ()
113                              | loop (h :: t) =
114                                (PrettyPrint.add_newline pps;
115                                 PrettyPrint.add_string pps (SrcPath.descr h);
116                                 loop t)
117                        in
118                            loop (rev cyc)
119                        end
120                    in
121                        EM.errorNoFile (errcons, pErrFlag) SM.nullRegion
122                          EM.COMPLAIN
123                          ("stable libraries form a cycle with " ^
124                           SrcPath.descr gpath)
125                          pphist
126                    end
127                    fun load () = let
128                        val go = Stabilize.loadStable ginfo
129                            { getGroup = getStable (gpath :: stablestack),
130                              anyerrors = pErrFlag }
131                            gpath
132                    in
133                        case go of
134                            NONE => NONE
135                          | SOME g =>
136                                (sgc := SrcPathMap.insert (!sgc, gpath, g);
137                                 Say.vsay ["[library ", SrcPath.descr gpath,
138                                           " is stable]\n"];
139                                 SOME g)
140                    end
141                in
142                    case findCycle (stablestack, []) of
143                        NONE => (case SrcPathMap.find (!sgc, gpath) of
144                                     SOME g => SOME g
145                                   | NONE => load ())
146                      | SOME cyc => (report cyc; NONE)
147                end
148            in
149                case getStable [] group of
150                    SOME g => SOME g
151                  | NONE =>
152                        (case SrcPathMap.find (!gc, group) of
153                             SOME gopt => gopt
154                           | NONE => let
155                                 val pres =
156                                     parse' (group, groupstack, pErrFlag,
157                                             stabthis, curlib)
158                             in
159                                 gc := SrcPathMap.insert (!gc, group, pres);
160                                 pres
161                             end)
162            end
163    
164            and parse' (group, groupstack, pErrFlag, stabthis, curlib) = let
165    
166                (* We stabilize libraries only because a stable library will
167                 * encompass the contents of its sub-groups
168                 * (but not sub-libraries!). *)
169                fun stabilize (g as GG.GROUP { kind = GG.NOLIB, ... }) = SOME g
170                  | stabilize g =
171                    Stabilize.stabilize ginfo { group = g, anyerrors = pErrFlag }
172    
173                (* normal processing -- used when there is no cycle to report *)
174                fun normal_processing () = let
175                    val _ = Say.vsay ["[scanning ", SrcPath.descr group, "]\n"]
176    
177                    val context = SrcPath.sameDirContext group
178    
179                    fun work stream = let
180                        val source =
181                            S.newSource (SrcPath.osstring group,
182                                         1, stream, false, errcons)
183          val sourceMap = #sourceMap source          val sourceMap = #sourceMap source
184          fun error region m =                      val _ = GroupReg.register groupreg (group, source)
             EM.error source region EM.COMPLAIN m EM.nullErrorBody  
185    
186                        (* We can hard-wire the source into this
187                         * error function because the function is only for
188                         * immediate use and doesn't get stored into persistent
189                         * data structures. *)
190                        fun error r m =
191                            EM.error source r EM.COMPLAIN m EM.nullErrorBody
192                        fun obsolete r =
193                            if #get StdConfig.warn_obsolete () then
194                                EM.error source r EM.WARN
195                                  "old-style operator (obsolete)" EM.nullErrorBody
196                            else ()
197    
198                        (* recParse returns a group (not an option).
199                         * This function is used to parse sub-groups.
200                         * Errors are propagated by explicitly setting the
201                         * "anyErrors" flag of the parent group. *)
202                        fun recParse (p1, p2) curlib p = let
203                            val gs' = (group, (source, p1, p2)) :: groupstack
204                            val myErrorFlag = #anyErrors source
205                        in
206                            case mparse (p, gs', myErrorFlag, staball, curlib) of
207                                NONE => (myErrorFlag := true;
208                                         CMSemant.emptyGroup group)
209                              | SOME res => res
210                        end
211                        handle exn as IO.Io _ =>
212                            (error (p1, p2) (General.exnMessage exn);
213                             CMSemant.emptyGroup group)
214    
215                        fun doMember (p, p1, p2, c) =
216                            CMSemant.member (ginfo, recParse (p1, p2))
217                                     { sourcepath = p, class = c,
218                                       group = (group, (p1, p2)) }
219    
220                        (* Build the argument for the lexer; the lexer's local
221                         * state is encapsulated here to make sure the parser
222                         * is re-entrant. *)
223          val lexarg = let          val lexarg = let
224              (* local state *)              (* local state *)
225              val depth = ref 0              val depth = ref 0
226              val curstring = ref []              val curstring = ref []
227              val startpos = ref 0              val startpos = ref 0
228              val instring = ref NONE                          val instring = ref false
229              (* handling comments *)              (* handling comments *)
230              fun enterC () = depth := !depth + 1              fun enterC () = depth := !depth + 1
231              fun leaveC () = let val d = !depth - 1 in depth := d; d = 0 end                          fun leaveC () = let
232                                val d = !depth - 1
233                            in
234                                depth := d;
235                                d = 0
236                            end
237              (* handling strings *)              (* handling strings *)
238              fun newS (pos, kind) =                          fun newS pos =
239                  (instring := SOME kind;                              (instring := true;
240                   curstring := [];                   curstring := [];
241                   startpos := pos)                   startpos := pos)
242              fun addS c = curstring := c :: !curstring              fun addS c = curstring := c :: !curstring
243              fun addSC (s, offs) = addS (chr (ord (String.sub (s, 2)) - offs))                          fun addSC (s, offs) =
244                                addS (chr (ord (String.sub (s, 2)) - offs))
245              fun addSN (s, pos) = let              fun addSN (s, pos) = let
246                  val ns = substring (s, 1, 3)                  val ns = substring (s, 1, 3)
247                  val n = Int.fromString ns                  val n = Int.fromString ns
# Line 55  Line 252 
252                        ("illegal decimal char spec: " ^ ns)                        ("illegal decimal char spec: " ^ ns)
253              end              end
254              fun getS (pos, tok) =              fun getS (pos, tok) =
255                  (instring := NONE;                              (instring := false;
256                   tok (implode (rev (!curstring)), !startpos, pos))                   tok (implode (rev (!curstring)), !startpos, pos))
257              (* handling EOF *)              (* handling EOF *)
258              fun handleEof () = let              fun handleEof () = let
259                  val pos = SM.lastChange sourceMap                  val pos = SM.lastChange sourceMap
260              in              in
261                  if !depth > 0 then                  if !depth > 0 then
                     error (pos, pos) "unexpected end of input in comment"  
                 else if isSome (!instring) then  
262                      error (pos, pos)                      error (pos, pos)
263                       ("unexpected end of input in " ^ valOf (!instring))                                         "unexpected end of input in comment"
264                                else if !instring then
265                                    error (pos, pos)
266                                           "unexpected end of input in string"
267                  else ();                  else ();
268                  pos                  pos
269              end              end
270              (* handling line breaks *)              (* handling line breaks *)
271              fun newline pos = SM.newline sourceMap pos              fun newline pos = SM.newline sourceMap pos
272                            (* handling #line directives *)
273                            fun sync (p, t) = let
274                                fun sep c = c = #"#" orelse Char.isSpace c
275                                fun cvt s = getOpt (Int.fromString s, 0)
276                                fun r (line, col, file) = SM.resynch sourceMap
277                                    (p, { fileName = file,
278                                          line = line, column = col })
279                            in
280                                case String.tokens sep t of
281                                    [_, line] =>
282                                        r (cvt line, NONE, NONE)
283                                  | [_, line, file] =>
284                                        r (cvt line, NONE, SOME file)
285                                  | [_, line, col, file] =>
286                                        r (cvt line, SOME (cvt col), SOME file)
287                                  | _ => error (p, p + size t)
288                                        "illegal #line directive"
289                            end
290          in          in
291              { enterC = enterC,              { enterC = enterC,
292                leaveC = leaveC,                leaveC = leaveC,
# Line 81  Line 297 
297                getS = getS,                getS = getS,
298                handleEof = handleEof,                handleEof = handleEof,
299                newline = newline,                newline = newline,
300                error = error }                            obsolete = obsolete,
301                              error = error,
302                              sync = sync}
303          end          end
304    
305          fun inputc k =                      fun inputc k = TextIO.input stream
             TextIO.input stream  
306    
307          val lexer = CMLex.makeLexer inputc lexarg          val lexer = CMLex.makeLexer inputc lexarg
308          val tokenStream = LrParser.Stream.streamify lexer          val tokenStream = LrParser.Stream.streamify lexer
309          val (parseResult, _) =          val (parseResult, _) =
310              CMParse.parse (lookAhead, tokenStream,              CMParse.parse (lookAhead, tokenStream,
311                             fn (s,p1,p2) => error (p1, p2) s,                             fn (s,p1,p2) => error (p1, p2) s,
312                             (currentDir, error))                                         (group, context, obsolete, error,
313                                            doMember, curlib, ginfo))
314      in      in
315          TextIO.closeIn stream;                      if !(#anyErrors source) then NONE
316          SOME parseResult                      else SOME parseResult
317      end handle LrParser.ParseError => NONE                  end
318                    fun openIt () = TextIO.openIn (SrcPath.osstring group)
319                    val pro =
320                        SafeIO.perform { openIt = openIt,
321                                         closeIt = TextIO.closeIn,
322                                         work = work,
323                                         cleanup = fn () => () }
324                in
325                    case pro of
326                        NONE => NONE
327                      | SOME pr =>
328                            if stabthis then stabilize pr
329                            else SOME pr
330                end
331                handle LrParser.ParseError => NONE
332            in
333                if hasCycle (group, groupstack) then NONE
334                else normal_processing ()
335            end
336        in
337            case mparse (group, [], ref false, stabthis, NONE) of
338                NONE => NONE
339              | SOME g => let
340                    val reach1 = Reachable.reachable g
341                    val reach2 = Reachable.reachable' (pending ())
342                    val reach = SrcPathSet.union (reach1, reach2)
343                in
344                    SmlInfo.forgetAllBut reach;
345                    SOME (g, ginfo)
346                end
347        end
348  end  end

Legend:
Removed from v.268  
changed lines
  Added in v.435

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0