Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/stable/stabilize.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/stable/stabilize.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 307, Tue Jun 1 09:38:28 1999 UTC revision 311, Wed Jun 2 09:08:48 1999 UTC
# Line 1  Line 1 
1  structure Stablize = struct  (*
2     * Reading, generating, and writing stable groups.
3     *
4     * (C) 1999 Lucent Technologies, Bell Laboratories
5     *
6     * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7     *)
8    local
9      structure DG = DependencyGraph      structure DG = DependencyGraph
10      structure GG = GroupGraph      structure GG = GroupGraph
11      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
12        structure PP = PrettyPrint
13        structure SM = GenericVC.SourceMap
14        structure GP = GeneralParams
15        structure E = GenericVC.Environment
16    
17        type statenvgetter = GP.info -> DG.bnode -> E.staticEnv
18        type recomp = GG.group * GP.info -> bool
19    in
20    
21    signature STABILIZE = sig
22    
23        val loadStable :
24            GP.info * (AbsPath.t -> GG.group option) * bool ref ->
25            AbsPath.t -> GG.group option
26    
27        val stabilize :
28            GP.info -> { group: GG.group, anyerrors: bool ref } ->
29            GG.group option
30    end
31    
32    functor StabilizeFn (val bn2statenv : statenvgetter
33                         val recomp: recomp) :> STABILIZE = struct
34    
35      datatype pitem =      datatype pitem =
36          PSS of SymbolSet.set          PSS of SymbolSet.set
# Line 34  Line 62 
62                           val compare = compare                           val compare = compare
63          end)          end)
64    
65      fun stabilize (g as GG.GROUP grec, binSizeOf, binCopy, gp) =      fun genStableInfoMap (exports, group) = let
66          case #stableinfo grec of          (* find all the exported bnodes that are in the same group: *)
67              GG.STABLE _ => g          fun add (((_, DG.SB_BNODE (n as DG.BNODE b)), _), m) = let
68            | GG.NONSTABLE granted => let              val i = #bininfo b
69            in
70                if AbsPath.compare (BinInfo.group i, group) = EQUAL then
71                    IntBinaryMap.insert (m, BinInfo.offset i, n)
72                else m
73            end
74              | add (_, m) = m
75        in
76            SymbolMap.foldl add IntBinaryMap.empty exports
77        end
78    
79        fun deleteFile n = OS.FileSys.remove n
80            handle e as Interrupt.Interrupt => raise e
81                 | _ => ()
82    
83        fun stabilize gp { group = g as GG.GROUP grec, anyerrors } = let
84    
85            fun doit granted = let
86                val bname = AbsPath.name o SmlInfo.binpath
87                val bsz = OS.FileSys.fileSize o bname
88                fun cpb s i = let
89                    val ins = BinIO.openIn (bname i)
90                    fun cp () =
91                        if BinIO.endOfStream ins then ()
92                        else (BinIO.output (s, BinIO.input ins); cp ())
93                in
94                    cp () handle e => (BinIO.closeIn ins; raise e);
95                        BinIO.closeIn ins
96                end
97                val delb = deleteFile o bname
98    
99                val grpSrcInfo = (#errcons gp, anyerrors)
100    
101                  val exports = #exports grec                  val exports = #exports grec
102                val islib = #islib grec
103                val required = StringSet.difference (#required grec, granted)
104                val grouppath = #grouppath grec
105                val subgroups = #subgroups grec
106    
107                  (* The format of a stable archive is the following:                  (* The format of a stable archive is the following:
108                   *  - It starts with the size s of the pickled dependency                   *  - It starts with the size s of the pickled dependency
# Line 53  Line 116 
116                   *  - Individual binfile contents (concatenated).                   *  - Individual binfile contents (concatenated).
117                   *)                   *)
118    
                 val offsetDict = ref SmlInfoMap.empty  
119                  val members = ref []                  val members = ref []
120                  val registerOffset = let              val (registerOffset, getOffset) = let
121                    val dict = ref SmlInfoMap.empty
122                      val cur = ref 0                      val cur = ref 0
123                      fun reg (i, sz) = let                      fun reg (i, sz) = let
124                          val os = !cur                          val os = !cur
125                      in                      in
126                          cur := os + sz;                          cur := os + sz;
127                          offsetDict := SmlInfoMap.insert (!offsetDict, i, os);                      dict := SmlInfoMap.insert (!dict, i, os);
128                          members := i :: (!members);                          members := i :: (!members);
129                          os                          os
130                      end                      end
131                    fun get i = valOf (SmlInfoMap.find (!dict, i))
132                  in                  in
133                      reg                  (reg, get)
134                  end                  end
135    
136                  fun w_list w_item [] k m =                  fun w_list w_item [] k m =
# Line 130  Line 194 
194                      fun esc #"\\" = "\\\\"                      fun esc #"\\" = "\\\\"
195                        | esc #"\"" = "\\\""                        | esc #"\"" = "\\\""
196                        | esc c = String.str c                        | esc c = String.str c
   
197                  in                  in
198                      String.translate esc s :: "\"" :: k m                      String.translate esc s :: "\"" :: k m
199                  end                  end
# Line 142  Line 205 
205                  fun w_si i k = let                  fun w_si i k = let
206                      val spec = AbsPath.spec (SmlInfo.sourcepath i)                      val spec = AbsPath.spec (SmlInfo.sourcepath i)
207                      val locs = SmlInfo.errorLocation gp i                      val locs = SmlInfo.errorLocation gp i
208                      val offset = registerOffset (i, binSizeOf i)                  val offset = registerOffset (i, bsz i)
209                  in                  in
210                      w_string spec                      w_string spec
211                          (w_string locs                          (w_string locs
# Line 152  Line 215 
215    
216                  fun w_primitive p k m = String.str (Primitive.toIdent p) :: k m                  fun w_primitive p k m = String.str (Primitive.toIdent p) :: k m
217    
218                  fun w_abspath_raw p k m =              fun w_abspath_raw p k m = w_list w_string (AbsPath.pickle p) k m
                     w_list w_string (AbsPath.pickle p) k m  
219    
220                  val w_abspath = w_share w_abspath_raw PAP                  val w_abspath = w_share w_abspath_raw PAP
221    
# Line 183  Line 245 
245    
246                  fun w_privileges p = w_list w_string (StringSet.listItems p)                  fun w_privileges p = w_list w_string (StringSet.listItems p)
247    
248                  fun pickle_group (GG.GROUP g, granted) = let              fun pickle_group () = let
249                      fun w_sg (GG.GROUP g) = w_abspath (#grouppath g)                      fun w_sg (GG.GROUP g) = w_abspath (#grouppath g)
                     val req' = StringSet.difference (#required g, granted)  
250                      fun k0 m = []                      fun k0 m = []
251                      val m0 = (0, Map.empty)                      val m0 = (0, Map.empty)
252                  in                  in
253                      concat                  concat (w_exports exports
254                         (w_exports (#exports g)                               (w_bool islib
255                            (w_bool (#islib g)                                     (w_privileges required
256                                (w_privileges req'                                            (w_list w_sg subgroups k0))) m0)
                                    (w_abspath (#grouppath g)  
                                          (w_list w_sg (#subgroups g) k0)))) m0)  
257                  end                  end
258                  val pickle = pickle_group (g, granted)  
259                val pickle = pickle_group ()
260                  val sz = size pickle                  val sz = size pickle
261                val offset_adjustment = sz + 4
262    
263                fun mkStableGroup () = let
264                    val m = ref SmlInfoMap.empty
265                    fun sn (DG.SNODE (n as { smlinfo, ... })) =
266                        case SmlInfoMap.find (!m, smlinfo) of
267                            SOME n => n
268                          | NONE => let
269                                val li = map sn (#localimports n)
270                                val gi = map fsbn (#globalimports n)
271                                val sourcepath = SmlInfo.sourcepath smlinfo
272                                val spec = AbsPath.spec sourcepath
273                                val offset =
274                                    getOffset smlinfo + offset_adjustment
275                                val share = SmlInfo.share smlinfo
276                                val locs = SmlInfo.errorLocation gp smlinfo
277                                val error = EM.errorNoSource grpSrcInfo locs
278                                val i = BinInfo.new { group = grouppath,
279                                                      spec = spec,
280                                                      offset = offset,
281                                                      share = share,
282                                                      error = error }
283                                val n = DG.BNODE { bininfo = i,
284                                                   localimports = li,
285                                                   globalimports = gi }
286                            in
287                                m := SmlInfoMap.insert (!m, smlinfo, n);
288                                n
289                            end
290    
291                    and sbn (DG.SB_SNODE n) = sn n
292                      | sbn (DG.SB_BNODE n) = n
293    
294                    and fsbn (f, n) = (f, sbn n)
295    
296                    fun impexp ((f, n), e) = ((f, DG.SB_BNODE (sbn n)), e)
297    
298                    val exports = SymbolMap.map impexp (#exports grec)
299                    val simap = genStableInfoMap (exports, grouppath)
300              in              in
301                  Dummy.f ()                  GG.GROUP { exports = exports,
302                               islib = islib,
303                               required = required,
304                               grouppath = grouppath,
305                               subgroups = subgroups,
306                               stableinfo = GG.STABLE simap }
307              end              end
308    
309      fun g (getGroup, bn2env, grpSrcInfo, group, s) = let              fun writeInt32 (s, i) = let
310                    val a = Word8Array.array (4, 0w0)
311                    val _ = Pack32Big.update (a, 0, LargeWord.fromInt i)
312                in
313                    BinIO.output (s, Word8Array.extract (a, 0, NONE))
314                end
315                val memberlist = rev (!members)
316    
317                val policy = #fnpolicy (#param gp)
318                val gpath = #grouppath grec
319                val spath = FilenamePolicy.mkStablePath policy gpath
320                fun delete () = deleteFile (AbsPath.name spath)
321                val outs = AbsPath.openBinOut spath
322                fun try () =
323                    (Say.vsay ["[stabilizing ", AbsPath.name gpath, "]\n"];
324                     writeInt32 (outs, sz);
325                     BinIO.output (outs, Byte.stringToBytes pickle);
326                     app (cpb outs) memberlist;
327                     app delb memberlist;
328                     BinIO.closeOut outs;
329                     SOME (mkStableGroup ()))
330            in
331                Interrupt.guarded try
332                handle e as Interrupt.Interrupt => (BinIO.closeOut outs;
333                                                    delete ();
334                                                    raise e)
335                     | exn => (BinIO.closeOut outs; NONE)
336            end
337        in
338            case #stableinfo grec of
339                GG.STABLE _ => SOME g
340              | GG.NONSTABLE granted =>
341                    if not (recomp (g, gp)) then
342                        (anyerrors := true; NONE)
343                    else let
344                        fun notStable (GG.GROUP { stableinfo, ... }) =
345                            case stableinfo of
346                                GG.STABLE _ => false
347                              | GG.NONSTABLE _ => true
348                    in
349                        case List.filter notStable (#subgroups grec) of
350                            [] => doit granted
351                          | l => let
352                                val grammar = case l of [_] => " is" | _ => "s are"
353                                fun ppb pps = let
354                                    fun loop [] = ()
355                                      | loop (GG.GROUP { grouppath, ... } :: t) =
356                                        (PP.add_string pps
357                                            (AbsPath.name grouppath);
358                                         PP.add_newline pps;
359                                         loop t)
360                                in
361                                    PP.add_newline pps;
362                                    PP.add_string pps
363                                        (concat ["because the following sub-group",
364                                                 grammar, " not stable:"]);
365                                    PP.add_newline pps;
366                                    loop l
367                                end
368                                val errcons = #errcons gp
369                                val gname = AbsPath.name (#grouppath grec)
370                            in
371                                EM.errorNoFile (errcons, anyerrors) SM.nullRegion
372                                   EM.COMPLAIN
373                                   (gname ^ " cannot be stabilized")
374                                   ppb;
375                                NONE
376                            end
377                    end
378        end
379    
380        fun loadStable (gp, getGroup, anyerrors) group = let
381    
382            fun bn2env n = Statenv2DAEnv.cvtMemo (fn () => bn2statenv gp n)
383    
384            val errcons = #errcons gp
385            val grpSrcInfo = (errcons, anyerrors)
386            val gname = AbsPath.name group
387            fun error l = EM.errorNoFile (errcons, anyerrors) SM.nullRegion
388                EM.COMPLAIN (concat (gname :: ": " :: l)) EM.nullErrorBody
389    
390          exception Format          exception Format
391    
392            val policy = #fnpolicy (#param gp)
393            val spath = FilenamePolicy.mkStablePath policy group
394            val _ = Say.vsay ["[checking stable ", gname, "]\n"]
395            val s = AbsPath.openBinIn spath
396    
397            fun getGroup' p =
398                case getGroup p of
399                    SOME g => g
400                  | NONE =>
401                        (error ["unable to find ", AbsPath.name p];
402                         raise Format)
403    
404          (* for getting sharing right... *)          (* for getting sharing right... *)
405          val m = ref IntBinaryMap.empty          val m = ref IntBinaryMap.empty
406          val next = ref 0          val next = ref 0
# Line 365  Line 560 
560                | #"b" => let                | #"b" => let
561                      val p = r_abspath ()                      val p = r_abspath ()
562                      val os = r_int ()                      val os = r_int ()
                     val GG.GROUP { stableinfo, ... } = getGroup p  
563                  in                  in
564                      case stableinfo of                      case getGroup' p of
565                          GG.NONSTABLE _ => raise Format                          GG.GROUP { stableinfo = GG.STABLE im, ... } =>
                       | GG.STABLE im =>  
566                              (case IntBinaryMap.find (im, os) of                              (case IntBinaryMap.find (im, os) of
567                                   NONE => raise Format                                   NONE => raise Format
568                                 | SOME n => n)                                 | SOME n => n)
569                          | _ => raise Format
570                  end                  end
571                | _ => raise Format                | _ => raise Format
572    
# Line 399  Line 593 
593              val sy = r_symbol ()              val sy = r_symbol ()
594              val (f, n) = r_fsbn ()      (* really reads farbnodes! *)              val (f, n) = r_fsbn ()      (* really reads farbnodes! *)
595              val e = bn2env n              val e = bn2env n
596                (* put a filter in front to avoid having the FCTENV being
597                 * queried needlessly (this avoids spurious module loadings) *)
598                val e' = DAEnv.FILTER (SymbolSet.singleton sy, e)
599          in          in
600              (sy, ((f, DG.SB_BNODE n), e)) (* coerce to farsbnodes *)              (sy, ((f, DG.SB_BNODE n), e')) (* coerce to farsbnodes *)
601          end          end
602    
603          fun r_exports () =          fun r_exports () =
# Line 413  Line 610 
610              val exports = r_exports ()              val exports = r_exports ()
611              val islib = r_bool ()              val islib = r_bool ()
612              val required = r_privileges ()              val required = r_privileges ()
613              val grouppath = r_abspath ()              val subgroups = r_list (getGroup' o r_abspath) ()
614              val subgroups = r_list (getGroup o r_abspath) ()              val simap = genStableInfoMap (exports, group)
             (* find all the exported bnodes that are in the same group: *)  
             fun add (((_, DG.SB_BNODE (n as DG.BNODE b)), _), m) = let  
                     val i = #bininfo b  
                 in  
                     if AbsPath.compare (BinInfo.group i, group) = EQUAL then  
                         IntBinaryMap.insert (m, BinInfo.offset i, n)  
                     else m  
                 end  
               | add (_, m) = m  
             val simap = SymbolMap.foldl add IntBinaryMap.empty exports  
615          in          in
616              GG.GROUP { exports = exports,              GG.GROUP { exports = exports,
617                         islib = islib,                         islib = islib,
618                         required = required,                         required = required,
619                         grouppath = grouppath,                         grouppath = group,
620                         subgroups = subgroups,                         subgroups = subgroups,
621                         stableinfo = GG.STABLE simap }                         stableinfo = GG.STABLE simap }
622                before BinIO.closeIn s
623          end          end
624      in      in
625          SOME (unpickle_group ()) handle Format => NONE          SOME (unpickle_group ())
626      end          handle Format => (BinIO.closeIn s; NONE)
627                 | exn => (BinIO.closeIn s; raise exn)
628        end handle IO.Io _ => NONE
629  end  end
630    
631    end (* local *)

Legend:
Removed from v.307  
changed lines
  Added in v.311

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0