Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/stable/stabilize.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/stable/stabilize.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 307, Tue Jun 1 09:38:28 1999 UTC revision 345, Sun Jun 20 11:55:26 1999 UTC
# Line 1  Line 1 
1  structure Stablize = struct  (*
2     * Reading, generating, and writing stable groups.
3     *
4     * (C) 1999 Lucent Technologies, Bell Laboratories
5     *
6     * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
7     *)
8    local
9      structure DG = DependencyGraph      structure DG = DependencyGraph
10      structure GG = GroupGraph      structure GG = GroupGraph
11      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
12        structure PP = PrettyPrint
13        structure SM = GenericVC.SourceMap
14        structure GP = GeneralParams
15        structure E = GenericVC.Environment
16    
17        type statenvgetter = GP.info -> DG.bnode -> E.staticEnv
18        type recomp = GP.info -> GG.group -> bool
19    in
20    
21    signature STABILIZE = sig
22    
23        val loadStable :
24            GP.info * (AbsPath.t -> GG.group option) * bool ref ->
25            AbsPath.t -> GG.group option
26    
27        val stabilize :
28            GP.info -> { group: GG.group, anyerrors: bool ref } ->
29            GG.group option
30    end
31    
32    functor StabilizeFn (val bn2statenv : statenvgetter
33                         val recomp: recomp) :> STABILIZE = struct
34    
35      datatype pitem =      datatype pitem =
36          PSS of SymbolSet.set          PSS of SymbolSet.set
37        | PS of Symbol.symbol        | PS of Symbol.symbol
38        | PSN of DG.snode        | PSN of DG.snode
       | PAP of AbsPath.t  
39    
40      datatype uitem =      datatype uitem =
41          USS of SymbolSet.set          USS of SymbolSet.set
42        | US of Symbol.symbol        | US of Symbol.symbol
43        | UBN of DG.bnode        | UBN of DG.bnode
       | UAP of AbsPath.t  
44    
45      fun compare (PS s, PS s') = SymbolOrdKey.compare (s, s')      fun compare (PS s, PS s') = SymbolOrdKey.compare (s, s')
46        | compare (PS _, _) = GREATER        | compare (PS _, _) = GREATER
# Line 24  Line 50 
50        | compare (_, PSS _) = LESS        | compare (_, PSS _) = LESS
51        | compare (PSN (DG.SNODE n), PSN (DG.SNODE n')) =        | compare (PSN (DG.SNODE n), PSN (DG.SNODE n')) =
52          SmlInfo.compare (#smlinfo n, #smlinfo n')          SmlInfo.compare (#smlinfo n, #smlinfo n')
       | compare (PSN _, _) = GREATER  
       | compare (_, PSN _) = LESS  
       | compare (PAP p, PAP p') = AbsPath.compare (p, p')  
53    
54      structure Map =      structure Map =
55          BinaryMapFn (struct          BinaryMapFn (struct
# Line 34  Line 57 
57                           val compare = compare                           val compare = compare
58          end)          end)
59    
60      fun stabilize (g as GG.GROUP grec, binSizeOf, binCopy, gp) =      fun genStableInfoMap (exports, group) = let
61          case #stableinfo grec of          (* find all the exported bnodes that are in the same group: *)
62              GG.STABLE _ => g          fun add (((_, DG.SB_BNODE (n as DG.BNODE b)), _), m) = let
63            | GG.NONSTABLE granted => let              val i = #bininfo b
64            in
65                if AbsPath.compare (BinInfo.group i, group) = EQUAL then
66                    IntBinaryMap.insert (m, BinInfo.offset i, n)
67                else m
68            end
69              | add (_, m) = m
70        in
71            SymbolMap.foldl add IntBinaryMap.empty exports
72        end
73    
74        fun deleteFile n = OS.FileSys.remove n handle _ => ()
75    
76        fun stabilize gp { group = g as GG.GROUP grec, anyerrors } = let
77    
78            val primconf = #primconf (#param gp)
79            val policy = #fnpolicy (#param gp)
80    
81            val grouppath = #grouppath grec
82            val groupdir = AbsPath.dir grouppath
83    
84            fun doit granted = let
85    
86                val _ =
87                    if StringSet.isEmpty granted then ()
88                    else
89                        Say.say ("$Stabilize: wrapping the following privileges:\n"
90                                 :: map (fn s => ("  " ^ s ^ "\n"))
91                                        (StringSet.listItems granted))
92    
93                val bname = AbsPath.name o SmlInfo.binpath
94                val bsz = OS.FileSys.fileSize o bname
95    
96                fun cpb s i = let
97                    fun copy ins = let
98                        fun cp () =
99                            if BinIO.endOfStream ins then ()
100                            else (BinIO.output (s, BinIO.input ins); cp ())
101                    in
102                        cp ()
103                    end
104                in
105                    SafeIO.perform { openIt = fn () => BinIO.openIn (bname i),
106                                     closeIt = BinIO.closeIn,
107                                     work = copy,
108                                     cleanup = fn () => () }
109                end
110    
111                val grpSrcInfo = (#errcons gp, anyerrors)
112    
113                  val exports = #exports grec                  val exports = #exports grec
114                val islib = #islib grec
115                val required = StringSet.difference (#required grec, granted)
116                val sublibs = #sublibs grec
117    
118                  (* The format of a stable archive is the following:                  (* The format of a stable archive is the following:
119                   *  - It starts with the size s of the pickled dependency                   *  - It starts with the size s of the pickled dependency
# Line 53  Line 127 
127                   *  - Individual binfile contents (concatenated).                   *  - Individual binfile contents (concatenated).
128                   *)                   *)
129    
130                  val offsetDict = ref SmlInfoMap.empty              (* Here we build a mapping that maps each BNODE to a number
131                 * representing the sub-library that it came from and a
132                 * representative symbol that can be used to find the BNODE
133                 * within the exports of that library *)
134                fun oneB i (sy, ((_, DG.SB_BNODE (DG.BNODE n)), _), m) =
135                    StableMap.insert (m, #bininfo n, (i, sy))
136                  | oneB i (_, _, m) = m
137                fun oneSL ((_, g as GG.GROUP { exports, ... }), (m, i)) =
138                    (SymbolMap.foldli (oneB i) m exports, i + 1)
139                val inverseMap = #1 (foldl oneSL (StableMap.empty, 0) sublibs)
140    
141                  val members = ref []                  val members = ref []
142                  val registerOffset = let              val (registerOffset, getOffset) = let
143                    val dict = ref SmlInfoMap.empty
144                      val cur = ref 0                      val cur = ref 0
145                      fun reg (i, sz) = let                      fun reg (i, sz) = let
146                          val os = !cur                          val os = !cur
147                      in                      in
148                          cur := os + sz;                          cur := os + sz;
149                          offsetDict := SmlInfoMap.insert (!offsetDict, i, os);                      dict := SmlInfoMap.insert (!dict, i, os);
150                          members := i :: (!members);                          members := i :: (!members);
151                          os                          os
152                      end                      end
153                    fun get i = valOf (SmlInfoMap.find (!dict, i))
154                  in                  in
155                      reg                  (reg, get)
156                  end                  end
157    
158                  fun w_list w_item [] k m =                  fun w_list w_item [] k m =
# Line 130  Line 216 
216                      fun esc #"\\" = "\\\\"                      fun esc #"\\" = "\\\\"
217                        | esc #"\"" = "\\\""                        | esc #"\"" = "\\\""
218                        | esc c = String.str c                        | esc c = String.str c
   
219                  in                  in
220                      String.translate esc s :: "\"" :: k m                      String.translate esc s :: "\"" :: k m
221                  end                  end
# Line 140  Line 225 
225                    | w_sharing (SOME false) k m = "f" :: k m                    | w_sharing (SOME false) k m = "f" :: k m
226    
227                  fun w_si i k = let                  fun w_si i k = let
228                    (* FIXME: this is not a technical flaw, but perhaps one
229                     * that deserves fixing anyway:  If we only look at spec,
230                     * then we are losing information about sub-grouping
231                     * within libraries.  However, the spec in BinInfo.info
232                     * is only used for diagnostics and has no impact on the
233                     * operation of CM itself. *)
234                      val spec = AbsPath.spec (SmlInfo.sourcepath i)                      val spec = AbsPath.spec (SmlInfo.sourcepath i)
235                      val locs = SmlInfo.errorLocation gp i                      val locs = SmlInfo.errorLocation gp i
236                      val offset = registerOffset (i, binSizeOf i)                  val offset = registerOffset (i, bsz i)
237                  in                  in
238                      w_string spec                      w_string spec
239                          (w_string locs                          (w_string locs
# Line 150  Line 241 
241                                   (w_sharing (SmlInfo.share i) k)))                                   (w_sharing (SmlInfo.share i) k)))
242                  end                  end
243    
244                  fun w_primitive p k m = String.str (Primitive.toIdent p) :: k m              fun w_primitive p k m =
245                    String.str (Primitive.toIdent primconf p) :: k m
                 fun w_abspath_raw p k m =  
                     w_list w_string (AbsPath.pickle p) k m  
246    
247                  val w_abspath = w_share w_abspath_raw PAP              fun warn_relabs p abs = let
248                    val relabs = if abs then "absolute" else "relative"
249                    fun ppb pps =
250                        (PP.add_newline pps;
251                         PP.add_string pps (AbsPath.name p);
252                         PP.add_newline pps;
253                         PP.add_string pps
254        "(This means that in order to be able to use the result of stabilization";
255                         PP.add_newline pps;
256                         PP.add_string pps "the library must be in the same ";
257                         PP.add_string pps relabs;
258                         PP.add_string pps " location as it is now.)";
259                         PP.add_newline pps)
260                in
261                    EM.errorNoFile (#errcons gp, anyerrors) SM.nullRegion
262                        EM.WARN
263                        (concat [AbsPath.name grouppath,
264                                 ": library referred to by ", relabs,
265                                 " pathname:"])
266                        ppb
267                end
268    
269                fun w_abspath p k m =
270                    w_list w_string (AbsPath.pickle (warn_relabs p) (p, groupdir))
271                                    k m
272    
273                  fun w_bn (DG.PNODE p) k m = "p" :: w_primitive p k m                  fun w_bn (DG.PNODE p) k m = "p" :: w_primitive p k m
274                    | w_bn (DG.BNODE { bininfo = i, ... }) k m =                | w_bn (DG.BNODE { bininfo = i, ... }) k m = let
275                      "b" :: w_abspath (BinInfo.group i)                      val (n, sy) = valOf (StableMap.find (inverseMap, i))
276                                (w_int (BinInfo.offset i) k) m                  in
277                        "b" :: w_int n (w_symbol sy k) m
278                    end
279    
280                  fun w_sn_raw (DG.SNODE n) k =                  fun w_sn_raw (DG.SNODE n) k =
281                      w_si (#smlinfo n)                      w_si (#smlinfo n)
# Line 183  Line 298 
298    
299                  fun w_privileges p = w_list w_string (StringSet.listItems p)                  fun w_privileges p = w_list w_string (StringSet.listItems p)
300    
301                  fun pickle_group (GG.GROUP g, granted) = let              fun pickle_group () = let
302                      fun w_sg (GG.GROUP g) = w_abspath (#grouppath g)                  fun w_sg (p, _) = w_abspath p
                     val req' = StringSet.difference (#required g, granted)  
303                      fun k0 m = []                      fun k0 m = []
304                      val m0 = (0, Map.empty)                      val m0 = (0, Map.empty)
305                  in                  in
306                      concat                  (* Pickle the sublibs first because we need to already
307                         (w_exports (#exports g)                   * have them back when we unpickle BNODEs. *)
308                            (w_bool (#islib g)                  concat (w_list w_sg sublibs
309                                (w_privileges req'                              (w_exports exports
310                                     (w_abspath (#grouppath g)                                  (w_bool islib
311                                           (w_list w_sg (#subgroups g) k0)))) m0)                                      (w_privileges required k0))) m0)
312                  end                  end
313                  val pickle = pickle_group (g, granted)  
314                val pickle = pickle_group ()
315                  val sz = size pickle                  val sz = size pickle
316                val offset_adjustment = sz + 4
317    
318                fun mkStableGroup spath = let
319                    val m = ref SmlInfoMap.empty
320                    fun sn (DG.SNODE (n as { smlinfo, ... })) =
321                        case SmlInfoMap.find (!m, smlinfo) of
322                            SOME n => n
323                          | NONE => let
324                                val li = map sn (#localimports n)
325                                val gi = map fsbn (#globalimports n)
326                                val sourcepath = SmlInfo.sourcepath smlinfo
327                                (* FIXME: see the comment near the other
328                                 * occurence of AbsPath.spec... *)
329                                val spec = AbsPath.spec sourcepath
330                                val offset =
331                                    getOffset smlinfo + offset_adjustment
332                                val share = SmlInfo.share smlinfo
333                                val locs = SmlInfo.errorLocation gp smlinfo
334                                val error = EM.errorNoSource grpSrcInfo locs
335                                val i = BinInfo.new { group = grouppath,
336                                                      stablepath = spath,
337                                                      spec = spec,
338                                                      offset = offset,
339                                                      share = share,
340                                                      error = error }
341                                val n = DG.BNODE { bininfo = i,
342                                                   localimports = li,
343                                                   globalimports = gi }
344              in              in
345                  Dummy.f ()                              m := SmlInfoMap.insert (!m, smlinfo, n);
346                                n
347              end              end
348    
349      fun g (getGroup, bn2env, grpSrcInfo, group, s) = let                  and sbn (DG.SB_SNODE n) = sn n
350                      | sbn (DG.SB_BNODE n) = n
351    
352                    and fsbn (f, n) = (f, sbn n)
353    
354                    fun impexp ((f, n), e) = ((f, DG.SB_BNODE (sbn n)), e)
355    
356                    val exports = SymbolMap.map impexp (#exports grec)
357                    val simap = genStableInfoMap (exports, grouppath)
358                in
359                    GG.GROUP { exports = exports,
360                               islib = islib,
361                               required = required,
362                               grouppath = grouppath,
363                               sublibs = sublibs,
364                               stableinfo = GG.STABLE simap }
365                end
366    
367                fun writeInt32 (s, i) = let
368                    val a = Word8Array.array (4, 0w0)
369                    val _ = Pack32Big.update (a, 0, LargeWord.fromInt i)
370                in
371                    BinIO.output (s, Word8Array.extract (a, 0, NONE))
372                end
373                val memberlist = rev (!members)
374    
375                val gpath = #grouppath grec
376                val spath = FilenamePolicy.mkStablePath policy gpath
377                fun delete () = deleteFile (AbsPath.name spath)
378                fun work outs =
379                    (Say.vsay ["[stabilizing ", AbsPath.name gpath, "]\n"];
380                     writeInt32 (outs, sz);
381                     BinIO.output (outs, Byte.stringToBytes pickle);
382                     app (cpb outs) memberlist;
383                     mkStableGroup spath)
384            in
385                SOME (SafeIO.perform { openIt = fn () => AbsPath.openBinOut spath,
386                                       closeIt = BinIO.closeOut,
387                                       work = work,
388                                       cleanup = delete })
389                handle exn => NONE
390            end
391        in
392            case #stableinfo grec of
393                GG.STABLE _ => SOME g
394              | GG.NONSTABLE granted =>
395                    if not (recomp gp g) then
396                        (anyerrors := true; NONE)
397                    else let
398                        fun notStable (_, GG.GROUP { stableinfo, ... }) =
399                            case stableinfo of
400                                GG.STABLE _ => false
401                              | GG.NONSTABLE _ => true
402                    in
403                        case List.filter notStable (#sublibs grec) of
404                            [] => doit granted
405                          | l => let
406                                val grammar = case l of [_] => " is" | _ => "s are"
407                                fun ppb pps = let
408                                    fun loop [] = ()
409                                      | loop ((p, GG.GROUP { grouppath, ... })
410                                              :: t) =
411                                        (PP.add_string pps
412                                            (AbsPath.name grouppath);
413                                         PP.add_string pps " (";
414                                         PP.add_string pps (AbsPath.name p);
415                                         PP.add_string pps ")";
416                                         PP.add_newline pps;
417                                         loop t)
418                                in
419                                    PP.add_newline pps;
420                                    PP.add_string pps
421                                        (concat ["because the following sub-group",
422                                                 grammar, " not stable:"]);
423                                    PP.add_newline pps;
424                                    loop l
425                                end
426                                val errcons = #errcons gp
427                                val gname = AbsPath.name (#grouppath grec)
428                            in
429                                EM.errorNoFile (errcons, anyerrors) SM.nullRegion
430                                   EM.COMPLAIN
431                                   (gname ^ " cannot be stabilized")
432                                   ppb;
433                                NONE
434                            end
435                    end
436        end
437    
438        fun loadStable (gp, getGroup, anyerrors) group = let
439    
440            val groupdir = AbsPath.dir group
441            fun bn2env n = Statenv2DAEnv.cvtMemo (fn () => bn2statenv gp n)
442    
443            val errcons = #errcons gp
444            val grpSrcInfo = (errcons, anyerrors)
445            val gname = AbsPath.name group
446            fun error l = EM.errorNoFile (errcons, anyerrors) SM.nullRegion
447                EM.COMPLAIN (concat (gname :: ": " :: l)) EM.nullErrorBody
448    
449          exception Format          exception Format
450    
451            val pcmode = #pcmode (#param gp)
452            val policy = #fnpolicy (#param gp)
453            val primconf = #primconf (#param gp)
454            val spath = FilenamePolicy.mkStablePath policy group
455            val _ = Say.vsay ["[checking stable ", gname, "]\n"]
456    
457            fun work s = let
458    
459                fun getGroup' p =
460                    case getGroup p of
461                        SOME g => g
462                      | NONE => (error ["unable to find ", AbsPath.name p];
463                                 raise Format)
464    
465          (* for getting sharing right... *)          (* for getting sharing right... *)
466          val m = ref IntBinaryMap.empty          val m = ref IntBinaryMap.empty
467          val next = ref 0          val next = ref 0
# Line 259  Line 515 
515          fun r_int () = let          fun r_int () = let
516              fun loop n = let              fun loop n = let
517                  val w8 = Byte.charToByte (rd ())                  val w8 = Byte.charToByte (rd ())
518                  val n' = n * 0w128 + Word8.toLargeWord (Word8.andb (w8, 0w127))                      val n' =
519                            n * 0w128 + Word8.toLargeWord (Word8.andb (w8, 0w127))
520              in              in
521                  if Word8.andb (w8, 0w128) = 0w0 then n' else loop n'                  if Word8.andb (w8, 0w128) = 0w0 then n' else loop n'
522              end              end
# Line 292  Line 549 
549              loop []              loop []
550          end          end
551    
552          val r_abspath = let              fun r_abspath () =
553              fun r_abspath_raw () =                  case AbsPath.unpickle pcmode (r_list r_string (), groupdir) of
                 case AbsPath.unpickle (r_list r_string ()) of  
554                      SOME p => p                      SOME p => p
555                    | NONE => raise Format                    | NONE => raise Format
             fun unUAP (UAP x) = x  
               | unUAP _ = raise Format  
         in  
             r_share r_abspath_raw UAP unUAP  
         end  
556    
557          val r_symbol = let          val r_symbol = let
558              fun r_symbol_raw () = let              fun r_symbol_raw () = let
# Line 334  Line 585 
585          val r_filter = r_option r_ss          val r_filter = r_option r_ss
586    
587          fun r_primitive () =          fun r_primitive () =
588              case Primitive.fromIdent (rd ()) of                  case Primitive.fromIdent primconf (rd ()) of
589                  NONE => raise Format                  NONE => raise Format
590                | SOME p => p                | SOME p => p
591    
# Line 353  Line 604 
604              val error = EM.errorNoSource grpSrcInfo locs              val error = EM.errorNoSource grpSrcInfo locs
605          in          in
606              BinInfo.new { group = group,              BinInfo.new { group = group,
607                                  stablepath = spath,
608                            error = error,                            error = error,
609                            spec = spec,                            spec = spec,
610                            offset = offset,                            offset = offset,
611                            share = share }                            share = share }
612          end          end
613    
614                fun r_sg () = let
615                    val p = r_abspath ()
616                in
617                    (p, getGroup' p)
618                end
619    
620                val sublibs = r_list r_sg ()
621    
622          fun r_bn () =          fun r_bn () =
623              case rd () of              case rd () of
624                  #"p" => DG.PNODE (r_primitive ())                  #"p" => DG.PNODE (r_primitive ())
625                | #"b" => let                | #"b" => let
626                      val p = r_abspath ()                          val n = r_int ()
627                      val os = r_int ()                          val sy = r_symbol ()
628                      val GG.GROUP { stableinfo, ... } = getGroup p                          val (_, GG.GROUP { exports = slexp, ... }) =
629                                List.nth (sublibs, n) handle _ => raise Format
630                  in                  in
631                      case stableinfo of                          case SymbolMap.find (slexp, sy) of
632                          GG.NONSTABLE _ => raise Format                              SOME ((_, DG.SB_BNODE (n as DG.BNODE _)), _) => n
633                        | GG.STABLE im =>                            | _ => raise Format
                             (case IntBinaryMap.find (im, os) of  
                                  NONE => raise Format  
                                | SOME n => n)  
634                  end                  end
635                | _ => raise Format                | _ => raise Format
636    
# Line 399  Line 657 
657              val sy = r_symbol ()              val sy = r_symbol ()
658              val (f, n) = r_fsbn ()      (* really reads farbnodes! *)              val (f, n) = r_fsbn ()      (* really reads farbnodes! *)
659              val e = bn2env n              val e = bn2env n
660                    (* put a filter in front to avoid having the FCTENV being
661                     * queried needlessly (this avoids spurious module loadings) *)
662                    val e' = DAEnv.FILTER (SymbolSet.singleton sy, e)
663          in          in
664              (sy, ((f, DG.SB_BNODE n), e)) (* coerce to farsbnodes *)                  (sy, ((f, DG.SB_BNODE n), e')) (* coerce to farsbnodes *)
665          end          end
666    
667          fun r_exports () =          fun r_exports () =
# Line 409  Line 670 
670          fun r_privileges () =          fun r_privileges () =
671              StringSet.addList (StringSet.empty, r_list r_string ())              StringSet.addList (StringSet.empty, r_list r_string ())
672    
         fun unpickle_group () = let  
673              val exports = r_exports ()              val exports = r_exports ()
674              val islib = r_bool ()              val islib = r_bool ()
675              val required = r_privileges ()              val required = r_privileges ()
676              val grouppath = r_abspath ()              val simap = genStableInfoMap (exports, group)
             val subgroups = r_list (getGroup o r_abspath) ()  
             (* find all the exported bnodes that are in the same group: *)  
             fun add (((_, DG.SB_BNODE (n as DG.BNODE b)), _), m) = let  
                     val i = #bininfo b  
                 in  
                     if AbsPath.compare (BinInfo.group i, group) = EQUAL then  
                         IntBinaryMap.insert (m, BinInfo.offset i, n)  
                     else m  
                 end  
               | add (_, m) = m  
             val simap = SymbolMap.foldl add IntBinaryMap.empty exports  
677          in          in
678              GG.GROUP { exports = exports,              GG.GROUP { exports = exports,
679                         islib = islib,                         islib = islib,
680                         required = required,                         required = required,
681                         grouppath = grouppath,                         grouppath = group,
682                         subgroups = subgroups,                         sublibs = sublibs,
683                         stableinfo = GG.STABLE simap }                         stableinfo = GG.STABLE simap }
684          end          end
685      in      in
686          SOME (unpickle_group ()) handle Format => NONE          SOME (SafeIO.perform { openIt = fn () => AbsPath.openBinIn spath,
687                                   closeIt = BinIO.closeIn,
688                                   work = work,
689                                   cleanup = fn () => () })
690            handle Format => NONE
691      end      end
692  end  end
693    
694    end (* local *)

Legend:
Removed from v.307  
changed lines
  Added in v.345

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0