Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /sml/trunk/src/cm/bootstrap/btcompile.sml
ViewVC logotype

Diff of /sml/trunk/src/cm/bootstrap/btcompile.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 372, Tue Jul 6 09:05:57 1999 UTC revision 537, Fri Feb 18 17:20:16 2000 UTC
# Line 7  Line 7 
7   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)   * Author: Matthias Blume (blume@kurims.kyoto-u.ac.jp)
8   *)   *)
9  functor BootstrapCompileFn (structure MachDepVC: MACHDEP_VC  functor BootstrapCompileFn (structure MachDepVC: MACHDEP_VC
10                              val os: SMLofNJ.SysInfo.os_kind) :> sig                              val os : SMLofNJ.SysInfo.os_kind
11                                val load_plugin : string -> bool) :> sig
12      val make' : string option -> bool      val make' : string option -> bool
13      val make : unit -> bool      val make : unit -> bool
14      val deliver' : string option -> bool      val deliver' : string option -> bool
15      val deliver : unit -> bool      val deliver : unit -> bool
16      val reset : unit -> unit      val reset : unit -> unit
17        val symval : string -> { get: unit -> int option, set: int option -> unit }
18  end = struct  end = struct
19    
20      structure EM = GenericVC.ErrorMsg      structure EM = GenericVC.ErrorMsg
# Line 25  Line 27 
27                                        val os = os)                                        val os = os)
28      structure P = OS.Path      structure P = OS.Path
29      structure F = OS.FileSys      structure F = OS.FileSys
30        structure BF = MachDepVC.Binfile
31    
32      (* Since the bootstrap compiler never executes any of the code      val arch = MachDepVC.architecture
33       * it produces, we don't need any dynamic values.  Therefore,      val osname = FilenamePolicy.kind2name os
34       * we create RecompPersstate (but not FullPersstate!) and      val archos = concat [arch, "-", osname]
35       * instantiate Recomp as well as RecompTraversal.  
36       * Since RecompPersstate is not part of any surrounding FullPersstate,      fun init_servers (GroupGraph.GROUP { grouppath, ... }) =
37       * function "discard_value" simply does nothing. *)          Servers.cmb { archos = archos,
38      structure RecompPersstate =                        root = SrcPath.descr grouppath }
         RecompPersstateFn (structure MachDepVC = MachDepVC  
                            val discard_code = true  
                            fun stable_value_present i = false  
                            fun new_smlinfo i = ())  
39    
40      structure Recomp = RecompFn (structure PS = RecompPersstate)      structure Compile = CompileFn (structure MachDepVC = MachDepVC
41      structure RT = CompileGenericFn (structure CT = Recomp)                                     val compile_there =
42                                           Servers.compile o SrcPath.descr)
43    
44      fun recomp gp g = isSome (RT.group gp g)      structure BFC = BfcFn (structure MachDepVC = MachDepVC)
45    
46      (* instantiate Stabilize... *)      (* instantiate Stabilize... *)
47      structure Stabilize =      structure Stabilize =
48          StabilizeFn (fun bn2statenv gp i = #1 (#stat (valOf (RT.bnode' gp i)))          StabilizeFn (structure MachDepVC = MachDepVC
49                       fun warmup (i, p) = ()                       fun recomp gp g = let
50                       val recomp = recomp                           val { store, get } = BFC.new ()
51                       val transfer_state = RecompPersstate.transfer_state)                           val _ = init_servers g
52                             val { group, ... } =
53                                 Compile.newTraversal (fn _ => fn _ => (),
54                                                       store, g)
55                         in
56                             case Servers.withServers (fn () => group gp) of
57                                 NONE => NONE
58                               | SOME _ => SOME get
59                         end
60                         val getII = Compile.getII)
61    
62      (* ... and Parse *)      (* ... and Parse *)
63      structure Parse = ParseFn (structure Stabilize = Stabilize      structure Parse = ParseFn (structure Stabilize = Stabilize
64                                   val evictStale = Compile.evictStale
65                                 fun pending () = SymbolMap.empty)                                 fun pending () = SymbolMap.empty)
66    
67      (* copying an input file to an output file safely... *)      fun mkBootList g = let
68      fun copyFile (oi, ci, oo, co, inp, outp, eof) (inf, outf) = let          fun listName p =
69          fun workIn is = let              case P.fromString p of
70              fun workOut os = let                  { vol = "", isAbs = false, arcs = _ :: arc1 :: arcn } => let
71                  val N = 4096                      fun win32name () =
72                  fun loop () =                          concat (arc1 ::
73                      if eof is then () else (outp (os, inp (is, N)); loop ())                                  foldr (fn (a, r) => "\\" :: a :: r) [] arcn)
             in  
                 loop ()  
             end  
74          in          in
75              SafeIO.perform { openIt = fn () => oo outf,                      case os of
76                               closeIt = co,                          SMLofNJ.SysInfo.WIN32 => win32name ()
77                               work = workOut,                        | _ => P.toString { isAbs = false, vol = "",
78                               cleanup = fn () =>                                            arcs = arc1 :: arcn }
                                  (F.remove outf handle _ => ()) }  
79          end          end
80                  | _ => raise Fail ("BootstrapCompile:listName: bad name: " ^ p)
81      in      in
82          SafeIO.perform { openIt = fn () => oi inf,          MkBootList.group listName g
                          closeIt = ci,  
                          work = workIn,  
                          cleanup = fn () => () }  
83      end      end
84    
85      val copyTextFile =      fun mk_compile deliver root dbopt = let
         copyFile (TextIO.openIn, TextIO.closeIn,  
                   AutoDir.openTextOut, TextIO.closeOut,  
                   TextIO.inputN, TextIO.output, TextIO.endOfStream)  
   
     val copyBinFile =  
         copyFile (BinIO.openIn, BinIO.closeIn,  
                   AutoDir.openBinOut, BinIO.closeOut,  
                   BinIO.inputN, BinIO.output, BinIO.endOfStream)  
   
     fun compile deliver dbopt = let  
86    
87          val dirbase = getOpt (dbopt, BtNames.dirbaseDefault)          val dirbase = getOpt (dbopt, BtNames.dirbaseDefault)
88          val pcmodespec = BtNames.pcmodespec          val pcmodespec = BtNames.pcmodespec
89          val initgspec = BtNames.initgspec          val initgspec = BtNames.initgspec
90          val maingspec = BtNames.maingspec          val maingspec = BtNames.maingspec
91    
92          val arch = MachDepVC.architecture          val bindir = concat [dirbase, BtNames.bin_infix, archos]
93          val osname = FilenamePolicy.kind2name os          val bootdir = concat [dirbase, BtNames.boot_infix, archos]
         val bindir = concat [dirbase, ".bin.", arch, "-", osname]  
         val bootdir = concat [dirbase, ".boot.", arch, "-", osname]  
   
         fun listName (p, copy) =  
             case P.fromString p of  
                 { vol = "", isAbs = false, arcs = arc0 :: arc1 :: arcn } => let  
                     fun win32name () =  
                         concat (arc1 ::  
                                 foldr (fn (a, r) => "\\" :: a :: r) [] arcn)  
                     fun doCopy () = let  
                         val bootpath =  
                             P.toString { isAbs = false, vol = "",  
                                          arcs = bootdir :: arc1 :: arcn }  
                     in  
                         copyBinFile (p, bootpath)  
                     end  
                 in  
                     if copy andalso arc0 = bindir then doCopy () else ();  
                     case os of  
                         SMLofNJ.SysInfo.WIN32 => win32name ()  
                       | _ => P.toString { isAbs = false, vol = "",  
                                           arcs = arc1 :: arcn }  
                 end  
               | _ => raise Fail "BootstrapCompile:listName: bad name"  
94    
95          val keep_going = EnvConfig.getSet StdConfig.keep_going NONE          val keep_going = #get StdConfig.keep_going ()
96    
97          val ctxt = SrcPath.cwdContext ()          val ctxt = SrcPath.cwdContext ()
98    
99          val pidfile = P.joinDirFile { dir = bootdir, file = "RTPID" }          val listfile = P.joinDirFile { dir = bootdir, file = BtNames.bootlist }
100          val listfile = P.joinDirFile { dir = bootdir, file = "BOOTLIST" }          val pidmapfile = P.joinDirFile { dir = bootdir, file = BtNames.pidmap }
101    
102          val pcmode = PathConfig.new ()          val pcmode = PathConfig.new ()
103          val _ = PathConfig.processSpecFile (pcmode, pcmodespec)          val _ = PathConfig.processSpecFile (pcmode, pcmodespec)
# Line 134  Line 105 
105          fun stdpath s = SrcPath.standard pcmode { context = ctxt, spec = s }          fun stdpath s = SrcPath.standard pcmode { context = ctxt, spec = s }
106    
107          val initgspec = stdpath initgspec          val initgspec = stdpath initgspec
108          val maingspec = stdpath maingspec          val maingspec =
109                case root of
110          val cmifile = valOf (SrcPath.reAnchoredName (initgspec, bootdir))                  NONE => stdpath maingspec
111              handle Option => raise Fail "BootstrapCompile: cmifile"                | SOME r => SrcPath.fromDescr pcmode r
112    
113          val fnpolicy =          val fnpolicy =
114              FilenamePolicy.separate { bindir = bindir, bootdir = bootdir }              FilenamePolicy.separate { bindir = bindir, bootdir = bootdir }
115                  { arch = arch, os = os }                  { arch = arch, os = os }
116    
117          fun mkParam { primconf, pervasive, pervcorepids }          fun mkParam corenv =
118                      { corenv } =              { fnpolicy = fnpolicy,
             { primconf = primconf,  
               fnpolicy = fnpolicy,  
119                pcmode = pcmode,                pcmode = pcmode,
120                symenv = SSV.env,                symval = SSV.symval,
121                keep_going = keep_going,                keep_going = keep_going,
122                pervasive = pervasive,                corenv = corenv }
               corenv = corenv,  
               pervcorepids = pervcorepids }  
123    
124          val emptydyn = E.dynamicPart E.emptyEnv          val emptydyn = E.dynamicPart E.emptyEnv
125    
126          (* first, build an initial GeneralParam.info, so we can          (* first, build an initial GeneralParam.info, so we can
127           * deal with the pervasive env and friends... *)           * deal with the pervasive env and friends... *)
128    
129          val primconf = Primitive.primEnvConf          val param_nocore = mkParam BE.emptyEnv
         val mkInitParam = mkParam { primconf = primconf,  
                                     pervasive = E.emptyEnv,  
                                     pervcorepids = PidSet.empty }  
   
         val param_nocore = mkInitParam { corenv = BE.staticPart BE.emptyEnv }  
130    
131          val groupreg = GroupReg.new ()          val groupreg = GroupReg.new ()
132          val errcons = EM.defaultConsumer ()          val errcons = EM.defaultConsumer ()
133          val ginfo_nocore = { param = param_nocore, groupreg = groupreg,          val ginfo_nocore = { param = param_nocore, groupreg = groupreg,
134                               errcons = errcons }                               errcons = errcons }
135    
136          fun main_compile arg = let          fun mk_main_compile arg = let
137              val { rts, core, pervasive, primitives, binpaths } = arg  
138                val { core = core_n, pervasive = perv_n, others, src } = arg
139    
140              val ovldR = GenericVC.Control.overloadKW              val ovldR = GenericVC.Control.overloadKW
141              val savedOvld = !ovldR              val savedOvld = !ovldR
142              val _ = ovldR := true              val _ = ovldR := true
143              val ts = RT.start ()              val sbnode = Compile.newSbnodeTraversal ()
144    
145              (* here we build a new gp -- the one that uses the freshly              (* here we build a new gp -- the one that uses the freshly
146               * brewed pervasive env, core env, and primitives *)               * brewed pervasive env, core env, and primitives *)
147              val core = valOf (RT.sbnode ts ginfo_nocore core)              val core = valOf (sbnode ginfo_nocore core_n)
148              val corenv =  CoerceEnv.es2bs (#1 (#stat core))              val corenv =
149              val core_sym = #1 (#sym core)                  BE.mkenv { static = CoerceEnv.es2bs (#env (#statenv core ())),
150                               symbolic = #symenv core (),
151                               dynamic = BE.dynamicPart BE.emptyEnv }
152    
153              (* The following is a bit of a hack (but corenv is a hack anyway):              (* The following is a bit of a hack (but corenv is a hack anyway):
154               * As soon as we have core available, we have to patch the               * As soon as we have core available, we have to patch the
155               * ginfo to include the correct corenv (because virtually               * ginfo to include the correct corenv (because virtually
156               * everybody else needs access to corenv). *)               * everybody else needs access to corenv). *)
157              val param_justcore = mkInitParam { corenv = corenv }              val param = mkParam corenv
158              val ginfo_justcore = { param = param_justcore, groupreg = groupreg,              val ginfo =
159                                     errcons = errcons }                  { param = param, groupreg = groupreg, errcons = errcons }
160    
161              fun rt n = valOf (RT.sbnode ts ginfo_justcore n)              val perv_fsbnode = (NONE, perv_n)
             val rts = rt rts  
             val pervasive = rt pervasive  
162    
163              fun sn2pspec (name, n) = let              fun rt n = valOf (sbnode ginfo n)
164                  val { stat = (s, sp), sym = (sy, syp), ctxt, bfc } = rt n              val pervasive = rt perv_n
165                  val env =  
166                      E.mkenv { static = s, symbolic = sy, dynamic = emptydyn }              fun rt2ie (n, ii: IInfo.info) = let
167                  val pidInfo = { statpid = sp, sympid = syp, ctxt = ctxt }                  val bs = CoerceEnv.es2bs (#env (#statenv ii ()))
168                    val (dae, mkDomain) = Statenv2DAEnv.cvt bs
169              in              in
170                  { name = name, env = env, pidInfo = pidInfo }                  { ie = ((NONE, n), dae), mkDomain = mkDomain }
171              end              end
172    
173              val pspecs = map sn2pspec primitives              fun add_exports (n, exports) = let
174                    val { ie, mkDomain } = rt2ie (n, rt n)
175                    fun ins_ie (sy, m) = SymbolMap.insert (m, sy, ie)
176                in
177                    SymbolSet.foldl ins_ie exports (mkDomain ())
178                end
179    
180                val special_exports = let
181                    fun mkie (n, rtn) = #ie (rt2ie (n, rtn))
182                in
183                    foldl SymbolMap.insert' SymbolMap.empty
184                          [(PervCoreAccess.pervStrSym, mkie (perv_n, pervasive)),
185                           (PervCoreAccess.coreStrSym, mkie (core_n, core))]
186                end
187    
188                val init_group = GroupGraph.GROUP
189                    { exports = foldl add_exports special_exports others,
190                      kind = GroupGraph.LIB (StringSet.empty, []),
191                      required = StringSet.singleton "primitive",
192                      grouppath = initgspec,
193                      sublibs = [] }
194    
195              val _ = ovldR := savedOvld              val _ = ovldR := savedOvld
196    
197              (* To be consistent, we would have to call RT.finish here.              (* At this point we check if there is a usable stable version
198               * However, this isn't really necessary because no dynamic               * of the init group.  If so, we continue to use that. *)
199               * values exist and we drop "ts" at this point anyway. *)              val (stab, init_group, deliver) = let
200              (* val _ = RT.finish ts *)                  fun nostabinit () =
201                        if deliver then
202              (* The following is a hack but must be done for both the symbolic                          let val stabarg = { group = init_group,
203               * and later the dynamic part of the core environment:                                              anyerrors = ref false }
              * we must include these parts in the pervasive env. *)  
             val perv_sym = E.layerSymbolic (#1 (#sym pervasive), core_sym)  
   
             val param =  
                 mkParam { primconf = Primitive.configuration pspecs,  
                           pervasive = E.mkenv { static = #1 (#stat pervasive),  
                                                 symbolic = perv_sym,  
                                                 dynamic = emptydyn },  
                           pervcorepids =  
                             PidSet.addList (PidSet.empty,  
                                             [#2 (#stat pervasive),  
                                              #2 (#sym pervasive),  
                                              #2 (#stat core)]) }  
                         { corenv = corenv }  
             val stab =  
                 if deliver then SOME true else NONE  
204          in          in
205              case Parse.parse NONE param stab maingspec of                              case Stabilize.stabilize ginfo stabarg of
206                  NONE => false                                  SOME g => (SOME true, g, true)
207                | SOME (g, gp) =>                                (* if we cannot stabilize the init group, then
208                      if recomp gp g then let                                 * as a first remedy we turn delivery off *)
209                          val rtspid = PS.toHex (#2 (#stat rts))                                | NONE => (NONE, init_group, false)
210                          fun writeList s = let                          end
211                              fun add ((p, flag), l) = let                      else (NONE, init_group, false)
212                                  val n = listName (p, true)              in
213                              in                  if VerifyStable.verify ginfo init_group then let
214                                  if flag then n :: l else l                      fun load () =
215                              end                          Stabilize.loadStable ginfo
216                              fun transcribe (p, NONE) = listName (p, true)                            { getGroup = fn _ =>
217                                | transcribe (p, SOME (off, desc)) =                                 raise Fail "CMB: initial getGroup",
218                                  concat [listName (p, false),                              anyerrors = ref false }
219                                          "@", Int.toString off, ":", desc]                            initgspec
220                              val bootstrings =                  in
221                                  foldr add (map transcribe (MkBootList.group g))                      case load () of
222                                        binpaths                          NONE => nostabinit ()
223                              fun show str =                        | SOME g =>
224                                  (TextIO.output (s, str);                              (if deliver then SOME true else NONE, g, deliver)
225                    end
226                    else nostabinit ()
227                end
228    
229                val gr = GroupReg.new ()
230                val _ = GroupReg.register gr (initgspec, src)
231    
232                val parse_arg =
233                    { load_plugin = load_plugin,
234                      gr = gr,
235                      param = param,
236                      stabflag = stab,
237                      group = maingspec,
238                      init_group = init_group,
239                      paranoid = true }
240            in
241                Servers.dirbase dirbase;
242                Parse.reset ();
243                case Parse.parse parse_arg of
244                    NONE => NONE
245                  | SOME (g, gp) => let
246                        fun thunk () = let
247                            val _ = init_servers g
248                            fun store _ = ()
249                            val { group = recomp, ... } =
250                                Compile.newTraversal (fn _ => fn _ => (), store, g)
251                            val res =
252                                Servers.withServers (fn () => recomp gp)
253                        in
254                            if isSome res then let
255                                val { l = bootitems, ss } = mkBootList g
256                                val stablelibs = Reachable.stableLibsOf g
257                                fun inSet bi = StableSet.member (ss, bi)
258                                val frontiers =
259                                    SrcPathMap.map (Reachable.frontier inSet)
260                                                   stablelibs
261                                fun writeBootList s = let
262                                    fun wr str = TextIO.output (s, str ^ "\n")
263                                in
264                                    app wr bootitems
265                                end
266                                fun writePid s i = let
267                                    val sn = BinInfo.stablename i
268                                    val os = BinInfo.offset i
269                                    val descr = BinInfo.describe i
270                                    val bfc = BFC.getStable
271                                        { stable = sn, offset = os, descr = descr }
272                                in
273                                    case BF.exportPidOf bfc of
274                                        NONE => ()
275                                      | SOME pid =>
276                                            (TextIO.output (s, " ");
277                                             TextIO.output (s, PS.toHex pid))
278                                end
279                                fun writePidLine s (p, set) =
280                                    if StableSet.isEmpty set then ()
281                                    else (TextIO.output (s, SrcPath.descr p);
282                                          StableSet.app (writePid s) set;
283                                   TextIO.output (s, "\n"))                                   TextIO.output (s, "\n"))
284                          in                              fun writePidMap s =
285                              app show bootstrings                                  SrcPathMap.appi (writePidLine s) frontiers
                         end  
286                      in                      in
287                        if deliver then                        if deliver then
288                         (SafeIO.perform { openIt = fn () =>                                  (SafeIO.perform
289                                             AutoDir.openTextOut pidfile,                                   { openIt = fn () =>
                                          closeIt = TextIO.closeOut,  
                                          work = fn s =>  
                                            TextIO.output (s, rtspid ^ "\n"),  
                                          cleanup = fn () =>  
                                            OS.FileSys.remove pidfile  
                                            handle _ => () };  
                         SafeIO.perform { openIt = fn () =>  
290                                             AutoDir.openTextOut listfile,                                             AutoDir.openTextOut listfile,
291                                           closeIt = TextIO.closeOut,                                           closeIt = TextIO.closeOut,
292                                           work = writeList,                                     work = writeBootList,
293                                           cleanup = fn () =>                                     cleanup = fn _ =>
294                                             OS.FileSys.remove listfile                                             OS.FileSys.remove listfile
295                                             handle _ => () };                                             handle _ => () };
296                          copyTextFile (SrcPath.osstring initgspec, cmifile);                                   SafeIO.perform
297                          Say.say ["Runtime System PID is: ", rtspid, "\n"])                                   { openIt = fn () =>
298                                           AutoDir.openTextOut pidmapfile,
299                                       closeIt = TextIO.closeOut,
300                                       work = writePidMap,
301                                       cleanup = fn _ =>
302                                           OS.FileSys.remove pidmapfile
303                                           handle _ => () };
304                                     Say.say
305                                          ["New boot directory has been built.\n"])
306                        else ();                        else ();
307                        true                        true
308                      end                      end
309                      else false                      else false
310          end handle Option => (RT.reset (); false)                      end
311                    in
312                        SOME ((g, gp, pcmode), thunk)
313                    end
314            end handle Option => (Compile.reset (); NONE)
315                     (* to catch valOf failures in "rt" *)                     (* to catch valOf failures in "rt" *)
316      in      in
317          case BuildInitDG.build ginfo_nocore initgspec of          case BuildInitDG.build ginfo_nocore initgspec of
318              SOME x => main_compile x              SOME x => mk_main_compile x
319            | NONE => false            | NONE => NONE
320        end
321    
322        fun compile deliver dbopt =
323            case mk_compile deliver NONE dbopt of
324                NONE => false
325              | SOME (_, thunk) => thunk ()
326    
327        local
328            fun slave (dirbase, root) =
329                case mk_compile false (SOME root) (SOME dirbase) of
330                    NONE => NONE
331                  | SOME ((g, gp, pcmode), _) => let
332                        val trav = Compile.newSbnodeTraversal () gp
333                        fun trav' sbn = isSome (trav sbn)
334                    in
335                        SOME (g, trav', pcmode)
336                    end
337        in
338            val _ = CMBSlaveHook.init archos slave
339      end      end
340    
341        fun reset () =
342            (Compile.reset ();
343             Parse.reset ())
344    
345      val make' = compile false      val make' = compile false
346      fun make () = make' NONE      fun make () = make' NONE
347      val deliver' = compile true      fun deliver' arg =
348            SafeIO.perform { openIt = fn () => (),
349                             closeIt = reset,
350                             work = fn () => compile true arg,
351                             cleanup = fn _ => () }
352      fun deliver () = deliver' NONE      fun deliver () = deliver' NONE
353      fun reset () =      val symval = SSV.symval
         (RecompPersstate.reset ();  
          RT.reset ();  
          Recomp.reset ();  
          Parse.reset ())  
354  end  end

Legend:
Removed from v.372  
changed lines
  Added in v.537

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0