Home My Page Projects Code Snippets Project Openings SML/NJ
Summary Activity Forums Tracker Lists Tasks Docs Surveys News SCM Files

SCM Repository

[smlnj] Diff of /ml-lex/trunk/lexgen.sml
ViewVC logotype

Diff of /ml-lex/trunk/lexgen.sml

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

sml/branches/SMLNJ/src/ml-lex/lexgen.sml revision 418, Fri Sep 3 23:51:27 1999 UTC sml/trunk/src/ml-lex/lexgen.sml revision 1286, Thu Oct 17 14:02:07 2002 UTC
# Line 45  Line 45 
45                  and characters.                  and characters.
46          02/08/95 (jhr) Modified to use new List module interface.          02/08/95 (jhr) Modified to use new List module interface.
47          05/18/95 (jhr) changed Vector.vector to Vector.fromList          05/18/95 (jhr) changed Vector.vector to Vector.fromList
48  *  
  * $Log: lexgen.sml,v $  
  * Revision 1.1.1.1  1998/04/08 18:40:10  george  
  * Version 110.5  
  *  
49   * Revision 1.9  1998/01/06 19:23:53  appel   * Revision 1.9  1998/01/06 19:23:53  appel
50   *   added %posarg feature to permit position-within-file to be passed   *   added %posarg feature to permit position-within-file to be passed
51   *   as a parameter to makeLexer   *   as a parameter to makeLexer
# Line 72  Line 68 
68  # Revision 1.3  1997/10/04  03:52:13  dbm  # Revision 1.3  1997/10/04  03:52:13  dbm
69  #   Fix to remove output file if ml-lex fails.  #   Fix to remove output file if ml-lex fails.
70  #  #
71  # Revision 1.2  1997/05/06  01:12:38  george          10/17/02 (jhr) changed bad character error message to properly
72  # *** empty log message ***                  print the bad character.
73  #          10/17/02 (jhr) fixed skipws to use Char.isSpace test.
  * Revision 1.2  1996/02/26  15:02:27  george  
  *    print no longer overloaded.  
  *    use of makestring has been removed and replaced with Int.toString ..  
  *    use of IO replaced with TextIO  
  *  
  * Revision 1.1.1.1  1996/01/31  16:01:15  george  
  * Version 109  
  *  
74   *)   *)
75    
76  (* Subject: lookahead in sml-lex  (* Subject: lookahead in sml-lex
# Line 436  Line 424 
424                num (explode s, 0)                num (explode s, 0)
425              end              end
426    
427        fun skipws () = (case nextch()        fun skipws () = let val ch = nextch()
428               of #" " => skipws()              in
429                | #"\t" => skipws()                if Char.isSpace ch
430                | #"\n" => skipws()                  then skipws()
431                | x => x                  else ch
432              (* end case *))              end
433    
434        and nextch () = getch(!LexBuf)        and nextch () = getch(!LexBuf)
435    
# Line 513  Line 501 
501                               end                               end
502                          in ID(getID [ch])                          in ID(getID [ch])
503                          end                          end
504                        else (prSynErr ("bad character: " ^ String.str ch))                        else prSynErr (String.concat[
505                              "bad character: \"", Char.toString ch, "\""
506                            ])
507          in NextTok := makeTok()          in NextTok := makeTok()
508          end          end
509          | 1 => let val rec makeTok = fn () =>          | 1 => let val rec makeTok = fn () =>
# Line 619  Line 609 
609          in NextTok := makeTok()          in NextTok := makeTok()
610          end          end
611          | 2 => NextTok :=          | 2 => NextTok :=
612               (case skipws()                 (case skipws() of
613                   of #"(" => let                    #"(" =>
614                          fun GetAct (lpct,x) = (case getch(!LexBuf)                    let
615                                 of #"(" => GetAct (lpct+1, #"("::x)                      fun loop_to_end (backslash, x) =
616                                  | #")" => if lpct = 0 then (implode (rev x))                        let
617                                                        else GetAct(lpct-1, #")"::x)                          val c    = getch (! LexBuf)
618                                  | y => GetAct(lpct,y::x)                          val notb = not backslash
619                                (* end case *))                          val nstr = c :: x
620                          in ACTION (GetAct (0,nil))                        in
621                            case c of
622                              #"\"" => if notb then nstr
623                                       else loop_to_end (false, nstr)
624                            | _ => loop_to_end (c = #"\\" andalso notb, nstr)
625                          end
626                        fun GetAct (lpct, x) =
627                          let
628                            val c    = getch (! LexBuf)
629                            val nstr = c :: x
630                          in
631                            case c of
632                              #"\"" => GetAct (lpct, loop_to_end (false, nstr))
633                            | #"(" => GetAct (lpct + 1, nstr)
634                            | #")" => if lpct = 0 then implode (rev x)
635                                      else GetAct(lpct - 1, nstr)
636                            | _ => GetAct(lpct, nstr)
637                          end
638                      in
639                        ACTION (GetAct (0,nil))
640                          end                          end
641                   | #";" => SEMI                   | #";" => SEMI
642                   | c => (prSynErr ("invalid character " ^ String.str c)))                   | c => (prSynErr ("invalid character " ^ String.str c)))
# Line 912  Line 921 
921    
922           fun GetEndLeaf t =           fun GetEndLeaf t =
923             let fun f ((tl,el)::r) = if (tl=t) then el else f r             let fun f ((tl,el)::r) = if (tl=t) then el else f r
924                     | f _ = raise Match
925             in f tcpairs             in f tcpairs
926             end             end
927           fun GetTrConLeaves s =           fun GetTrConLeaves s =
# Line 987  Line 997 
997    
998              val _ = say "val s = map f (rev (tl (rev s))) \n"              val _ = say "val s = map f (rev (tl (rev s))) \n"
999              val _ = say "exception LexHackingError \n"              val _ = say "exception LexHackingError \n"
1000              val _ = say "fun look ((j,x)::r, i) = if i = j then x else look(r, i) \n"              val _ = say "fun look ((j,x)::r, i: int) = if i = j then x else look(r, i) \n"
1001              val _ = say "  | look ([], i) = raise LexHackingError\n"              val _ = say "  | look ([], i) = raise LexHackingError\n"
1002    
1003          val _ = say "fun g {fin=x, trans=i} = {fin=x, trans=look(s,i)} \n"          val _ = say "fun g {fin=x, trans=i} = {fin=x, trans=look(s,i)} \n"
1004           in res           in res
1005          end          end
1006    
1007            fun makeTable args = let
1008                fun makeOne (a, b) = let
1009                    fun item (N i) = ("N", i)
1010                      | item (T i) = ("T", i)
1011                      | item (D i) = ("D", i)
1012                    fun makeItem x = let
1013                        val (t, n) = item x
1014                    in
1015                        app say ["(", t, " ", Int.toString n, ")"]
1016                    end
1017                    fun makeItems [] = ()
1018                      | makeItems [x] = makeItem x
1019                      | makeItems (hd :: tl) =
1020                        (makeItem hd; say ","; makeItems tl)
1021                in
1022                    say "{fin = [";
1023                    makeItems b;
1024                    app say ["], trans = ", a, "}"]
1025                end
1026                fun mt ([], []) = ()
1027                  | mt ([a], [b]) = makeOne (a, b)
1028                  | mt (a :: a', b :: b') =
1029                    (makeOne (a, b); say ",\n"; mt (a', b'))
1030                  | mt _ = raise Match
1031            in
1032                mt args
1033            end
1034    
1035    (*
1036          fun makeTable(nil,nil) = ()          fun makeTable(nil,nil) = ()
1037            | makeTable(a::a',b::b') =            | makeTable(a::a',b::b') =
1038               let fun makeItems nil = ()               let fun makeItems nil = ()
# Line 1014  Line 1053 
1053                    then ()                    then ()
1054                    else (say ",\n"; makeTable(a',b')))                    else (say ",\n"; makeTable(a',b')))
1055                end                end
1056    *)
1057    
1058          fun msg x = TextIO.output(TextIO.stdOut, x)          fun msg x = TextIO.output(TextIO.stdOut, x)
1059    

Legend:
Removed from v.418  
changed lines
  Added in v.1286

root@smlnj-gforge.cs.uchicago.edu
ViewVC Help
Powered by ViewVC 1.0.0