module type Encoding = sig
  val lexeme : Sedlexing.lexbuf -> string
end

exception EOF

val token : Lexbuf.t -> Tokens.token
val discard : Lexbuf.t -> unit