lexer
- 网络词法分析器；词法分析程序；词法分扫描器类
lexerlexer
词法分析器
...yylval，为达到此效果，(yylval)必须在词法分析器(lexer)中被声明为一个外部变量(extern variable).原来的YACC忽略了这点， …
词法分析程序
信息词汇英语翻译(E-L) ... lexeme 语义 lexer 词法分析程序 lexical analyzer 词法分析程序 ...
词法分扫描器类
文法文件一般包括header块、options块、文法分析器类（parser）及规则定义、词法分扫描器类（lexer）及token定义。其中最 …
词法分析部分
下面就是我们的主程序，它负责将词法分析部分（Lexer）和语法分析部分（Parser）驱动起来：public class Main {
词法说明器
（6）词法说明器（Lexer）类词法说明器类标识文本应用 的语言，还断定 在文本中怎样 标识符号 。
1
The lexer actually does some of the work of figuring out where in a message it is, but the parser still ties everything together.
lexer实际上完成了指出它位于消息中的哪个地方的一些任务，但是解析器仍将所有内容放在一起。
2
Additionally there is implemented a IDL lexer, which allows to use the preprocessor library as the lexing component of a IDL oriented tool.
此外还实现了一个IDLlexer，允许将预处理器库用作某个面向IDL的工具的lexing组件。
3
Whenever possible, try to develop separate tests for your lexer and your parser.
只要有可能，请尝试为您的lexer和解析器开发单独的测试。
4
The lexer for this example is more complicated than the one for the calculator; quite a bit so.
该示例中的lexer比计算器的更为复杂；复杂得多。
5
So this lexer does not recognize any keywords (except true and false, which are needed by the preprocessor itself).
因此，这个lexer不识别任何关键字（除了true和false，因为预处理器本身需要它们）。
6
A lexer is a software component that divides text strings into individual words, or tokens, so that the individual words can be indexed.
lexer是一个能将文本字符串分成单个命令，或者标记的软件组分，这样使得单个命令可以被检索到。
7
On the basis of the test tool of executing characteristics of programs, we modify the lexer and parser to implement it.
该工具是在程序执行特征测试工具的基础上，将其词法分析器和语法分析器加以修改而实现的。
8
These directives are used to define the tokens the lexer can return.
这些指令用来定义lexer可以返回的记号。
9
The lexer is the part of our language knowledge that says "this is a sentence; this is punctuation; twenty-three is a single word. "
词法分析器是我们的语言知识中识别“这是一个句子；这是标点；twenty-three是一个单一的词”的那一部分。
10
The symbols produced by the lexer are called terminals or tokens.
lexer生成的符号称为终结符（terminals）或者记号（tokens）。
11
JAPANESE_LEXER: A lexer for extracting tokens from Japanese text.
JAPANESE_LEXER：一个从Japanese文本在中提取标记的lexer。
12
The C++ lexers packaged with the Wave library may be used standalone, too, and are not tied to the C++ preprocessor iterator at all.
与Wave库一起打包的C++lexer也可以单独使用，并没有与C++预处理迭代器捆绑在一起。
13
So, in this example, NUMBER is a terminal; the lexer is producing this result.
所以，在这个例子中，NUMBER是一个终结符；lexer正是生成这种结果。
14
KOREAN_MORPH_LEXER: A lexer for extracting tokens from Korean text.
KOREAN_MORPH_LEXER：一个从Korean文本在中提取标记的lexer。
15
The tokens ALPHA, INT, and REAL are typically provided from the lexer.
INT和REAL通常由lexer提供。
16
KOREAN_LEXER: A lexer for extracting tokens from Korean text.
KOREAN_LEXER：一个从Korean文本在中提取标记的lexer。
17
This does mean that the lexer and the parser both have to know that an empty line separates a header from a body.
这确实意味着lexer和解析器都必须明白，是一个空行将标题从主体中分离了出来。
18
A listing of supported lexer types follows.
下面是一个支持lexer类型的清单。
19
JAPANESE_VGRAM: A lexer for extracting tokens from Japanese text.
JAPANESE_VGRAM：一个从Japanese文本在中提取标记的lexer。
20
Most simple programming projects, of course, can get by with very trivial lexers.
当然，大部分简单编程项目使用非常普通的lexer就可以完成。