编译原理试题·

Lex和Yacc应用方法(一).初识Lex

草木瓜 20070301

Lex(Lexical Analyzar 词法分析生成器)，Yacc(Yet Another Compiler Compiler

编译器代码生成器)是Unix下十分重要的词法分析，语法分析的工具。经常用于语言分

析，公式编译等广泛领域。遗憾的是网上中文资料介绍不是过于简单，就是跳跃太大，

入门参考意义并不大。本文通过循序渐进的例子，从0开始了解掌握Lex和Yacc的用法。

一.Lex(Lexical Analyzar) 初步示例

先看简单的例子(注：本文所有实例皆在RetHat Linux下完成):

一个简单的Lex文件 exfirst.l 内容：

%{

#include "stdio.h"

%}

%%

[\n]

[0-9]+printf("Int : %s\n",yytext)

[0-9]*\.[0-9]+printf("Float : %s\n",yytext)

[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext)

[\+\-\*\/\%] printf("Op : %s\n",yytext)

. printf("Unknown : %c\n",yytext[0])

%%

在命令行下执行命令flex解析，会自动生成lex.yy.c文件：

[root@localhost liweitest]flex exfirst.l

进行编译生成parser可执行程序：

[root@localhost liweitest]cc -o parser lex.yy.c -ll

[注意：如果不加-ll链结选项，cc编译时会出现以下错误，后面会进一步说明。]

/usr/lib/gcc-lib/i386-redhat-linux/3.2.2/../../../crt1.o(.text+0x18): In function `_start':

../sysdeps/i386/elf/start.S:77: undefined reference to `main'

/tmp/cciACkbX.o(.text+0x37b): In function `yylex':

: undefined reference to `yywrap'

/tmp/cciACkbX.o(.text+0xabd): In function `input':

: undefined reference to `yywrap'

collect2: ld returned 1 exit status

创建待解析的文件 file.txt：

title

i=1+3.9

a3=909/6

bcd=4%9-333

通过已生成的可执行程序，进行文件解析。

[root@localhost liweitest]# ./parser <file.txt

Var : title

Var : i

Unknown : =

Int : 1

Op : +

Float : 3.9

Unknown :

Var : a3

Unknown : =

Int : 909

Op : /

Int : 6

Var : bcd

Unknown : =

Int : 4

Op : %

Int : 9

Op : -

Int : 333

到此Lex用法会有个直观的了解：

1.定义Lex描述文件

2.通过lex，flex工具解析成lex.yy.c文件

3.使用cc编译lex.yy.c生成可执行程序

再来看一个比较完整的Lex描述文件 exsec.l ：

%{

#include "stdio.h"

int linenum

%}

%%

title showtitle()

[\n] linenum++

[0-9]+printf("Int : %s\n",yytext)

[0-9]*\.[0-9]+printf("Float : %s\n",yytext)

[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext)

[\+\-\*\/\%] printf("Op : %s\n",yytext)

. printf("Unknown : %c\n",yytext[0])

%%

showtitle()

{

printf("----- Lex Example -----\n")

}

int main()

{

linenum=0

yylex()/* 进行分析 */

printf("\nLine Count: %d\n",linenum)

return 0

}

int yywrap()

{

return 1

}

进行解析编译：

[root@localhost liweitest]flex exsec.l

[root@localhost liweitest]cc -o parser lex.yy.c

[root@localhost liweitest]./parser <file.txt

----- Lex Example -----

Var : i

Unknown : =

Int : 1

Op : +

Float : 3.9

Unknown :

Var : a3

Unknown : =

Int : 909

Op : /

Int : 6

Var : bcd

Unknown : =

Int : 4

Op : %

Int : 9

Op : -

Int : 333

Line Count: 4

这里就没有加-ll选项，但是可以编译通过。下面开始着重整理下Lex描述文件.l。

二.Lex(Lexical Analyzar) 描述文件的结构介绍

Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识

别程序，由该程序识别出输入文本中的各个单词。一般可以分为<定义部分><规则部

分><用户子程序部分>。其中规则部分是必须的，定义和用户子程序部分是任选的。

(1)定义部分

定义部分起始于 %{ 符号，终止于 %} 符号，其间可以是包括include语句、声明语句

在内的C语句。这部分跟普通C程序开头没什么区别。

%{

#include "stdio.h"

int linenum

%}

(2) 规则部分

规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。词法规则由模式和

动作两部分组成。模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组

成，这些语句用来对所匹配的模式进行相应处理。需要注意的是，lex将识别出来的单

词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。

类似yytext这些预定义的变量函数会随着后面内容展开一一介绍。动作部分如果有多

行执行语句，也可以用{}括起来。

%%

title showtitle()

[\n] linenum++

[0-9]+printf("Int : %s\n",yytext)

[0-9]*\.[0-9]+printf("Float : %s\n",yytext)

[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext)

[\+\-\*\/\%] printf("Op : %s\n",yytext)

. printf("Unknown : %c\n",yytext[0])

%%

A.规则部分的正则表达式

规则部分是Lex描述文件中最为复杂的一部分，下面列出一些模式部分的正则表达式字

符含义：

A-Z, 0-9, a-z 构成模式部分的字符和数字。

- 指定范围。例如：a-z 指从 a 到 z 之间的所有字符。

\ 转义元字符。用来覆盖字符在此表达式中定义的特殊意义，

只取字符的本身。

[]表示一个字符集合。匹配括号内的任意字符。如果第一个字

符是^那么它表示否定模式。例如: [abC] 匹配 a, b, 和C

的任何一个。

^ 表示否定。

* 匹配0个或者多个上述模式。

+ 匹配1个或者多个上述模式。

? 匹配0个或1个上述模式。

$ 作为模式的最后一个字符时匹配一行的结尾。

{ } 表示一个模式可能出现的次数。 例如: A{1,3} 表示 A 可

能出现1次或3次。[a-z]{5} 表示长度为5的，由a-z组成的

字符。此外，还可以表示预定义的变量。

. 匹配任意字符，除了 \n。

( ) 将一系列常规表达式分组。如：{Letter}({Letter}|{Digit})*

| 表达式间的逻辑或。

"一些符号"字符的字面含义。元字符具有。如："*" 相当于 [\*]。

/ 向前匹配。如果在匹配的模式中的"/"后跟有后续表达式，

只匹配模版中"/"前面的部分。如：模式为 ABC/D 输入 ABCD，

时ABC会匹配ABC/D，而D会匹配相应的模式。输入ABCE的话，

ABCE就不会去匹配ABC/D。

B.规则部分的优先级

规则部分具有优先级的概念，先举个简单的例子：

%{

#include "stdio.h"

%}

%%

[\n]

A {printf("ONE\n")}

AA{printf("TWO\n")}

AAAA {printf("THREE\n")}

%%

此时，如果输入内容：

[root@localhost liweitest]# cat file1.txt

AAAAAAA

[root@localhost liweitest]# ./parser <file1.txt

THREE

TWO

ONE

Lex分析词法时，是逐个字符进行读取，自上而下进行规则匹配的，读取到第一个A字符

时，遍历后发现三个规则皆匹配成功，Lex会继续分析下去，读至第五个字符时，发现

"AAAA"只有一个规则可用，即按行为进行处理，以此类推。可见Lex会选择最长的字符

匹配规则。

如果将规则

AAAA {printf("THREE\n")}

改为

AAAAA {printf("THREE\n")}

./parser <file1.txt 输出结果为：

THREE

TWO

再来一个特殊的例子：

%%

title showtitle()

[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext)

%%

并输入title，Lex解析完后发现，仍然存在两个规则，这时Lex只会选择第一个规则，下面

的则被忽略的。这里就体现了Lex的顺序优先级。把这个例子稍微改一下：

%%

[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext)

title showtitle()

%%

Lex编译时会提示：warning, rule cannot be matched.这时处理title字符时，匹配

到第一个规则后，第二个规则就无效了。

再把刚才第一个例子修改下，加深下印象！

%{

#include "stdio.h"

%}

%%

[\n]

A {printf("ONE\n")}

AA{printf("TWO\n")}

AAAA {printf("THREE\n")}

AAAA {printf("Cannot be executed!")}

./parser <file1.txt 显示效果是一样的，最后一项规则肯定是会忽略掉的。

C.规则部分的使用变量

且看下面示例：

%{

#include "stdio.h"

int linenum

%}

int [0-9]+

float [0-9]*\.[0-9]+

%%

{int} printf("Int : %s\n",yytext)

{float} printf("Float : %s\n",yytext)

. printf("Unknown : %c\n",yytext[0])

%%

在%}和%%之间，加入了一些类似变量的东西，注意是没有的，这表示int，float分

别代指特定的含义，在两个%%之间，可以通过{int}{float}进行直接引用，简化模

式定义。

(3) 用户子程序部分

最后一个%%后面的内容是用户子程序部分，可以包含用C语言编写的子程序，而这些子

程序可以用在前面的动作中，这样就可以达到简化编程的目的。这里需要注意的是，

当编译时不带-ll选项时，是必须加入main函数和yywrap(yywrap将下后面说明)。如：

...

%%

showtitle()

{

printf("----- Lex Example -----\n")

}

int main()

{

linenum=0

yylex()/* 进行Lex分析 */

printf("\nLine Count: %d\n",linenum)

return 0

}

int yywrap()

{

return 1

}

三.Lex(Lexical Analyzar) 一些的内部变量和函数

内部预定义变量：

yytext char * 当前匹配的字符串

yyleng int 当前匹配的字符串长度

yyin FILE * lex当前的解析文件，默认为标准输出

yyoutFILE * lex解析后的输出文件，默认为标准输入

yylineno int 当前的行数信息

内部预定义宏：

ECHO #define ECHO fwrite(yytext, yyleng, 1, yyout) 也是未匹配字符的

默认动作

内部预定义的函数：

int yylex(void)调用Lex进行词法分析

int yywrap(void) 在文件(或输入)的末尾调用。如果函数的返回值是1，就停止解

析。 因此它可以用来解析多个文件。代码可以写在第三段，这

样可以解析多个文件。 方法是使用 yyin 文件指针指向不同的

文件，直到所有的文件都被解析。最后，yywrap() 可以返回1

来表示解析的结束。

lex和flex都是解析Lex文件的工具，用法相近，flex意为fast lexical analyzer generator。

可以看成lex的升级版本。

相关更多内容就需要参考flex的man手册了，十分详尽。

四.关于Lex的一些综述

Lex其实就是词法分析器，通过配置文件*.l，依据正则表达式逐字符去顺序解析文件，

并动态更新内存的数据解析状态。不过Lex只有状态和状态转换能力。因为它没有堆栈，

它不适合用于剖析外壳结构。而yacc增加了一个堆栈，并且能够轻易处理像括号这样的

结构。Lex善长于模式匹配，如果有更多的运算要求就需要yacc了。

20050620 GNU Bison 中文手册翻译完成

GNU Bison实际上是使用最广泛的Yacc-like分析器生成器,使用它可以生成解释器,编译器,协议实现等多种程序. 它不但与Yacc兼容还具有许多Yacc不具备的特性.

这个手册编写十分完整,带你领略Bison在使用中的各个细节(注：并不是实现细节).

如果发现错误,语句不通顺,意思不明,确请立即发邮件把您的建议或者您认为正确的翻译 写信告诉我,非常需要并感谢你的帮助!

英文原件页面

这个翻译版手册也是在GNU Free Documentation License下发布.

提供以下格式:(会陆续增加格式)

原始texinfo格式(78,999字节,gzip压缩)

HTML格式(111,882字节,gzip压缩)

HTML格式(109,570字节,zip压缩)

HTML格式使用一个由我patch的texi2html生成,如果需要的话可以跟我联系.

一些参考:

GNU Bison Project

The LEX &YACC Page

GNU Flex Project

Yacc: 另一个编译器的编译器Stephen C. Johnson著,寒蝉退 士译

[顶层][内容][索引][ ? ]

Bison

这个手册是针对GNU Bison (版本2.0,22 December 2004), GNU分析器生成器.

Copyright © 1988, 1989, 1990, 1991, 1992, 1993, 1995, 1998, 1999, 2000, 2001, 2002, 2003, 2004 Free Software Foundation, Inc.

Chinese(zh_CN) translation:Xiao Wang

Permission is granted to copy, distribute and/or modify this document under the terms of the GNUFree Documentation License, Version 1.1 or any later version published by the Free Software Foundationwith no Invariant Sections, with the Front-Cover texts being "A GNU Manual," and with the Back-Cover Texts as in (a) below. A copy of the license is included in the section entitled "GNUFree Documentation License."

(a) The FSF's Back-Cover Text is: "You have freedom to copy and modify this GNU Manual, likeGNU software. Copies published by the Free Software Foundation raise funds for GNUdevelopment."

分成词法分析，语法分析（LL算法，递归下降算法，LR算法），语义分析，运行时环境，中间代码，代码生成，代码优化这些部分。其实现在很多编译原理的教材都是按照85,86出版的那本龙书来安排教学内容的，所以那本龙书的内容格式几乎成了现在编译原理教材的定式，包括国内的教材也是如此。一般来说，大学里面的本科教学是不可能把上面的所有部分都认真讲完的，而是比较偏重于前面几个部分。像代码优化那部分东西，就像个无底洞一样，如果要认真讲，就是单独开一个学期的课也不可能讲得清楚。所以，一般对于本科生，对词法分析和语法分析掌握要求就相对要高一点了。

词法分析相对来说比较简单。可能是词法分析程序本身实现起来很简单吧，很多没有学过编译原理的人也同样可以写出各种各样的词法分析程序。不过编译原理在讲解词法分析的时候，重点把正则表达式和自动机原理加了进来，然后以一种十分标准的方式来讲解词法分析程序的产生。这样的做法道理很明显，就是要让词法分析从程序上升到理论的地步。

语法分析部分就比较麻烦一点了。现在一般有两种语法分析算法，LL自顶向下算法和LR自底向上算法。LL算法还好说，到了LR算法的时候，困难就来了。很多自学编译原理的都是遇到LR算法的理解成问题后就放弃了自学。其实这些东西都是只要大家理解就可以了，又不是像词法分析那样非得自己写出来才算真正的会。像LR算法的语法分析器，一般都是用工具Yacc来生成，实践中完全没有比较自己来实现。对于LL算法中特殊的递归下降算法，因为其实践十分简单，那么就应该要求每个学生都能自己写。当然，现在也有不少好的LL算法的语法分析器，不过要是换在非C平台，比如Java,Delphi,你不能运用YACC工具了，那么你就只有自己来写语法分析器。

---