编译原理 大作业

塔里木大学信息工程学院

课程论文

基于 c 语言的简单词法分析器的设计

课程名称 编译原理 所属学院 信息工程学院 班 级 计算机16-6 学生姓名 李鹏宇 学 号 5011212611

二零一四年十二月

信息工程学院 编译原理课程论文

目 录

一、引言 ........................................................................................................................................... 1 二、基于c 语言词法分析器的设计 .............................................................................................. 1

2.1词法分析器的设计原则 .................................................................................................... 1 2.2词法分析器的设计对象 .................................................................................................... 2 2.3词法分析器的任务及功能 ................................................................................................ 2

2.3.1词法分析器的任务 ................................................................................................ 2 2.3.2 词法分析程序的功能： ....................................................................................... 2 2.4各种单词符号对应的种别码： ........................................................................................ 2 三、基于c 语言词法分析器的实现 .............................................................................................. 3

3.1词法分析程序的算法思想： ............................................................................................ 3 3.2主程序示意图： ................................................................................................................ 3 3.3函数定义说明 .................................................................................................................... 4 3.4程序设计实现及功能说明 ................................................................................................ 4

3.4.1关键字的定义 ........................................................................................................ 4 3.4.2符合的关键字的查找 ............................................................................................ 4

四、词法分析程序的C语言程序源代码 ....................................................................................... 5 五、结果分析： ............................................................................................................................. 10 六、结束语 ..................................................................................................................................... 11 参考文献 ........................................................................................................................................... 7

信息工程学院 编译原理课程论文

摘要：词法分析器构造技术起源于编译器前端的词法分析需求，是编译的第一阶段。其主要任务是读入输入字符，产生记号序列，并提交给语法分析使用。词法分析器技术也经常应用于其他领域，如查询语言与信息检索系统。在每个应用中，最基本的问题是如何设计与说明一种特殊的程序，它能够完成由字符串的模式触发的动作。本文通过实际构造FineC语言（作者设计的一个C语言的轻量子集）的词法分析器对词法分析器的构造原理做了基于实践的探讨。 关键字：词法分析器，双缓冲区，符号表，正则表达式，状态转换图 一、引言

词法分析顾名思义，就是分词。它是用程序设计语言编制出的源程序作为输入，以单词的序列作为输出。分词的过程可以通过编制程序让其自动完成，我们通常把这个分词程序称为词法分析器。词法分析器分析的源程序可以是现有的各类程序设计语言源程序也可以是人为给定的模型语言的源程序。它一般有五个阶段:词法分析,语法分析,语义分析和中间代码产生及优化,目标的代码生成。完成计算机翻译过程的重要阶段,它为以后的语义分析、语法分析打好基础, 做好准备,以便高效的、高质量的生成目标语言的程序。所以词法分析，是编译过程的基础。

二、基于 c 语言词法分析器的设计 2.1词法分析器的设计原则

在编译程序的词法分析,语法分析,语义分析和中间代码的产生及优化阶段中,每个阶段都要遵守功能相等的原则。一个语言的语法的形成是词法规则和语法分析依据的语法规则组成的,衡量一个语法是不是合法要从“形”的角度去出发。因此在词法分析的阶段,重要的研究对象也就变成了词法规则。词法分析程序的输入数据是词法分析器处理的对象,其实是源程序经过了编译预处理,去掉多余的符号后，形成的代码，这样给词法分析较为方便。词法分析的过程是线性的从头到尾扫描一遍,复杂程度较低,易实现。 2.2词法分析器的任务及功能 2.2.1词法分析器的任务

从左到右所有字符逐个的对源程序进行扫描,产生一个一个单词的符号,字

第 1 页 共 13页

信息工程学院 编译原理课程论文

符串的源程序转换成单词符号串中的中间程序。组成语言的基本元素是词法分析程序输出的结果，也就是单词,在实际的处理过程中,输出不一定是单词,而是每个单词相对应的二元式,形为< 单词种别 , 单词符号属性 >。编码的方式由编译系统的开发者决定。故经过词法分析,在输出结果中并没有单词本身。

2.2.2 词法分析程序的功能： 输入：所给文法的原程序字符串。

输出：二元组（syn,token 或 sum ）构成的序列。 其中：Syn：“单词种别码”；

Token：“存放的单词自身字符串”； Sum：“整型常数”。

例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：

(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)??

2.3各种单词符号对应的种别码：

表2.3 各种单词符号对应的种别码

单词符号 + — * / dight dight* bgin If Then wile do end lettet（letter|digit）* 第 2 页 共 13 页

种别码 13 14 15 16 11 1 2 3 4 5 6 10 单词符号 ； ( ) # = ： ：= < <> <= > >= 种别码 26 27 28 0 25 17 18 20 21 22 23 24