编译原理词法分析论文

《编译原理词法分析论文》由会员分享，可在线阅读，更多相关《编译原理词法分析论文（24页珍藏版）》请在装配图网上搜索。

1、编译原理词法分析论文编译原理结课大作业词法分析设计说明书学生姓名阿娜尔古丽台外库力学号 5011110112所属学院 信息工程学院专业 计算机科学与技术班 级计算机15-1信息工程学院 个高级语言程序的实现 , 必须依赖于相应的编译系统。所谓编译程序就是指能够 把某一种语言程序转换成另一种与之等价的语言程序。它通常包括五个阶段 : 词 法分析,语法分析 , 语义分析与中间代码的产生、优化 ,目标代码的生成。完成计 算机翻译过程的关键阶段 ,它为后面的语法分析、语义分析做好准备 ,打好基础 , 以便快速地、高质量地生成目标语言程序。因此词法分析是编译的基础。词法分析器所处理的对象即词法分析程序的

2、输入数据 , 实际上是源程序经 过编译预处理 , 去掉多余的符号后而形成的代码，这样给词法分析带来方便。词 法分析的过程是线性的从头至尾扫描一遍 ,复杂度较低 ,易实现。关键词： 词法分析 C 语言 标识符目录1、 弓丨言-1 -2、基于c语言词法分析器的设计 -1 -21词法分析器的设计原则 -1 -2.2词法分析器的设计对象 -2 -2.3词法分析器的任务及功能 -3 -2.4各种单词符号对应的种别码： 二4 -3、基于 c 语言词法分析器的实现 -5 -3.1词法分析程序的算法思想： -5 -3.2主程序示意图： -5 -3.3函数定义说明-7 -3.4程序设计实现及功能说明 -8 -4

3、、词法分析程序的 C语言程序源代码： -8 -5、结果分析:-16 -6、总结-17 -1、引言计算机系统与人信息交换界面多数是应用 高级语言来实现。一个高级语言程序的实现 , 必 须依赖于相应的编译系统。 所谓编译程序就是指 能够把某一种语言程序转换成另一种与之等价 的语言程序。它通常包括五个阶段 : 词法分析 , 语法分析 , 语义分析与中间代码的产生、优化 , 目标代码的生成。 完成计算机翻译过程的关键阶 段, 它为后面的语法分析、语义分析做好准备,打好基础 , 以便快速地、高质量地生成目标语言 程序。因此词法分析是编译的基础。2、基于 c 语言词法分析器的设计2.1 词法分析器的设计原

4、则在编译程序工作的五个阶段中 , 每个阶段都 必须遵从功能等价的原则。 词法规则与语法分析 阶段依据的语法规则一同构成了一个语言的语 法, 而语法则是从 形 的角度衡量一个程序是否 合法。所以在词法分析阶段 , 词法规则成为重要 的研究对象。词法分析器所处理的对象即词法分析程序的输入数据，实际上是源程序经过编译预 处理,去掉多余的符号后而形成的代码，这样给 词法分析带来方便。词法分析的过程是线性的从 头至尾扫描一遍，复杂度较低，易实现。2.2词法分析器的设计对象在计算机翻译中，词法分析的关键之一在 于如何识别单词的种类，特别是面对定义形式一 样、结构完全相同的标识符和保留字，如何正确 地解决对

5、它们的识别处理，是词法分析中的一项 重要任务。由于我们规定的C语言程序语句中涉及单词较少，故在词法分析阶段忽略了单词输 入错误的检查，而将编译程序的重点放在中间代 码生成阶段。词法分析器的功能是输入源程序，输出单词符号。规定输出的单词符号格式为如下 的二元式：(单词种别，单词自身的值)。通常一种 程序语言中定义的单词种类包括标识符 (identifier) 、保留字(reservedw ord)、常数 (literal)、运算符(op erator)、界符等。C 语 言中定义了属于这五种类型的大量的单词，但是由于预编译器只识别我们自定义的注释，因此预 编译器处理的单词集只是C语言中定义的单词集

6、的一个真子集2.3词法分析器的任务及功能2.3.1词法分析器的任务从左至右逐个字符地对源程序进行扫描，产 生一个个的单词符号，把作为字符串的源程序转 换成为单词符号串的中间程序。词法分析程序的 输出结果是组成语言的基本元素即单词，在实际 处理的时候，输出并非单词，而是每个单词对应 的二元式，形为 ,编 码的方式由编译系统的研制者决定。故经过词法 分析,在输出结果中并没有单词本身。2.3.2 词法分析程序的功能：输入：所给文法的源程序字符串。输出：二元组（syn,token 或sum）构成的序 列。其中：syn为单词种别码； token为存放的单词自身字符串；sum为整型常数。例如：对源程序 b

7、egin x:=9: if x9 then x:=2*x+1/3; end # 的源文件，经过词法分析后输出如下序列：(1,begi n)(10,x)(18,:=)(11,9)(26,;)(2,if)2.4各种单词符号对应的种别码：表2.4各种单词符号对应的种别码单词符号种别码单词符号种别码bgin117If218The n320wile421do523lettet(letter|digit )*10=24dight dight*1125+132614(27*15)28/16#03、基于c语言词法分析器的实现本词法分析器是基于 C语言编写，即它本 身程序由C语言编写并且它能识别的源程序单 词串

8、也是C语言编写的源程序。本程序编辑环 境是Touboc 2.0即可，调用本程序之前需要的 在TC默认路径下编写一个c语言的源程序，并 取名eample.c以便程序调用分析，输出结果为 二元式码。3.1词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序 中识别出具有独立意义的单词符号，其基本思想 是根据扫描到单词符号的第一个字符的种类，拼 出相应的单词符号。3.2主程序示意图:主程序示意图如图3-1所示。其中初始包括以下 两个方面：图3-1关键字表的初值。关键字作为特殊标识符处理，把它们预先安排 在一张表格中（称为关键字表），当扫描程序识 别出标识符时，查关键字表。如能查到匹配的单 词

9、，则该单词为关键字，否则为一般标识符。关 键字表为一个字符串数组，其描述如下：Char *rwtab6 = “begin ” ,“ if ”the n , while , do , end ,;输入扫描结果另输入需要扫存为的文件名描的文件名p处预读一位判断文件是否为空Ch是否为字母 或下划线行计数器 自加1是 -Ch是否为空格返回，结束程序跳转到扫描 其他符号跳转到扫描 引号是Ch是否为引号图3-1跳转到扫描 注释跳转到扫描 数字JLCh是否为数字或Ch是否为/ 跳转到扫描头 文件单词及保留字3.3函数定义说明(1) search()查找并识别当前单词类别，并给定单词类别二元式码，决定给定字符

10、串类别码(即单词种别)和记录次序码。alphaprocess()识别当前是数组、保留字、标识符。poi nt()识别当前字符串是指针。digitprocess()识别当前是常整数、小数、负小数。(5) otherprocess()识别当前是其它(标点符号等)。(6) fope n()在默认路径下打开分析程序并读入字符串。3.4程序设计实现及功能说明3.4.1关键字的定义void in it() for( in t j=0; j18; j+) strcpy(symtablejexptr,strj);symtablej.toke n=j+3; 3.4.2符合的关键字的查找int search(ch

11、ar *temp)for(un sig ned int i=0;i 18;i+) if(!strcmp(symtablei.lexptr ,temp) return symtablei.toke n; return 0;4、词法分析程序的 C语言程序源代码：#in clude #in clude char prog80,toke n 8,ch;int syn ,p,m, n,sum;char*rwtab 6=begi n,if,the n,while,do,e nd;sea ner();mai n()p=o；prin tf(n please in put a stri ng(e nd with

12、 # ):/n);dosca nf(%c,&ch);progp+=ch;while(ch!=#);p=0;dosca ner();switch(s yn)casein puta11:pri ntf( %-10d%5d )n,sum,sy n); break;case -1:pri ntf(you have wrong stringn);getch();exit(0);default: printf( %-10s%5d )n,token,syn); break;while(sy n!=0);getch();sca ner() sum=0;for(m=0;m8;m+)toke n m+=NULL;

13、 ch=progp+;m=0;while(ch=)|(ch=n)ch=progp+;if(ch=a)|(chv=Z)&(c h=A) while(ch=a)|(ch=A)|(ch=0)&(ch=9)toke n m+=ch;ch=progp+;p-;sy n=10;for(n=0;n=0)&( ch=0)&( ch=9) sum=sum*1O+ch-O：ch=progp+;p-;syn=11;else switch(ch) case :toke n m+=ch; ch=progp+; if(ch=)syn=24;toke nm+=ch;else syn=23;P-; break;case +:

14、 toke nm+=ch; ch=progp+;if(ch=+) syn=17;toke nm+=ch;else syn=13;P-； break;case -:toke n m+=ch; ch=progp+; if(ch=-) syn=29;toke nm+=ch;elsesyn=14;P-;break;case !:ch=progp+;if(ch=)syn=21;toke n m+=ch;else syn=31;P-；break;case =:toke n m+=ch; ch=progp+; if（ch=） syn=25;toke nm+=ch;else syn=18;P-; break;

15、case *: syn=15; toke n m+=ch; break;case /: syn=16; toke n m+=ch; break;case (: syn=27; toke n m+=ch; break;case ): syn=28; toke n m+=ch; break;case : syn=5; toke n m+=ch; break;case : syn=6; toke n m+=ch; break;case ;: syn=26; toke n m+=ch; break;case : syn=30; toke n m+=ch; break;case #: syn=0; to

16、ke n m+=ch; break;case :s yn=17;toke n m+=ch; break;default: syn=-1; break;toke nm+=0：5、结果分析：运行结果如图5-1所示图5-1输入 end+good/1+2*1=23 ； need # 后经词法 分析输出如下序列：(end 6)(+ 13)(good10)(/ 16)(1 11)(+ 13) 如图 5-2 所示：图5-26、总结计算机系统高级语言翻译是一个涉及到计 算机语言学、人工智能、计算机应用等理论和技术的多学科的复杂系统工程。基于c语言词法分析器是应用c语言编写通过扫描c语言源程 序，从而正确识别出

17、从源程序中分解出的二元式 码形式的单词串，以供语法分析阶段使用。词法 分析的基本任务是从字符串表示的源程序中识 别出具有独立意义的单词符号，其基本思想是根 据扫描到单词符号的第一个字符的种类，拼出相 应的单词符号。词法分析器是此次编译原理课程 的最后一个任务，虽然对书上的理论知识已经事 先温习并稳固了，但在刚开始的实践中，对如何 进行设计还是很模糊。之后我通过参考一些课外 资料，与同学一起探讨学习，明确了词法分析器 设计的大概思路后，顺利完成任务。通过这次的实践，使我对编译原理的知识掌 握得更扎实、稳固，不再只停留在只会做题却对 知识的掌握的一知半解，现在真正将书面知识运 用到实际的设计中，使

18、自己对编译原理的理解更 深入，更形象，能通过程序将一些原理简单实现。 相信有了这次课程设计的经验，会对我下一个程 序的课程设计会有很大的帮助通过本试验的完 成，更加加深了对词法分析原理的理解。参考文献1 胡元义.编译原理教程M.西安电子科技大 学出版社.2003年3月2 刘磊，金英等.编译程序的设计与实现M. 高等教育出版社.2004年7月3 Kenneth C. Louden著.冯博琴译.编译原理及实践.机械工业出版社.2000年4 Andrew WAppel著.赵克佳等译.现代编译原理C语言描述.人民邮电出版社.2006年5 陈火旺，刘春林等.程序设计语言编译原理第 三版.国防科大出版社.2001年