编译原理_第二章 词法分析(1)

编译原理_第二章 词法分析(1)

第二章 词法分析

第二章

词法分析

主要内容: 主要内容: 词法分析过程涉及的几个问题 模式的形式化描述模式的形式化描述-正规式与正规集 记号的识别记号的识别-有限自动机 从正规式到词法分析器 词法分析器生成器简介

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

一,词法分析过程涉及的几个问题词法分析是编译过程中的第一个阶段. 词法分析是编译过程中的第一个阶段. 执行词法分析的程序称为词法分析程序, 执行词法分析的程序称为词法分析程序,也称 为词法分析器或扫描器. 为词法分析器或扫描器. 任务是 任务是:从左至右逐个字符地对源程序进行扫 产生一个个单词符号, 描,产生一个个单词符号,把字符串形式的源 程序改造成为单词符号串形式的中间程序. 程序改造成为单词符号串形式的中间程序. 功能是输入源程序 输出单词符号, 是输入源程序, 功能是输入源程序,输出单词符号,并检查词 法错误. 法错误.2010-7-22 编译原理 2

编译原理_第二章 词法分析(1)

第二章 词法分析

1,词法分析器的三种工作方式: ,词法分析器的三种工作方式:

词法分析器作为主程序; 词法分析器作为主程序; 词法分析器作为子程序; 词法分析器作为子程序; 并行工作方式

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

图2.1 作为子程序的词法分析器

图2.2 词法分析器进行单独一遍扫描

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

图2.3 并行工作模式

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

2,单词符号的分类 ,

单词符号分类: 词法分析程序简单地说就是读单词程序,该程 描用高级语言编写的源程序,将源程序中由单 词符号组成的字符串分解出一个个单词来.因 此,单词符号是程序语言的基本语法单位 基本语法单位,具 基本语法单位 有确定的语法意义. 程序语言的单词符号通常可分为下面五种:

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

(1) 保留字 也称基本字 :如C语言中的if,else,while 保留字(也称基本字 也称基本字): 和do等,这些字保留了语言所规定的含义,是编译程 序识别各类语法成分的依据.几乎所有程序语言都限 制用户使用保留字来作为标识符. (2) 标识符:用来标记常量,数组,类型,变量,过程 标识符: 或函数名等,通常由用户自己定义. (3) 常数:包括各种类型的常数,如整型常数386,实 常数: 型常数0.618,布尔型常数TRUE等. (4) 运算符:如"+","?","*","/",">", 运算符: "<"等. (5) 界符:在语言中是作为语法上的分界符号使用的, 界符: 如",",";","(",")"等.

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

注意:一个程序语言的保留字,运算符和 保留字, 保留字 界符的个数是确定的,而标识符或常数 界符 的使用则不限定个数. 将产生和识别单词的规则

称为模式 模式 (patten). 按照某个模式(规则)识别出的元素称为记 记 号(token). 单词(lexeme)一词是指被识别出元素自 身的值.2010-7-22 编译原理 8

编译原理_第二章 词法分析(1)

第二章 词法分析

3,词法分析器输出单词的形式 ,

词法分析程序的输入是源程序字符串, 而输出是与源程序等价的单词符号序列, 词法分析器输出单词的形式 并且所输出的单词符号通常表示成如下 的二元式: 单词种别,单词自身的值) (单词种别,单词自身的值)

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

(1) 单词种别. 单词种别. 单词种别表示单词的种类,它是语法分析所需要的信息. 单词种别表示单词的种类,它是语法分析所需要的信息. 一个语言的单词符号如何划分种类,分为几类, 一个语言的单词符号如何划分种类,分为几类,如何编码都属于技术性 问题,主要取决于处理上的方便. 问题,主要取决于处理上的方便. 通常让每种单词对应一个整数码, 通常让每种单词对应一个整数码,这样可最大限度地把各个单词区别开 来. 对于保留字,可将其全体视为一种,也可一字一种, 对于保留字,可将其全体视为一种,也可一字一种,采用一字一种的分 类方法处理起来比较方便; 类方法处理起来比较方便; 标识符一般统归为一种; 标识符一般统归为一种; 常数可统归为一种,也可按整型,实型,布尔型等分为几种; 常数可统归为一种,也可按整型,实型,布尔型等分为几种; 运算符和界符可采用一符一种的分法,也可统归为一种. 运算符和界符可采用一符一种的分法,也可统归为一种.

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

(2) 单词自身的值. 单词自身的值. 单词自身的值是编译中其它阶段所需要的信息. 单词自身的值是编译中其它阶段所需要的信息. 对于单词符号来说: 对于单词符号来说: 如果一个种别只含有一个单词符号,那么对于这个单词符号, 如果一个种别只含有一个单词符号,那么对于这个单 …… 此处隐藏：3699字，全部文档内容请下载后查看。喜欢就下载吧 ……