[flex & bison]编译器杂谈

时间:2023-03-09 04:38:29
[flex & bison]编译器杂谈

  flex与bison是编译器设计工具。这里的编译器为广义,其中包括一般的编译器、脚本解析器等,需要进行语言结构解析来得出意义的程序。

  当我们需要用一个语言来设计一款编译器时,需要考虑太多设计重心外的东西,如内存管理、模块设计、字符识别等,flex与bison就很好地为我们处理了这些事情,将设计重心放在词法与语法分析上。

  flex提供词法分析,采用的是正则表达式匹配字符。

  bison提供语法分析,采用A : B | C ;的方式进行语法设计。

  具体的规则《flex 与 bison》有很详细的描述。

  

  首先,对于语言的解析,是以流(stream)的方式进行的。

  假定我们词法与语法都已经设定好

  if A > B then C = 0;

  对于以上句子大概会进行如此解析:

  1. if 词法分析判定为 IF,返回标记

  2. 语法分析接到标记,存放到栈内,发现找不到适合的语法来进行归约,返回进行词法分析

  3. A 词法分析判定为NAME,返回标记

  4. 语法分析接到标记,存放到栈内发现NAME能被归约成exp,NAME出栈,exp入栈

  5. 现在栈内有IF exp,语法分析发现找不到适合的语法来进行归约,返回进行词法分析

  6. > 词法分析判定为CMP,返回标记

  7. 语法分析接到标记,存放到栈内,发现找不到适合的语法来进行归约,返回进行词法分析

  8. B 词法分析判定为NAME,返回标记

  9. 语法分析接到标记,存放到栈内发现NAME能被归约成exp,NAME出栈,exp入栈

  10.语法分析接到标记,存放到栈内,发现栈内有exp CMP exp,可以规约为exp,于是进行归约,exp放回栈内,然后发现有IF exp,无法归约,返回词法分析

  ...

  *分析方法采用的是lrlr(1),这也是bison的一般做法,上面分析为了方便省去向前查看的步骤。

  上述例子可以看出只要过一遍字符流,通过词法分析与语法分析的交替进行,就可以最终归约句子。

  

  为了方便维护,语法分析时都会进行语法树构建,如上述例子:

  当NAME被归约成exp时,创建节点,节点需要保存NAME所在符号表的位置,

  当exp CMP exp被归约成exp时,创建节点,节点需要保存作exp节点的指针为左子树,保持右exp节点的指针为右子树,保存CMP类型

  一般的编译器都能够自定义变量,如上述例子的A、B、C,这些符号会在词法分析时被判别为自定义变量。

  自定义变量需要进行维护,可以用哈希表保存自定义变量。

  自定义变量的名称在词法分析时,就可以加到哈希表内。

  另外自定义变量包含比较多的信息,如类型、变量值等,如果是函数,那么还会包含函数体指针,这些在词法分析时是无法得到的。而在词法分析时,只是构建语法树,并不适于进行信息填充。但是在计算时就会用到哈希表内的变量。

  假设句子是一行一行执行的,那么在碰到'\n'符合时就会执行计算,

  如上例:C = 0;

  计算时会把C在哈希表内的变量值填充为0;