编译原理——词法分析器实现

参考：https://www.cnblogs.com/zyrblog/p/6885922.html

单词符号	类别码	助记符	说明
BEGIN	1	BEGIN	保留字
DO	2	DO	保留字
ELSE	3	ELSE	保留字
END	4	END	保留字
IF	5	IF	保留字
INTEGER	6	INTEGER	保留字
PROGRAM	7	PROGRAM	保留字
THEN	8	THEN	保留字
VAR	9	VAR	保留字
WHILE	10	WHILE	保留字
整数	11	INT	整数不大于65535
标识符	12	ID	字母打头的字母数字串，标识符长度不大于8
+	13	ADD
-	14	SUB
*	15	MUL
/	16	DIV
:	17	COLON
:=	18	COL_EQ	赋值符号
<	19	LT
<>	20	NE	不等于符号
<=	21	LE
>	22	GT
>=	23	GE
=	24	EQ
;	25	SEMI
(	26	LP
)	27	RP
,	28	COMMA

 

 

#include<bits/stdc++.h>
using namespace std;
const int N=1e6;
int index;//记录符号流的长度
map<string,int> typeCode;//保留字类别码表
struct erYuanNode//单词二元组
{
    string text;//单词内容
    int type,x,y;//type为类别，x，y为首字母坐标
}erYuanZu[N];
struct fuhaoliunode//符号流
{
    char text;//字符内容
    int x,y;//x为横坐标，y为纵坐标（都从1开始）
}fuhaoliu[N];
fstream file("E:\\PrincipleOfCompiler\\input.txt");
void initTypeCode()//初始化保留字类别表
{
    typeCode["BEGIN"]=1;
    typeCode["DO"]=2;
    typeCode["ELSE"]=3;
    typeCode["END"]=4;
    typeCode["IF"]=5;
    typeCode["INTEGER"]=6;
    typeCode["PROGRAM"]=7;
    typeCode["THEN"]=8;
    typeCode["VAR"]=9;
    typeCode["WHILE"]=10;
    typeCode["+"]=13;
    typeCode["-"]=14;
    typeCode["*"]=15;
    typeCode["/"]=16;
    typeCode[":"]=17;
    typeCode[":="]=18;
    typeCode["<"]=19;
    typeCode["<>"]=20;
    typeCode["<="]=21;
    typeCode[">"]=22;
    typeCode[">="]=23;
    typeCode["="]=24;
    typeCode[";"]=25;
    typeCode["("]=26;
    typeCode[")"]=27;
    typeCode[","]=28;
}
void testTypeCode()//查看保留字类别表
{
    map<string,int>::iterator iter;
    for (iter=typeCode.begin();iter!=typeCode.end();iter++)
    {
        cout<<iter->first<<" "<<iter->second<<endl;
    }
}
void preprocess()//预处理
{
    /*删除注释*/
    fuhaoliu[0].text='#';//#为单词间的分隔符
    fuhaoliu[0].x=fuhaoliu[0].y=0;
    int isNotea=0,x=0;//isNotea标记是否为注释模式,index为字符数组下标
    index=1;
    string s;//存储临时读入的串
    while (getline(file,s))//整行读入
    {
        x++;
        if (fuhaoliu[index-1].text!='#')
        {
            fuhaoliu[index].text='#';//与上一串字符分隔开
            fuhaoliu[index].x=fuhaoliu[index].y=0;//规定‘#’字符的坐标为（0，0）
            index++;//继续读取下一个字符
        }
        for (int i=0;i<s.size();i++)
        {
            if (s[i]==' '||s[i]=='\t')//该字符为空格或制表符
            {
                if (fuhaoliu[index-1].text=='#')//如果已和上一字符串分隔，则往后读取
                {
                    continue;
                }
                else//该处设为分隔符
                {
                    fuhaoliu[index].text='#';
                    fuhaoliu[index].x=fuhaoliu[index].y=0;
                    index++;
                    continue;
                }
            }
            if (i+1<s.size()&&s[i]=='/'&&s[i+1]=='*')//发现注释开始符
            {
                isNotea=1;
                i++;
                continue;
            }
            if (isNotea==1&&i+1<s.size()&&s[i]=='*'&&s[i+1]=='/')//发现注释结束符
            {
                isNotea=0;
                i++;
                continue;
            }
            if (i+1<s.size()&&s[i]=='/'&&s[i+1]=='/')//发现第二种注释直接退出读取下一行
            {
                break;
            }
            if (isNotea)//不存储注释内容
            {
                continue;
            }
            fuhaoliu[index].text=s[i];//存储内容到字符流数组
            fuhaoliu[index].x=x;
            fuhaoliu[index++].y=i+1;
        }
    }
    if(isNotea)//未找到注释结束符
    {
        printf("ERROR:annotator not match!\n");
    }
    fuhaoliu[index++].text='#';//在字符流数组末尾加上分隔符
}
void test()//查看输出
{
    for (int i=0;i<160;i++)
    {
        printf("ind%d FuHaoLiu[%c] x%d y%d erYuanZu:x%d y%d type%d ",i,fuhaoliu[i].text,fuhaoliu[i].x,fuhaoliu[i].y,erYuanZu[i].x,erYuanZu[i].y,erYuanZu[i].type);
        cout<<"eryuantext:["<<erYuanZu[i].text<<"]"<<endl;
    }
    printf("index%d\n",index);
}
void Error(string temp,int x,int y,int type)//报错函数
{
    if(temp!="#")
    {
        if (type==1)
        {
            printf("ERROR(the length of identifier is bigger than 8): x%d y%d \n",x,y);
        }
        else if(type==2)
        {
            printf("ERROR(the number is bigger than 65535): x%d y%d\n",x,y);
        }
        else if(type==3)
        {
            printf("ERROR(the input is illegal) x%d y%d\n",x,y);
        }
        cout<<"["<<temp<<"]"<<endl;//输出错误串
    }
}
void out(string temp,int x,int y,int indexa)//检查单词并存入二元组
{
    if (typeCode[temp]!=NULL)//保留字
    {
        erYuanZu[indexa].text=temp;
        erYuanZu[indexa].x=x;
        erYuanZu[indexa].y=y;
        erYuanZu[indexa].type=typeCode[temp];
    }
    else if(temp[0]>='A'&&temp[0]<='Z')//标识符
    {
        if (temp.size()>8)
        {
            Error(temp,x,y,1);
        }
        else
        {
            erYuanZu[indexa].text=temp;
            erYuanZu[indexa].x=x;
            erYuanZu[indexa].y=y;
            erYuanZu[indexa].type=12;
        }
    }
    else if(temp[0]>='0'&&temp[0]<='9')//数字
    {
        int tem=0;
        for (int i=temp.size()-1,j=1;i>=0;i--,j++)//转化为数值
        {
            tem+=((temp[i]-'0')*j);
            j*=10;
        }
        if (tem>65535)
        {
            Error(temp,x,y,2);
        }
        else
        {
            erYuanZu[indexa].text=temp;
            erYuanZu[indexa].x=x;
            erYuanZu[indexa].y=y;
            erYuanZu[indexa].type=11;
        }
    }
    else
    {
        Error(temp,x,y,3);
    }
}
void distinguish()//分析单词（结合最小化DFA图）
{
    int status=0,indexa=0,x,y;//status为状态，indexa为二元组下标，x，y为单词首字母坐标
    char now;//当前读取的字符
    string temp;//暂存单词
    for (int i=0;i<index;i++)
    {
        now=fuhaoliu[i].text;
        switch (status)//进行状态转移
        {
        case 0:
            temp="";
            x=fuhaoliu[i].x;
            y=fuhaoliu[i].y;
            if (isalpha(now))//读入字母
            {
                status=1;
                temp+=now;
            }
            else if(isdigit(now))//读入数字
            {
                status=3;
                temp+=now;
            }
            else if(now=='+'||now=='-'||
now=='*'||now=='/'||now=='='||now=='('||
now==')'||now==','||now==';')//读入特殊符号
            {
                status=5;
                temp+=now;
            }
            else if(now==':')
            {
                status=6;
                temp+=now;
            }
            else if(now=='<')
            {
                status=8;
                temp+=now;
            }
            else if(now=='>')
            {
                status=11;
                temp+=now;
            }
            else//读入非法字符
            {
                status=0;
                temp+=now;
                Error(temp,x,y,3);
            }
            break;
        case 1:
            if (isalnum(now))//读入字母或数字
            {
                status=1;
                temp+=now;
            }
            else
            {
                i--;//回退
                status=2;
            }
            break;
        case 3:
            if (isdigit(now))//读入数字
            {
                status=3;
                temp+=now;
            }
            else
            {
                status=4;
                i--;
            }
            break;
        case 6:
            if (now=='=')
            {
                status=7;
                temp+=now;
            }
            else
            {
                status=16;
                i--;
            }
            break;
        case 8:
            if (now=='=')
            {
                status=9;
                temp+=now;//加入字符到当前串
            }
            else if(now=='>')
            {
                status=10;
                temp+=now;
            }
            else
            {
                status=15;
                i--;
            }
            break;
        case 11:
            if (now=='=')
            {
                status=12;
                temp+=now;
            }
            else
            {
                status=14;
                i--;
            }
            break;
        }
        if (status==2||status==4||status==5||
status==7||status==16||status==9||status==10||
status==15||status==12||status==14)//输出的状态（终态）
        {
            out(temp,x,y,indexa++);
            status=0;
        }
    }
}
int main()
{
    initTypeCode();//初始化类别表
    preprocess();//预处理
    distinguish();//分析单词
    test();//查看输出

    return 0;
}

源程序示例：

PROGRAM TEST2: /*
find the sum of one to five, and do some operation about it
*/
VAR A,B,SUM:INTEGER;
A:=5;
B:=1;
C:=10;
SUM:=0;
BEGIN
WHILE A>0 DO
BEGIN
SUM:=SUM+B;
B:=B+1;
A:=A-1;
END;
SUM:=SUM*(2+2);
SUM:=SUM/2;
END

 

运行结果：