mian.c
#include "globals.h"
/**创建只扫描的编译器 **/
#define NO_PARSE TRUE
#include "scan.h"///词法分析，核心过程为扫描函数 //如果NO_PARSE为true,调用头文件scan.h
/** 分配全局变量 */
int lineno = 0;
FILE * source; ///源代码文件
FILE * listing; ///显示分析过程的文件，这里重定向到stdout
FILE * code; ///目标汇编代码文件
/** 分配并初始化追踪标志 / 直接运行main.c看不到结果 需将下列部分变量的值从FALSE改为TRUE，表示分部执行相应操作 */
int EchoSource = TRUE; ///将TINY源程序回显到带有行号的列表-->改为true才能执行
int TraceScan = TRUE; ///当扫描程序识别出记号时，就显示每个记号的信息
main( int argc, char * argv[] )
{
char pgm[120]; /** 源代码文件名称 */
if (argc != 2)
{ fprintf(stderr,"usage: %s <filename>\n",argv[0]);
exit(1); ///如果argv不为2，打印显示信息并退出【意为如果输入不是:tiny 文件名.文件类型 假如多输入了个1就表示有三个参数，则错误】
}
strcpy(pgm,argv[1]) ; ///复制argv[1]地址以null为退出字符的存储器区块到另一个存储器区块品pgm内
if (strchr (pgm, '.') == NULL)
strcat(pgm,".tny"); ///把.tny文件所指字符串添加到pgm结尾处并添加'\0'
source = fopen(pgm,"r"); ///以只读的方式打开pgm文件，并将指向pgm文件的指针返回给source
if (source==NULL)
{ fprintf(stderr,"File %s not found\n",pgm);
exit(1); /// 如果源文件没有被找到，输出文件没有被找到
}
listing = stdout; /** 发清单消息到屏幕 */
fprintf(listing,"\nTINY COMPILATION: %s\n",pgm); ///应答显示语句
while (getToken()!=ENDFILE); ///如果输入流没有结束就继续进行循环，直至结束
fclose(source); ///关闭源代码文件
return 0;
}
globals.h
///全局定义.包括了数据类型的定义和整个编译器均使用的全程变量,任何代码文件都包含了globals.h头文件
#ifndef _GLOBALS_H_
#define _GLOBALS_H_ ///宏定义
#include <stdio.h>
#include <string.h> ///头文件引用
#ifndef FALSE
#define FALSE 0 //定义FALSE为0
#endif
#ifndef TRUE
#define TRUE 1 //定义TRUE为1
#endif
///定义了关键字个数8个
#define MAXRESERVED 8
typedef enum
/* book-keeping tokens */
{ENDFILE,ERROR,
/* 保留字 */
IF,THEN,ELSE,END,REPEAT,UNTIL,READ,WRITE,
/* 标识符 */
ID,NUM,
/* 特殊符号 */
ASSIGN,EQ,LT,PLUS,MINUS,TIMES,OVER,LPAREN,RPAREN,SEMI
} TokenType; /// 定义了关键字，运算符等内容的枚举值
extern FILE* source; /* 源代码文本文件 */ ///extern用在变量或函数前，表示变量或函数的定义在其他文件中
extern FILE* listing; /// 显示分析过程的文件的地址 */
extern int lineno; /* 源代码行数清单 */
/* EchoSource = TRUE causes the source program to
* be echoed to the listing file with line numbers
* during parsing
*/
extern int EchoSource;
/* TraceScan = TRUE causes token information to be
* printed to the listing file as each token is
* recognized by the scanner
*/
extern int TraceScan;
#endif
scan.h
///对于tiny编译器的扫描程序接口
#ifndef _SCAN_H_
#define _SCAN_H_
/** maxtokenlen是token的最大大小*/
#define MAXTOKENLEN 40
/** tokenString数组保存每个token */
extern char tokenString[MAXTOKENLEN+1];
/** 函数getToken返回源程序中的下一个token*/
TokenType getToken(void);
#endif
scan.c
#include "globals.h"
#include "scan.h"
/**定义的状态 */
typedef enum
{ START,///初始状态
INASSIGN,///进入到赋值状态
INCOMMENT,///进入到注释状态
INNUM,///进入到数字状态
INID,///进入到标志符状态
DONE ///状态结束
}StateType; /**每当语法分析程序需要一个单词时,就调用该子程序,得到 (类别码,单词的值)*/
/** 语义标识符和保留字*/
char tokenString[MAXTOKENLEN+1];
/** BUFLEN = 源代码的输入缓冲长度 */
#define BUFLEN 256
static char lineBuf[BUFLEN]; /** 当前行 */
static int linepos = 0; /** 在linebuf中的当前位置*/
static int bufsize = 0; /** 缓冲区的字符串当前大小*/
static int EOF_flag = FALSE; /** 如果读入下一个字符出错，设置EOF_flag为假。*/
/** getNextChar获取下一个非空白字符开始从lineBuf,如果读完，则读入新行*/
static int getNextChar(void)
{ if (!(linepos < bufsize))
{ lineno++;
if (fgets(lineBuf,BUFLEN-1,source))
{ if (EchoSource) fprintf(listing,"%4d: %s",lineno,lineBuf);
bufsize = strlen(lineBuf);
linepos = 0;
return lineBuf[linepos++];
}
else
{ EOF_flag = TRUE;
return EOF;
}
}
else return lineBuf[linepos++];
}
/** 如果读入下一个字符出错，在linebuf中回退一个字符 。*/
static void ungetNextChar(void)
{ if (!EOF_flag) linepos-- ;}
/** 保留字的查找表 */
static struct
{ char* str;
TokenType tok;
} reservedWords[MAXRESERVED]
= {{"if",IF},{"then",THEN},{"else",ELSE},{"end",END},
{"repeat",REPEAT},{"until",UNTIL},{"read",READ},
{"write",WRITE}};
/** 标识符是否是保留字*/
static TokenType reservedLookup (char * s)
{ int i;
for (i=0;i<MAXRESERVED;i++)
if (!strcmp(s,reservedWords[i].str))
return reservedWords[i].tok;
return ID;
}
/****************************************/
/**********扫描仪的主要功能*************/
/****************************************/
/** 函数gettoken返回源文件中下一个标记 */
TokenType getToken(void)
{ /** 存入tokenstring的位置 */
int tokenStringIndex = 0;
/** 保存当前要返回的token； */
TokenType currentToken;
/** 当前状态 */
StateType state = START;
/** 表示保存到tokenstring的flag */
int save;
while (state != DONE)
{ int c = getNextChar(); /**从输入buf中读入一个字符*/
save = TRUE;
switch (state)
{ case START:
if (isdigit(c)) /**判断字母*/
state = INNUM;
else if (isalpha(c))
state = INID;
else if (c == ':')
state = INASSIGN;
else if ((c == ' ') || (c == '\t') || (c == '\n'))
save = FALSE;
else if (c == '{')
{ save = FALSE;
state = INCOMMENT;
}
else
{ state = DONE;
switch (c)
{ case EOF:
save = FALSE;
currentToken = ENDFILE;
break;
case '=':
currentToken = EQ;
break;
case '<':
currentToken = LT;
break;
case '+':
currentToken = PLUS;
break;
case '-':
currentToken = MINUS;
break;
case '*':
currentToken = TIMES;
break;
case '/':
currentToken = OVER;
break;
case '(':
currentToken = LPAREN;
break;
case ')':
currentToken = RPAREN;
break;
case ';':
currentToken = SEMI;
break;
default:
currentToken = ERROR;
break;
}
}
break;
case INCOMMENT:
save = FALSE;
if (c == EOF)
{ state = DONE;
currentToken = ENDFILE;
}
else if (c == '}') state = START;
break;
case INASSIGN:
state = DONE;
if (c == '=')
currentToken = ASSIGN;
else
{ /** 在输入中备份 */
ungetNextChar();
save = FALSE;
currentToken = ERROR;
}
break;
case INNUM:
if (!isdigit(c))
{ /** 在输入中备份*/
ungetNextChar();
save = FALSE;
state = DONE;
currentToken = NUM;
}
break;
case INID:
if (!isalpha(c))
{ /** 在输入中备份*/
ungetNextChar();
save = FALSE;
state = DONE;
currentToken = ID;
}
break;
case DONE:
default: /** 应该不会执行 */
fprintf(listing,"Scanner Bug: state= %d\n",state);
state = DONE;
currentToken = ERROR;
break;
}
if ((save) && (tokenStringIndex <= MAXTOKENLEN))
tokenString[tokenStringIndex++] = (char) c;
if (state == DONE)
{ tokenString[tokenStringIndex] = '\0';
if (currentToken == ID)
currentToken = reservedLookup(tokenString);
}
}
if (TraceScan) {
fprintf(listing,"\t%d: ",lineno);
printToken(currentToken,tokenString);
}
return currentToken;
} /* end getToken */
///此函数输出一个标号和一个词素
void printToken( TokenType token, const char* tokenString )
{ switch (token)
{ case IF:
case THEN:
case ELSE:
case END:
case REPEAT:
case UNTIL:
case READ:
case WRITE:
fprintf(listing,
"reserved word: %s\n",tokenString);
break;
case ASSIGN: fprintf(listing,":=\n"); break;
case LT: fprintf(listing,"<\n"); break;
case EQ: fprintf(listing,"=\n"); break;
case LPAREN: fprintf(listing,"(\n"); break;
case RPAREN: fprintf(listing,")\n"); break;
case SEMI: fprintf(listing,";\n"); break;
case PLUS: fprintf(listing,"+\n"); break;
case MINUS: fprintf(listing,"-\n"); break;
case TIMES: fprintf(listing,"*\n"); break;
case OVER: fprintf(listing,"/\n"); break;
case ENDFILE: fprintf(listing,"EOF\n"); break;
case NUM:
fprintf(listing,
"NUM, val= %s\n",tokenString);
break;
case ID:
fprintf(listing,
"ID, name= %s\n",tokenString);
break;
case ERROR:
fprintf(listing,
"ERROR: %s\n",tokenString);
break;
default: /* should never happen */
fprintf(listing,"Unknown token: %d\n",token);
}
}
---->>>>>>用C语言的编译工具创建一个tiny项目，在创建这几个文件，在生成的tiny软件目录，写一个需要识别的txt文本文件，用控制台来到当前目录，输入tiny + 文件名.txt即可看到识别出的效果
效果图：
