词法分析的理论知识不少，包括了正规式、正规文法、它们之间的转换以及确定的有穷自动机和不确定的有穷自动机等等。。。
要自己写一个词法分析器也不会很难，只要给出了最简的有穷自动机，就能很方便实现了，用if、switch-case来写一通所谓的状态转换就可以，我近期会写一个简单的词法分析程序来作为例子。。。
现在已经有人发明了一个叫LEX的工具让你去应用，那我们就省了不少力气，毕竟没到万不得已的时候，我们都没必要重新发明*，从另一个角度来说，使用工具是我们人类知识继承的一种方法，也是我们比其他动物优胜的地方。所以这篇文章我们就来探讨一下如何使用这个工具。。。
工具的准备：
我是用了VC6和flex.exe（这个程序可以在WINDOWS下使用，下面还带了个BISON。exe的程序，可以上网找找看，下载下来，因为我都忘记在哪里下的了。。。）
flex.exe的使用：
首先要写个后缀为 .l 的文件，这个文件分为了上中下三部分，三部分是用两串的%%来隔开的。
开始部分是指你要准备的工作，例如定义一下要用到的变量阿之类的。。。
中间部分是指要识别的字串和识别到之后要进行的动作。。。
最后部分就是一些要拷贝到生成文件里的C代码了，LEX基本原封不动的帮你拷贝过去。。。
http://hovertree.com/
下面就是我写的 .l 文件，看到两个%%隔开的三部分了吧，如果用flex生成文件的过程中出现什么 "yywrap"的错误，就像我一样在下面加上 %option noyywrap 这一句：
%{
int num_lines = 0, num_chars = 0;
%}
%option noyywrap
%%
[a-z] ECHO;
/n ++num_lines; ++num_chars;
. ++num_chars;
%%
int main(int argc, char* argv[])
{
yylex();
printf( "# of lines = %d, # of chars = %d/n", num_lines, num_chars );
}
主要还是中间部分比较重要，在LEX的参考文档里，是一种 pattern--action 的对应，识别出来，要干吗就由你来定了，这里是：
1、[a-z] ECHO; 用ECHO来输出一下 字母字符串，
2、/n ++num_lines; ++num_chars;碰到/n换行符就行数加一，这样可以用来统计代码的行数，
3、. ++num_chars; 这里是碰到任何字符都字符数加一，这样可以统计一下字符的个数。
然后就用flex.exe来"编译"一下，如果没有错误，就直接通过并生成一个"lex.yy.c" 文件。。。
vc6和flex.exe的整合：
flex.exe给我们生成了个 .c 的文件，我们要在vc6里使用它，那首先就是建立一个console工程，把这个 C文件包含进来。上面写的.l 文件也要和"lex.yy.c" 文件放在一起。。。
然后直接编译，OK，通过了，我们运行之，然后敲一些数字和一些字母回车，我们就会发现，程序把字母显示出来了(ECHO)，数字没有显示，然后我们按 CTRL+break 来退出程序的时候，就会输出有多少行和多少个字符。。。
上面我们的输出和输入都是标准的，就是屏幕，如果我们要读入一个文件来分析应该怎么办呢？
很简单，我们就改写一下"lex.yy.c" 文件里的main()函数，改成下面这样就好了（打开一个文件，把输入 yyin 指向文件的句柄，yyin 和 yylex 都是lex生成的固定变量和函数，还有一些yyout什么的，先自己看看哈）：
int main(int argc, char* argv[])
{
FILE *f = fopen("main.txt", "r");
yyin = f;
yylex();
printf( "# of lines = %d, # of chars = %d/n", num_lines, num_chars );
}
好了，一个简单的词法分析程序就生成了，入了门，要做些别的事情就发挥你的想象力吧。。。
尚待解决的问题：
使用flex.exe和vc6的整合还是很不舒服，如果flex生成的是c++文件，又会要求包含一些unix下的头文件，我还没找到解决的办法，知道的请告诉我一下，先谢过哈。