首先让我们对词法分析器有个基本的了解：
一、 词法分析程序的主要任务 ： 从左到右扫描每行源程序，拼成单词，换成统一的内部表示(token)输出，送给语法分析器进行分析。
二、词法分析器功能：输入源程序，输出单词符号，其中词法分析器的单词符号常常表示成二元组的形式（单词种别码，单词符号的属性值）。
三、下来就部分单词的BNF表示罗列如下：
<标识符> -><字母><字母数字串>
<字母数字串> -><字母><字母数字串>|<数字><字母数字串>|<下划线><字母数字串>|ε
<无符号整数> -><数字><数字串>
<数字串> -><数字><数字串>|ε
<加法运算符> ->+
<减法运算符> -> -
<大于关系运算符> -> >
<大于等于关系运算符 > -> >=
四、然后对于词法分析器来说，我们就是要将对象语言的语法全部描述出来，下面就以C语言为例来说明问题：
（1）关键字：
main if else int return void while ...所有的关键字都是小写。
（2）专用符号
= + - * / <= >= > == != ; : , { } [ ] ( )
（3）空白和空格、制表符和换行符
空格一般用来分隔ID、NUM、专用符号和关键字，在词法分析阶段通常被忽略。
五、“超前搜索”方法
词法分析时，常常会遇到超前搜索方法。如当前待运算分析的字符串为“a>+”当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能够给出特定的结论。于是分析器读入下一个字符’+‘，这时可知应将’>‘解释为大于运算符。但此时，超前读了一个字符’+‘，所以要回退一个字符，词法分析器才能够运行。
接下来，面对一个问题就是，既然已经知道了具体的细节，下面要做的就是如何用代码实现呢？
请看下面这图：
这是我在实现词法分析器过程中的主要流程图，根据读出的字符是何种类型进行操作，然后具体问题具体分析。