【文件属性】：
文件名称：sphinx中文语音训练手册
文件大小：53.17MB
文件格式：RAR
更新时间：2016-05-19 04:27:41
sphinx 中文 语音 训练 手册
本文档介绍Sphinx4在Windows下的中文训练过程及注意事项，与本文档配套的是我自己的训练实例bergtrain和用到的软件。
本文档编写日期 2013-04-23
1、为什么要训练？
sphinx4目前的版本中仅提供了英文等语音识别库。中文的库是PTM或semi类型的，在java版sphinx中无法使用。
2、Sphinx的训练指哪些内容？
在Sphinx中有语言模型、声学模型等概念，如果你不想了解这些，请参考以下内容：
a1、中文每个字的标准发音已经有一个较为全面的文件进行了标注
这个文件就是zh_broadcastnews_utf8.dic（下称这类文件为发音字典），在sphinx网站上可以下载，我们也包含了它。
下面是该文件的片断，它用类似拼音的方式标注了每个字或词的发音。
昌 ch ang
昌北 ch ang b ei
昌必 ch ang b i
昌都 ch ang d u
昌赫 ch ang h e
a2、需要告诉sphinx我们经常使用的字、词是哪些，它们出现的频率如何
由于开放式语音识别尚难实现，所以sphinx实际上只能较好的处理相对小的语言集合。
因此，针对特定的领域，告诉sphinx该领域的词汇和各词出现的频率将极大提高识别率。
a3、需要告诉sphinx每个字、词的真正读音
发音字典告诉sphinx每个字的标准读音，但面对的说话人往往不会以标准读音来朗读。
因此sphinx需要学习说话人的“口音”。
如果训练时的读者发音比较标准，则sphinx能“举一反三”，识别其他不那么标准的读者的语音。
推荐的做法是训练一些典型的口音：标准男、女声，童音，最后再考虑特定用户的口音。
3、如何准备训练内容所需的原料？
需要准备两大内容：1)文本语料文件，2)语料录音文件。
文本语料文件给出2.a2中需要的内容，在bergtrain的etc文件下的berginput.txt文件就是一个预料文件。
它以行为单位，给出了150个中文句子。
语料录音文件是根据文本语料文件，朗读它的每行/句话，保存到每一个语音文件即可。
语料文件中的语句应该尽量选择领域相关的，在覆盖领域内名词的前提下，覆盖尽可能多的通用词汇。
4、训练环境及注意事项
本文的训练软硬件如下：
硬件：T60P笔记本，机器自带录音设备；操作系统为Win7 32位。
软件：Sphinx
cmuclmtk-0.7-win32.zip
pocketsphinx-0.8-win32.zip
sphinxbase-0.8-win32.zip
sphinxtrain-1.0.8-win32.zip
sphinx4-1.0beta6-bin.zip，用于编写java版的识别软件所需的库
脚本执行软件
ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi
ActivePython-2.7.2.5-win32-x86.msi
录音和处理软件
audacity-win-2.0.3rc1.zip，可进行录音和声音文件处理（如降噪），免费软件
FairStars.zip，可进行批量录音（V3.5绿色版）
文本编辑软件UltraEdit，UltraEdit-32.rar绿色版
注意：
文件格式
语料文件必须使用UltraEdit进行编辑，
在编辑后，使用 文件-转换-ASCII转UTF-8(UNICODE编辑)，指定文件中的中文使用utf8编码。
在保存前，设置格式如下：
换行符：UNIX终束符 - LF 指定文件中的回车/换行符为编码0A的换行符
格式：UTF-8 - 无BOM
每个文件的末尾必须有一个回车！ 这个回车将在保存时被替换为编码0A的换行符，训练脚本需要这个符号来确认文件的结束。
录音文件
如果你不希望去编辑训练中的配置文件，则在使用FairStars录音时作如下设定：
进入菜单和对话框 选项-显示录音选项-编码-WMA，
设定：采样率（16000Hz）、通道（单声道）、比特率（16Kbps）
5、训练步骤
下面逐步从零开始进行训练
5.1 软件环境的安装
将本文档所在的文件夹解压或拷贝到d:\，即本文档路径是d:\sphinxtrain\Sphinx中文训练教程.txt
1)点击安装ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi和ActivePython-2.7.2.5-win32-x86.msi；
2)解压Sphinx中除sphinx4-1.0beta6-bin.zip外的压缩文件到d:\sphinxtrain下
3)安装audacity-win-2.0.3rc1.zip和FairStars.zip
4)安装UltraEdit-32.rar（绿色，解压即可）
5.2 准备文本语料
这里需要使用我们提供的脚本对berginput.txt进行处理，得到所需的文件。
1)将d:\sphinxtrain\cnprepare.py剪切到D:\sphinxtrain\sphinxtrain-1.0.8-win32\python目录。
2)将d:\sphinxtrain\jieba.rar解压到D:\sphinxtrain\sphinxtrain-1.0.8-win32\python目录，
确保jieba.rar中的文件dict.txt解压后的目录是D:\sphinxtrain\sphinxtrain-1.0.8-win32\python\jieba\dict.txt
jieba.rar是一个python下的中文分词模块，主页是https://github.com/fxsjy/jieba
3)打开一个DOS命令行（这个应该都知道吧），运行下面的命令
python D:\sphinxtrain\sphinxtrain-1.0.8-win32\python\cnprepare.py D:\sphinxtrain\zh_broadcastnews_utf8.dic D:\sphinxtrain\bergtrain\etc\berginput.txt D:\sphinxtrain\bergtrain\etc\bergtrain.txt D:\sphinxtrain\bergtrain\etc\bergtrain_train.transcription D:\sphinxtrain\bergtrain\etc\bergtrain.dic D:\sphinxtrain\bergtrain\etc\bergtrain_train.fileids
cnprepare.py命令的格式是cnprepare
dictMapFile是发音字典文件，上面的是zh_broadcastnews_utf8.dic，我们删除里面的数字和英文。
inFile是准备好的领域内语料文本，例如berginput.txt里关于图形用户界面和语音朗读、计算机方面的文本。
txtFile是将输出用于sphinx进行统计的语料文件
tranFile是sphinx中的transcription文件，它告诉sphinx将要训练的语句有哪些。
dicFile是transcription文件语句中所有单词的发音字典，显然它是dictMapFile的一个覆盖inFile的子集。
fileids告诉sphinxtranscription文件中每条语句对应的发音文件。
上面的命令行为我们准备好了训练时需要的语料信息，还有三个文件需要准备：
bergtrain.filler 告诉sphinx，transcription文件中一些不需要处理的哑元符号，这个文件已经自带了。
bergtrain_test.fileids
bergtrain_test.transcription 用于测试的transcription文件和语音对应文件，可以直接拷贝用于训练的两个文件，命令行如下：
copy D:\sphinxtrain\bergtrain\etc\bergtrain_train.transcription D:\sphinxtrain\bergtrain\etc\bergtrain_test.transcription
copy D:\sphinxtrain\bergtrain\etc\bergtrain_train.fileids D:\sphinxtrain\bergtrain\etc\bergtrain_test.fileids
5.3 录音
如果打开5.2中生成的bergtrain_train.fileids文件，可以看到一下片断：
speaker_1/1_1
speaker_1/1_2
speaker_1/1_3
speaker_1/1_4
speaker_1/1_5
speaker_1/1_6
它告诉sphinx在训练时如何找到句子的读音。以speaker_1/1_4为例，它指示sphinx，
对于bergtrain_train.transcription中的第4个句子，读音文件是
D:\sphinxtrain\bergtrain\wav\speaker_1\1_4.wav。
读音文件的格式和扩展名可以在后面生成的训练配置文件中修改，幸运的是如果按照4中的格式进行录音，就不需要修改。
录音可以采用FairStars软件，它支持批量录音，设定你喜欢的快捷键，可以使你的录音过程轻松得多。
好吧，我们提供了一份个人的录音文件，原始信息在D:\sphinxtrain\bergtrain\wav原始\speaker_1中，
D:\sphinxtrain\bergtrain\wav\speaker_1中的是经过audacity进行归一化处理的语音文件。
6、开始训练
我们已经按照sphinx的教程准备好了训练用的命令行，分为三部分：生成训练目录、语料预处理、训练与测试。
6.1 使用下面的命令行，告诉sphinx我们要在bergtrain目录下进行训练
rem 进入bergtrain目录
cd D:\sphinxtrain\bergtrain
d:
rem 建立训练环境bergtrain
rem 会在bergtrain目录下生成etc目录(feat.params和sphinx_train.cfg)
python D:\sphinxtrain\sphinxtrain-1.0.8-win32\scripts\sphinxtrain -t bergtrain setup
6.2 语料预处理的脚本如下，拷贝到命令行中运行即可：
rem 进入etc目录
cd D:\sphinxtrain\bergtrain\etc\
d:
rem 将语料文件转换生成DMP文件
D:\sphinxtrain\cmuclmtk-0.7-win32\text2wfreq < bergtrain.txt > bergtrain.wfreq
D:\sphinxtrain\cmuclmtk-0.7-win32\wfreq2vocab < bergtrain.wfreq > bergtrain.vocab
D:\sphinxtrain\cmuclmtk-0.7-win32\text2idngram -vocab bergtrain.vocab -idngram bergtrain.idngram < bergtrain.txt
D:\sphinxtrain\cmuclmtk-0.7-win32\idngram2lm -idngram bergtrain.idngram -vocab bergtrain.vocab -arpa bergtrain.arpa
D:\sphinxtrain\sphinxbase-0.8-win32\bin\Release\sphinx_lm_convert -i bergtrain.arpa -o bergtrain.lm.DMP
rem 生成.phone文件
D:\sphinxtrain\sphinxtrain-1.0.8-win32\scripts\prepare\make_phoneset.pl bergtrain.dic bergtrain.filler > bergtrain.phone
6.3 训练和测试的脚本你如下，拷贝到命令行中运行即可。训练的时间根据语料多少和机器性能而定，我的训练花了5分钟的样子。
rem 进入bergtrain目录
cd D:\sphinxtrain\bergtrain
d:
rem 开始进行运行训练
python D:\sphinxtrain\sphinxtrain-1.0.8-win32\scripts\sphinxtrain run
rem 运行测试，可以不执行测试
python D:\sphinxtrain\sphinxtrain-1.0.8-win32\scripts\sphinxtrain -s decode run
7、试验和使用
训练完毕，将需要的文件拷贝到test目录中，运行命令进行朗读测试，所需的脚本如下：
rem 拷贝需要的文件
rem 创建目标目录并拷贝数据文件
md D:\sphinxtrain\bergtrain\test\bergtrain.cd_cont_200
copy /Y D:\sphinxtrain\bergtrain\model_parameters\bergtrain.cd_cont_200\*.* D:\sphinxtrain\bergtrain\test\bergtrain.cd_cont_200\
rem 拷贝字典和语料文件
copy /Y D:\sphinxtrain\bergtrain\etc\bergtrain.dic D:\sphinxtrain\bergtrain\test\bergtrain.dic
copy /Y D:\sphinxtrain\bergtrain\etc\bergtrain.lm.DMP D:\sphinxtrain\bergtrain\test\bergtrain.lm.DMP
rem 进入测试目录，启动测试程序
cd D:\sphinxtrain\bergtrain\test
d:
pocketsphinx_continuous -hmm bergtrain.cd_cont_200 -lm bergtrain.lm.DMP -dict bergtrain.dic
开始测试后，可以朗读内容，例如“计算机”，会有如下的输出。
INFO: ngram_search.c(1266): lattice start node .0 end node 璁＄畻鏈?2
INFO: ngram_search.c(1294): Eliminated 40 nodes before end node
INFO: ngram_search.c(1399): Lattice has 84 nodes, 1 links
INFO: ps_lattice.c(1365): Normalizer P(O) = alpha(璁＄畻鏈?2:104) = -256768
INFO: ps_lattice.c(1403): Joint P(O,S) = -256768 P(S|O) = 0
INFO: ngram_search.c(888): bestpath 0.00 CPU 0.000 xRT
INFO: ngram_search.c(891): bestpath 0.01 wall 0.010 xRT
000000002: 璁＄畻鏈?
READY....
注意，由于编码的原因，出现的是乱码，拷贝该乱码；
到ultraedit中，新建一个文件，粘贴，使用utf8转ascii，就可以看到正确的内容了。
上面的貌似被识别成了（计算暿）。
在sphinx4的java中使用上面训练的成果，简单的方法是将bergtrain.cd_cont_200目录下的文件连同
bergtrain.dic、bergtrain.lm.DMP文件，放入一个目录（如bergtrain），将该目录压缩为一个zip文件，
重命名为jar文件，然后参考sphinx4的hello world修改其中的配置文件，使之使用我们提供的jar包即可。
注意，要把jar包放到classpath哦。
经过个人的测试，识别率还是比较高的。
8、总结与问题
总的来讲，训练时只需要提供语料文件和录音文件，形式上比较简单，但要给一个好的语料文件还需要不断试验。
上面的步骤和脚本都是根据sphinx的文档来的。需要注意的是，版本不同，内容可能也会不同。
8.1 中文的字和词的问题
中文和英文的一个差别是：英文的单词之间有空格，而中文没有。而sphinx显然是按照空格来划分单词的。
因此，进行中文训练前需要进行分词，即为字和词之间添加空格。例如：
命令的层次根据应用程序的不同而不同。
将被分为：
命令 的 层次 根据 应用程序 的 不同 而 不同
当然，你也可以直接将它分割为单个的字，即：
命 令 的 层 次 根 据 应 用 程 序 的 不 同 而 不 同
分词的优点是“可能”提高识别率。
由于中文的这一特点，在java中使用sphinx定义语法文件时，需要做额外的工作。
例如定义下面的语法
(我们) (是|不是) (好孩子 | 计算机高手)
可能会因为bergtrain.dic中不存在“计算机高手”而报错，解决的办法如下：
1、复杂型：使用分词将“计算机高手”划分到bergtrain.dic所包含的 “计算机 高手”。
2、简单型：直接添加空格，划分为“计 算 机 高 手”。
总之就是要使每个词在bergtrain.dic中，同时又符合语法。
8.2 中文、英文和数字的混合训练
在语料文件中添加包括英文和数字的语句，
在发音字典中确保新的单词和数字有对应的发音即可。
结巴分词可以处理中文、英文和数字混合的文件。
——你可以按照上面的教程直接进行训练，而无需下载附件。当然，下载后评价一下，也可以回收你的1分。
由于csdn的文件大小限制，只能将用到的软件都删除了，请自行下载或找我直接要吧。
