使用Tesseract-OCR训练文字识别记录

时间:2023-01-28 08:13:05

Tesseract官方文档页面

https://github.com/tesseract-ocr/tesseract

jTessBoxEditor官方文档页面

http://vietocr.sourceforge.net/training.html

[root@docker01 tesseract]# tesseract --list-langs

List of available languages (2):
eng

就一个英语环境。

语言包所在的目录

[root@docker01 tessdata]# pwd
/usr/share/tesseract/tessdata
[root@docker01 tessdata]# ll
总用量 37624
drwxr-xr-x 2 root root 4096 10月 25 22:51 configs
-rw-r--r-- 1 root root 171918 6月 25 2015 eng.cube.bigrams
-rw-r--r-- 1 root root 38 6月 25 2015 eng.cube.fold
-rw-r--r-- 1 root root 181 6月 25 2015 eng.cube.lm
-rw-r--r-- 1 root root 857304 6月 25 2015 eng.cube.nn
-rw-r--r-- 1 root root 254 6月 25 2015 eng.cube.params
-rw-r--r-- 1 root root 13020078 6月 25 2015 eng.cube.size
-rw-r--r-- 1 root root 2444187 6月 25 2015 eng.cube.word-freq
-rw-r--r-- 1 root root 996 6月 25 2015 eng.tesseract_cube.nn
-rw-r--r-- 1 root root 21876550 6月 25 2015 eng.traineddata
-rw-r--r-- 1 root root 124215 10月 25 23:08 normal.traineddata
-rw-r--r-- 1 root root 568 1月 26 2016 pdf.ttf
drwxr-xr-x 2 root root 92 10月 25 22:51 tessconfigs

后期若要添加语言包,则可下载语言包后放到这里面。

pkgs.org中对tesseract的安装说明,已经安装后的一些文件信息

https://pkgs.org/centos-7/epel-x86_64/tesseract-3.04.00-3.el7.x86_64.rpm.html

安装jTessBoxEditor

jTessBoxEditor需要jre7(Java Runtime Environment)以上的版本支持。

安装完jre后,下载jTessBoxEditor,解压,运行train.bat文件即可运行 

使用Tesseract-OCR训练文字识别记录

运行后界面图 

使用Tesseract-OCR训练文字识别记录

至此两个所需要的软件安装结束。

初步识别工作

准备几张图片

使用Tesseract-OCR训练文字识别记录

把这几张图片传到安装tesseract的机器上

[root@docker01 test01]# ll
总用量 24
-rw-r--r-- 1 root root 1829 10月 24 16:05 0.gif
-rw-r--r-- 1 root root 1930 10月 24 16:05 1.gif
-rw-r--r-- 1 root root 1890 10月 24 16:05 2.gif
-rw-r--r-- 1 root root 1986 10月 24 16:05 3.gif
-rw-r--r-- 1 root root 1828 10月 24 16:05 4.gif
-rw-r--r-- 1 root root 1866 10月 24 16:06 5.gif

开始识别 0.gif 图片

[root@docker01 test01]# tesseract 0.gif out.0 -l eng
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory

这是在该目录下多了一个out.0.txt文件

[root@docker01 test01]# ll
总用量 28
-rw-r--r-- 1 root root 1829 10月 24 16:05 0.gif
-rw-r--r-- 1 root root 1930 10月 24 16:05 1.gif
-rw-r--r-- 1 root root 1890 10月 24 16:05 2.gif
-rw-r--r-- 1 root root 1986 10月 24 16:05 3.gif
-rw-r--r-- 1 root root 1828 10月 24 16:05 4.gif
-rw-r--r-- 1 root root 1866 10月 24 16:06 5.gif
-rw-r--r-- 1 root root 6 10月 26 00:52 out.0.txt

查看所识别到的内容

[root@docker01 test01]# cat out.0.txt
[54v

和图片上的 I54v 有点差别。

批量识别所有内容

[root@docker01 test01]# for i in {1..5};do tesseract $i.gif out.$i -l eng;done 
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory

查看识别出的内容

[root@docker01 test01]# ll
总用量 48
-rw-r--r-- 1 root root 1829 10月 24 16:05 0.gif
-rw-r--r-- 1 root root 1930 10月 24 16:05 1.gif
-rw-r--r-- 1 root root 1890 10月 24 16:05 2.gif
-rw-r--r-- 1 root root 1986 10月 24 16:05 3.gif
-rw-r--r-- 1 root root 1828 10月 24 16:05 4.gif
-rw-r--r-- 1 root root 1866 10月 24 16:06 5.gif
-rw-r--r-- 1 root root 6 10月 26 00:52 out.0.txt
-rw-r--r-- 1 root root 9 10月 26 01:00 out.1.txt
-rw-r--r-- 1 root root 5 10月 26 01:00 out.2.txt
-rw-r--r-- 1 root root 6 10月 26 01:00 out.3.txt
-rw-r--r-- 1 root root 7 10月 26 01:00 out.4.txt
-rw-r--r-- 1 root root 5 10月 26 01:00 out.5.txt
[root@docker01 test01]# cat *.txt
[54v
ikhb‘
ymm
7y28
nl 9c
mzb

和上面的图片对应,其实就一个 3.gif 图片识别对了

训练工作

合成图片工作

返回到win系统上,运行jTessBoxEditor工具,把所有图片合成一张 .tif 格式的图片 

使用Tesseract-OCR训练文字识别记录

打开所有要合成的图片 

使用Tesseract-OCR训练文字识别记录

命名要合成图片的名字

注:有关这个命名有个说法,必须要按以下格式命名

tif命名规范: 

[lang].[fontname].exp[num].tif 

其中lang为语言名称,fontname为字体名称,num为序号,可以随便定义。 

但我试了其他的明白,直接命名也是正常的。

使用Tesseract-OCR训练文字识别记录

提示创建成功,在图片目录下生成一个 mytest.tif 的文件 

使用Tesseract-OCR训练文字识别记录

生成box文件工作

把 mytest.tif 文件上传到centos 7 系统上

[root@docker01 04test]# ll

总用量 100
-rw-r--r-- 1 root root 99212 10月 26 15:42 mytest.tif

在mytest.tif所在的目录下打开一个命令行,产生相应的Box文件(*.box)

来生成一个box文件,该文件记录了tesseract识别出来的每一个字和其位置坐标。

[root@docker01 04test]# tesseract mytest.tif mytest batch.nochop makebox

Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Page 1
Page 2
Page 3
Empty page!!
Empty page!!
Empty page!!
Page 4
Page 5
Page 6
Page 7
Empty page!!
Empty page!!
Empty page!!
Page 8
Page 9
Page 10
Page 11
Page 12
Page 13
Page 14
Page 15
Page 16
Page 17
Empty page!!
Empty page!!
Empty page!!
Page 18
Page 19
Page 20
Page 21
Empty page!!
Empty page!!
Empty page!!
Warning in pixReadMemTiff: tiff page 21 not found

这时目录多出了一个mytest.box和mytest.txt文件

[root@docker01 04test]# ll

总用量 108
-rw-r--r-- 1 root root 1005 10月 26 23:52 mytest.box
-rw-r--r-- 1 root root 99212 10月 26 15:42 mytest.tif
-rw-r--r-- 1 root root 101 10月 26 23:52 mytest.txt

修正文字内容

把mytest.box下载下来,放到win系统下,放到之前mytest.tif目录下。

使用Tesseract-OCR训练文字识别记录

使用jTessBoxEditor开始修正文字 

使用Tesseract-OCR训练文字识别记录

修正文字会遇到的几种情况

  • 普通情况

    使用Tesseract-OCR训练文字识别记录

    可以看到,识别到的第一个值是 6 ,但图片中的值为 e ,所以开始手动修改 

    使用Tesseract-OCR训练文字识别记录

    修改后,回车,然后点击 save 保存 

    使用Tesseract-OCR训练文字识别记录

    然后进行一张图片修正 

    使用Tesseract-OCR训练文字识别记录

    若识别到的图片的文字与图片上一样,即可继续下一张图片识别

  • 表中无内容

    使用Tesseract-OCR训练文字识别记录

    部分图片可能由于背景颜色关系,导致此张图片无法识别,可跳过继续下一张识别。

  • 识别一半

    例如以下图片,四个字符,只被分割成两个 

    使用Tesseract-OCR训练文字识别记录

    此时,可以用到分割识别框以及调整识别框位置的功能 

    使用Tesseract-OCR训练文字识别记录

    调整后的图形 

    使用Tesseract-OCR训练文字识别记录

Run Tesseract for Training

产生字符特征文件(*.tr)

把修正后的box文件传回centos7系统中,删除原来在centos 7系统中的box文件

[root@docker01 03test]# rm 200test.box

rm:是否删除普通文件 "200test.box"?y
[root@docker01 03test]# rz -by

rz waiting to receive.
Starting zmodem transfer. Press Ctrl+C to cancel.
Transferring 200test.box...
100% 9 KB 9 KB/sec 00:00:01 0 Errors
[root@docker01 03test]# tesseract 200test.tif 200test nobatch box.train

目录下都了一个tr文件

[root@docker01 03test]# ll

总用量 1756
-rw-r--r-- 1 root root 10210 10月 26 16:53 200test.box
-rw-r--r-- 1 root root 949532 10月 26 15:13 200test.tif
-rw-r--r-- 1 root root 830214 10月 27 00:58 200test.tr
-rw-r--r-- 1 root root 325 10月 27 00:58 200test.txt

Compute the Character Set

产生计算字符集(unicharset)

[root@docker01 03test]# unicharset_extractor 200test.box

Extracting unicharset from 200test.box
Wrote unicharset file ./unicharset.

定义字体特征文件并聚集字符特征

新建文件“font_properties”。那么需要在目录下新建一个名字为“font_properties”的文件,并且输入文本 :

注意:这里 200test 必须与训练名中的名称保持一致,填入下面内容 ,这里全取值为0,表示字体不是粗体、斜体等等。

200test 0 0 0 0 0
[root@docker01 03test]# ll
总用量 1764
-rw-r--r-- 1 root root 10210 10月 26 16:53 200test.box
-rw-r--r-- 1 root root 949532 10月 26 15:13 200test.tif
-rw-r--r-- 1 root root 830214 10月 27 00:58 200test.tr
-rw-r--r-- 1 root root 325 10月 27 00:58 200test.txt
-rw-r--r-- 1 root root 18 10月 27 01:02 font_properties
-rw-r--r-- 1 root root 2301 10月 27 01:00 unicharset

 

[root@docker01 03test]# cat font_properties
200test 0 0 0 0 0

执行命令:

[root@docker01 03test]# mftraining -F font_properties -U unicharset 200test.tr
Warning: No shape table file present: shapetable
Reading 200test.tr ...
Flat shape table summary: Number of shapes = 43 max unichars = 1 number with multiple unichars = 0
Warning: no protos/configs for Joined in CreateIntTemplates()
Warning: no protos/configs for |Broken|0|1 in CreateIntTemplates()
Done!

输入命令:

[root@docker01 03test]# cntraining 200test.tr
Reading 200test.tr ...
Clustering ...
Writing normproto ...

此时,在目录下应该生成若干个文件了,把unicharset, inttemp, normproto, pffmtable这四个文件加上前缀“200test.”。然后 合并训练文件

[root@docker01 03test]# ll
总用量 2100
-rw-r--r-- 1 root root 10210 10月 26 16:53 200test.box
-rw-r--r-- 1 root root 949532 10月 26 15:13 200test.tif
-rw-r--r-- 1 root root 830214 10月 27 00:58 200test.tr
-rw-r--r-- 1 root root 325 10月 27 00:58 200test.txt
-rw-r--r-- 1 root root 18 10月 27 01:02 font_properties
-rw-r--r-- 1 root root 323869 10月 27 01:03 inttemp
-rw-r--r-- 1 root root 5342 10月 27 01:04 normproto
-rw-r--r-- 1 root root 341 10月 27 01:03 pffmtable
-rw-r--r-- 1 root root 778 10月 27 01:03 shapetable
-rw-r--r-- 1 root root 2301 10月 27 01:00 unicharset

修改文件,并合并训练文件

[root@docker01 03test]# ll
总用量 2100
-rw-r--r-- 1 root root 10210 10月 26 16:53 200test.box
-rw-r--r-- 1 root root 949532 10月 26 15:13 200test.tif
-rw-r--r-- 1 root root 830214 10月 27 00:58 200test.tr
-rw-r--r-- 1 root root 325 10月 27 00:58 200test.txt
-rw-r--r-- 1 root root 18 10月 27 01:02 font_properties
-rw-r--r-- 1 root root 323869 10月 27 01:03 test200.inttemp
-rw-r--r-- 1 root root 5342 10月 27 01:04 test200.normproto
-rw-r--r-- 1 root root 341 10月 27 01:03 test200.pffmtable
-rw-r--r-- 1 root root 778 10月 27 01:03 test200.shapetable
-rw-r--r-- 1 root root 2301 10月 27 01:00 test200.unicharse

合并文件

[root@docker01 03test]# combine_tessdata test200.

Combining tessdata files
TessdataManager combined tesseract data files.
Offset for type 0 (test200.config ) is -1
Offset for type 1 (test200.unicharset ) is 140
Offset for type 2 (test200.unicharambigs ) is -1
Offset for type 3 (test200.inttemp ) is 2441
Offset for type 4 (test200.pffmtable ) is 326310
Offset for type 5 (test200.normproto ) is 326651
Offset for type 6 (test200.punc-dawg ) is -1
Offset for type 7 (test200.word-dawg ) is -1
Offset for type 8 (test200.number-dawg ) is -1
Offset for type 9 (test200.freq-dawg ) is -1
Offset for type 10 (test200.fixed-length-dawgs ) is -1
Offset for type 11 (test200.cube-unicharset ) is -1
Offset for type 12 (test200.cube-word-dawg ) is -1
Offset for type 13 (test200.shapetable ) is 331993
Offset for type 14 (test200.bigram-dawg ) is -1
Offset for type 15 (test200.unambig-dawg ) is -1
Offset for type 16 (test200.params-model ) is -1
Output test200.traineddata created sucessfully.

此时目录下“test200.traineddata”的文件拷贝到tesseract程序目录下的“tessdata”目录。

[root@docker01 03test]# cp test200.traineddata /usr/share/tesseract/tessdata

查看当前语言包有哪些

[root@docker01 tesseract_test]# tesseract --list-langs
List of available languages (4):
eng
normal
myfont
test200

至此,新的语言包已训练完成,下一步就是要用此语言包来识别图形文字

再次识别

还是最开始的5涨图片

[root@docker01 test01]# ll
总用量 44
-rw-r--r-- 1 root root 1829 10月 24 16:05 0.gif
-rw-r--r-- 1 root root 1930 10月 24 16:05 1.gif
-rw-r--r-- 1 root root 1890 10月 24 16:05 2.gif
-rw-r--r-- 1 root root 1986 10月 24 16:05 3.gif
-rw-r--r-- 1 root root 1828 10月 24 16:05 4.gif
-rw-r--r-- 1 root root 1866 10月 24 16:06 5.gif

用一个循环批量识别

[root@docker01 test01]# for i in {1..5};do tesseract $i.gif out.$i -l test200;done
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory
Tesseract Open Source OCR Engine v3.04.00 with Leptonica
Warning in pixReadMemGif: writing to a temp file, not directly to memory

识别后输出的文件

[root@docker01 test01]# ll
总用量 48
-rw-r--r-- 1 root root 1829 10月 24 16:05 0.gif
-rw-r--r-- 1 root root 1930 10月 24 16:05 1.gif
-rw-r--r-- 1 root root 1890 10月 24 16:05 2.gif
-rw-r--r-- 1 root root 1986 10月 24 16:05 3.gif
-rw-r--r-- 1 root root 1828 10月 24 16:05 4.gif
-rw-r--r-- 1 root root 1866 10月 24 16:06 5.gif
-rw-r--r-- 1 root root 6 10月 27 01:18 out.0.txt
-rw-r--r-- 1 root root 6 10月 27 01:18 out.1.txt
-rw-r--r-- 1 root root 6 10月 27 01:18 out.2.txt
-rw-r--r-- 1 root root 6 10月 27 01:18 out.3.txt
-rw-r--r-- 1 root root 7 10月 27 01:18 out.4.txt
-rw-r--r-- 1 root root 6 10月 27 01:18 out.5.txt

查看文件内容,以及对比图片

[root@docker01 test01]# cat out.*
l54v

ikh6

ynxn

7y28

nl 9c

w4zb

图片内容

使用Tesseract-OCR训练文字识别记录

可以对比下最开始的识别情况,识别率大大提高了。