文件名称：English tokenization
文件大小：19KB
文件格式：ZIP
更新时间：2015-02-26 06:23:25
English tokenization
Moses中自带的英文分词，大家可以下载使用处理英文的分词，具体的使用命令就是tokenizer.perl example.txt
【文件预览】：
tokenizer
----tokenizer.perl(4KB)
----detokenizer.perl(8KB)
----lowercase.perl(120B)
----nonbreaking_prefixes()
--------nonbreaking_prefix.fr(1008B)
--------nonbreaking_prefix.sv(184B)
--------nonbreaking_prefix.pt(2KB)
--------nonbreaking_prefix.el(57B)
--------nonbreaking_prefix.sl(356B)
--------nonbreaking_prefix.nl(2KB)
--------nonbreaking_prefix.ca(324B)
--------nonbreaking_prefix.en(1KB)
--------nonbreaking_prefix.es(835B)
--------nonbreaking_prefix.pl(1KB)
--------README.txt(98B)
--------nonbreaking_prefix.is(1KB)
--------nonbreaking_prefix.it(2KB)
--------nonbreaking_prefix.sk(2KB)
--------nonbreaking_prefix.ru(2KB)
--------nonbreaking_prefix.de(2KB)
--------nonbreaking_prefix.ro(104B)