文件名称：simhash.zip
文件大小：9.03MB
文件格式：ZIP
更新时间：2023-08-06 12:37:01
文本去重 java
simhash 高效的文本相似度去重算法实现 simhash是什么 Google发明的的文本去重算法，适合于大批量文档的相似度计算。 流程介绍 simhash是由 Charikar 在2002年提出来的，为了便于理解尽量不使用数学公式，分为这几步： 1、分词，把需要判断文本分词形成这个文章的特征单词。 2、hash，通过hash算法把每个词变成hash值，比如“美国”通过hash算法计算为 100101,“51区”通过hash算法计算为 101011。这样我们的字符串就变成了一串串数字。 3、加权，通过 2步骤的hash生成结果，需要按照单词的权重形成加权数字串，“美国”的hash值为“100101”，通过加权计算为“4 -4 -4 4 -4 4” “51区”计算为 “ 5 -5 5 -5 5 5”。 4、合并，把上面各个单词算出来的序列值累加，变成只有一个序列串。 “美国”的 “4 -4 -4 4 -4 4”，“51区”的 “ 5 -5 5 -5 5 5” 把每一位进行累加， “4+5 -4+-5 -4+5 4+-5 -4+5 4+5”“9 -9 1 -1 1 9” 5、降维，把算出来的 “9 -9 1 -1 1 9”变成 0 1 串，形成最终的simhash签名。
【文件预览】：
simhash
----src()
--------main()
--------test()
----readme()
--------1、毕业设计.jpg(595KB)
--------4、企业管理.jpg(646KB)
--------更多资料【www.jiagou1216.com】.txt(666B)
--------3、游戏娱乐.jpg(565KB)
--------扫码关注【架构师小跟班】.png(245KB)
--------6、静态资源.png(854KB)
--------网站搜索.gif(3.39MB)
--------5、职场达人.jpg(667KB)
--------架构师小跟班.url(117B)
--------2、电商源码.jpg(539KB)
----pom.xml(1KB)