文件名称：BertSimilarity：使用Google的BERT算法计算两个句子的相似度。利用Bert计算句子相似度。语义相似度计算
文件大小：2.82MB
文件格式：ZIP
更新时间：2024-02-24 12:27:35
python nlp semantic tensorflow similarity
伯特相似度 基于Google的BERT模型来进行语义相似度计算。代码基于tensorflow 1。 1.基本原理 简单来说就是将需要需要计算的相似性的两个句子先分解在一起，然后通过伯特模型获取获取整体的编码信息，然后通过全连接层将维，输出相似和不相似的概率。 1.1模型结构 模型结构所示如下： 1.1.1数据预处理 本文使用Bert模型计算相似度前，首先要对输入数据进行预处理，例如当要处理的文本是： 如何得知关闭借呗 想永久关闭借呗 首先进行文本按token化，切成分割的文字排列： [如 何 得 知 关 闭 借 呗] [想 永 久 关 闭 借 呗] 然后将两个切分后的句子，按照如下的方式
【文件预览】：
BertSimilarity-master
----similarity.py(29KB)
----tokenization.py(10KB)
----logs()
--------train.log(64KB)
--------loss.log(874B)
----shell()
--------extract_log.sh(111B)
----data()
--------dataset()
----visilize.py(622B)
----wiki()
--------pictures()
--------diagram()
----__init__.py(616B)
----args.py(781B)
----requirements.txt(31B)
----optimization.py(6KB)
----.gitignore(92B)
----start.sh(635B)
----README.md(6KB)
----modeling.py(37KB)