NLP任务中常用的损失函数

余弦相似度：
$$L(a,b)=1-\frac{a\cdot b}{\Vert a\Vert \cdot \Vert b\Vert }$$
常见的向量空间模型下的相似度计算方法，将文本表示为向量，通过计算它们的余弦值来衡量相似度。

皮尔逊相关系数
$$P(a,b)=\frac{cov(a,b)}{{\sigma }_a\cdot {\sigma }_b}$$
衡量两个变量之间线性相关性的指标，在语义相似度任务中可以用于评估两个文本向量之间的线性关系。

Jaccard相似度
$$J(a,b)=\frac{|a\cap b|}{|a\cup b|}$$
用于衡量两个集合的相似度，对于文本来说，可以将文本中的词看作是集合中的元素。

欧几里得距离
$$D(a,b)=\sqrt{\sum _{i=1}^n(a_i-b_i{)}^2}$$

曼哈顿距离
$$D(a,b)=\sum _{i=1}^n|a_i-b_i|$$