论文笔记：Scaling Sentence Embeddings with Large Language Models

如何使用LLMs表示句子嵌入，并且提示工程是否有效？

• 设计了一套prompt

上下文学习是否能提升句子嵌入的质量？

• ——>通过添加定义句子和相应的词作为示例进行上下文学习，性能可以进一步提高

当模型参数超过数十亿时，参数规模是否依然有效？

• 从数百万个参数到数十亿个参数的过渡，能够提高STS任务的表现。
• 然而，继续扩大参数规模可能不会带来更多的改善。
  • 即使是上下文学习，66B的OPT在STS任务上仍然不如6.7B的OPT
• 尽管如此，扩大模型规模能提高迁移任务的性能。
  • 具有数十亿参数的LLMs在没有任何微调的情况下，仍展现出强大的性能，甚至达到了最新的状态。

将当前对比学习框架融入LLMs后能取得哪些改进？

• 通过采用对比学习可以进一步提高性能。
• 通过采用高效的微调技术，LLMs即使在有限计算资源下，也能够在STS任务上取得最先进的成果