NLI 模型

Conneau 等人在 2017 年的 InferSent 论文（Supervised Learning of Universal Sentence Representations from Natural Language Inference Data）中表明，通过在自然语言推理 (NLI) 数据上进行训练，可以生成通用的句子嵌入。

这些数据集用 *蕴含 (entail)*、*矛盾 (contradict)* 和 *中立 (neutral)* 的标签来标注句子对。我们为两个句子都计算一个句子嵌入。这两个嵌入被连接起来，并传递给一个 softmax 分类器，以得出最终的标签。

如上所示，这样可以生成能够用于聚类或语义搜索等多种用例的句子嵌入。

数据集

我们在 SNLI 和 MultiNLI 数据集上训练模型。我们将这两个数据集的组合称为 AllNLI。

有关训练示例，请参见 examples/sentence_transformer/training/nli/training_nli.py。

预训练模型

我们提供了各种预训练模型。其性能是在 STS 基准数据集（文档, 数据集）的测试集上，使用斯皮尔曼等级相关性 (Spearman rank correlation) 进行评估的。

» NLI 和 STS 模型完整列表

性能比较

以下是其他句子嵌入方法在 STS 基准测试上的性能。这些性能也是通过使用余弦相似度和斯皮尔曼等级相关性计算得出的。

  • 平均 GloVe 嵌入：58.02

  • BERT-as-a-service 平均嵌入：46.35

  • BERT-as-a-service CLS 向量：16.50

  • InferSent - GloVe：68.03

  • Universal Sentence Encoder：74.92

应用

该模型在评估句子之间的粗粒度相似性方面表现良好。有关应用示例，请参见语义文本相似度和语义搜索。