应用
SentenceTransformers 可用于各种用例。在这些文件夹中,您可以找到几个示例脚本,展示了如何使用 SentenceTransformers。
计算嵌入
computing-embeddings 文件夹包含如何使用 SentenceTransformers 计算句子嵌入的示例。
聚类
clustering 文件夹展示了如何使用 SentenceTransformers 进行文本聚类,即根据句子的相似性将它们分组。
交叉编码器
SentenceTransformers 还支持 交叉编码器 的训练和推理。在此类模型中,两个句子会同时输入到 Transformer 网络中,并得出一个表示相似度或标签的分数(0...1)。
平行句子挖掘
parallel-sentence-mining 文件夹包含如何在两个不同语言的语料库中找到平行(翻译)句子的示例。例如,您可以选择英文和西班牙文的维基百科,该脚本会找到并返回所有翻译过的英-西句子对。
转述挖掘
paraphrase-mining 文件夹包含在大量句子中查找所有转述句子的示例。该示例可用于在数百万个问题/句子中找到重复的问题或句子。
语义搜索
semantic-search 文件夹展示了语义搜索的示例:给定一个句子,在一个大型集合中查找语义上相似的句子。
检索与重排
retrieve_rerank 文件夹展示了如何将用于语义搜索检索的双编码器与一个更强大的、使用交叉编码器的重排阶段相结合。
图像搜索
image-search 文件夹展示了如何使用能够将图像和文本映射到同一向量空间的图文模型。这允许根据用户查询进行图像搜索。
文本摘要
text-summarization 文件夹展示了如何使用 SentenceTransformers 进行抽取式摘要:给定一篇长文档,找出能够对内容进行良好简短总结的 k 个句子。