用法

Sentence Transformer (又名 bi-encoder) 模型的特点

  1. 计算给定文本或图像的固定大小的向量表示 (嵌入)。

  2. 嵌入计算通常是高效的，嵌入相似度计算是非常快速的。

  3. 适用于广泛的任务，例如语义文本相似度、语义搜索、聚类、分类、释义挖掘等等。

  4. 通常用作两步检索过程的第一步，其中 Cross-Encoder (又名 reranker) 模型用于重新排序来自 bi-encoder 的 top-k 结果。

一旦您安装了 Sentence Transformers，您就可以轻松使用 Sentence Transformer 模型

from sentence_transformers import SentenceTransformer

# 1. Load a pretrained Sentence Transformer model
model = SentenceTransformer("all-MiniLM-L6-v2")

# The sentences to encode
sentences = [
    "The weather is lovely today.",
    "It's so sunny outside!",
    "He drove to the stadium.",
]

# 2. Calculate embeddings by calling model.encode()
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 3. Calculate the embedding similarities
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6660, 0.1046],
#         [0.6660, 1.0000, 0.1411],
#         [0.1046, 0.1411, 1.0000]])

任务和高级用法