Ollama Embeddings

使用 Ollama 您可以在本地运行各种大型语言模型（LLMs）并从中生成嵌入。Spring AI 支持使用 OllamaEmbeddingClient 的 Ollama 文本嵌入。

嵌入是一组浮点数的向量（列表）。两个向量之间的距离衡量它们之间的相关性。小距离表明高相关性，大距离表明低相关性。

先决条件

您首先需要在本地机器上运行 Ollama。

请参阅官方 Ollama 项目 README 以开始在本地机器上运行模型。

注意，安装 ollama run llama2 将下载一个 4GB 的 Docker 镜像。

添加仓库和 BOM

Spring AI 的构件发布在 Spring 里程碑和快照仓库中。请参阅 仓库 部分将这些仓库添加到您的构建系统中。

为了帮助依赖管理，Spring AI 提供了一个 BOM（材料清单），以确保整个项目中使用一致版本的 Spring AI。请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI提供了Azure Ollama Embedding客户端的Spring Boot自动配置。要启用它，请将以下依赖项添加到您的Maven pom.xml文件中：

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

或者添加到您的Gradle build.gradle构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}
请参阅依赖管理部分，将Spring AI BOM添加到您的构建文件中。

spring.ai.ollama.embedding.options.* 属性用于配置用于所有嵌入式请求的默认选项。（它被用作 OllamaEmbeddingClient#withDefaultOptions() 的实例）。

markdown ### 嵌入属性 前缀 `spring.ai.ollama` 是用来配置连接到 Ollama 的属性前缀。 | 属性 | 描述 | 默认值 | |---------------------------|--------------------------------------------|---------------------| | spring.ai.ollama.base-url | Ollama API 服务器运行的基本 URL。 | [localhost:11434](http://localhost:11434/) | 前缀 `spring.ai.ollama.embedding.options` 是用来配置 Ollama 的 `EmbeddingClient` 实现的属性前缀。 <
属性 描述 默认

spring.ai.ollama.embedding.enabled

启用 Ollama 嵌入客户端。

真

spring.ai.ollama.embedding.model (DEPRECATED)

要使用的模型名称。已弃用，请改用 spring.ai.ollama.embedding.options.model

mistral

spring.ai.ollama.embedding.options.model

要使用的支持的模型的名称。

mistral

spring.ai.ollama.embedding.options.numa

是否使用 NUMA。

假

spring.ai.ollama.embedding.options.num-ctx

设置用于生成下一个标记的上下文窗口的大小。

2048

spring.ai.ollama.embedding.options.num-batch

???

-

spring.ai.ollama.embedding.options.num-gqa

变压器层中的 GQA 组数。对于某些模型是必需的，例如 llama2:70b 的值为 8。

-

spring.ai.ollama.embedding.options.num-gpu

要发送到 GPU 的层数。在 macOS 上，默认值为 1，以启用 metal 支持，为 0 则禁用。

-

spring.ai.ollama.embedding.options.main-gpu

???

-

spring.ai.ollama.embedding.options.low-vram

spring.ai.ollama.embedding.options.top-k

降低生成无意义文本的概率。较高的值（例如，100）将产生更多样化的答案，而较低的值（例如，10）将更为保守。

40

spring.ai.ollama.embedding.options.top-p

与 top-k 一起使用。较高的值（例如，0.95）将导致文本更多样化，而较低的值（例如，0.5）将生成更为集中和保守的文本。

0.9

spring.ai.ollama.embedding.options.tfs-z

使用尾部自由采样来减少较不可能的标记对输出的影响。较高的值（例如，2.0）会进一步减少影响，而值为 1.0 则禁用此设置。

1

spring.ai.ollama.embedding.options.typical-p

???

-

spring.ai.ollama.embedding.options.repeat-last-n

设置模型回望的距离以防止重复。（默认值：64，0 = 禁用，-1 = num_ctx）

64

spring.ai.ollama.embedding.options.temperature

模型的温度。增加温度将使模型更具创造性地回答。

0.8

spring.ai.ollama.embedding.options.repeat-penalty

设置惩罚重复的程度。较高的值（例如，1.5）将更严厉地惩罚重复，而较低的值（例如，0.9）将更宽容。

1.1

spring.ai.ollama.embedding.options.presence-penalty

???

-
spring.ai.ollama.embedding.options.* 属性基于 Ollama 有效参数和数值 以及 Ollama 类型
所有以 spring.ai.ollama.embedding.options 开头的属性都可以通过在 EmbeddingRequest 调用中添加请求特定的 嵌入选项 来在运行时进行覆盖。

嵌入选项

OllamaOptions.java 提供了 Ollama 配置，例如要使用的模型、低级 GPU 和 CPU 调整等。

默认选项也可以使用 spring.ai.ollama.embedding.options 属性进行配置。

在启动时，使用 OllamaEmbeddingClient#withDefaultOptions() 来配置所有嵌入请求所使用的默认选项。在运行时，可以使用 OllamaOptions 实例作为 EmbeddingRequest 的一部分来覆盖默认选项。

例如，要为特定请求覆盖默认模型名称：

EmbeddingResponse embeddingResponse = embeddingClient.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
        OllamaOptions.create()
            .withModel("Different-Embedding-Model-Deployment-Name"));

示例控制器（自动配置）

这将创建一个你可以注入到类中的 EmbeddingClient 实现。以下是一个使用 EmbeddingClient 实现的简单 @Controller 类的示例。

@RestController
public class EmbeddingController {

    private final EmbeddingClient embeddingClient;

    @Autowired
    public EmbeddingController(EmbeddingClient embeddingClient) {
        this.embeddingClient = embeddingClient;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingClient.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手动配置

如果您没有使用Spring Boot，您可以手动配置OllamaEmbeddingClient。为此，请将spring-ai-ollama依赖项添加到您项目的Maven pom.xml文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

或者添加到您的Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}
请参阅依赖管理部分，将Spring AI BOM添加到您的构建文件中。
依赖项spring-ai-ollama还提供对OllamaChatClient的访问。有关OllamaChatClient的更多信息，请参阅Ollama Chat Client部分。

接下来，创建一个OllamaEmbeddingClient实例，并使用它来计算两个输入文本之间的相似性：

var ollamaApi = new OllamaApi();

var embeddingClient = new OllamaEmbeddingClient(ollamaApi)
    .withDefaultOptions(OllamaOptions.create()
			.withModel(OllamaOptions.DEFAULT_MODEL)
            .toMap());

EmbeddingResponse embeddingResponse = embeddingClient
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

OllamaOptions提供了所有嵌入请求的配置信息。