Gemini 函数调用

函数调用允许开发人员在代码中创建函数描述，然后在请求中将该描述传递给语言模型。模型的响应包括与描述匹配的函数名称以及调用该函数的参数。

您可以使用 VertexAiGeminiChatClient 注册自定义 Java 函数，并让 Gemini Pro 模型智能地选择输出一个 JSON 对象，该对象包含调用一个或多个注册函数的参数。这允许您将 LLM 功能与外部工具和 API 连接起来。VertexAI Gemini Pro 模型经过训练，可以检测何时应该调用函数，并以符合函数签名的 JSON 进行响应。

VertexAI Gemini API 不会直接调用函数；相反，模型会生成 JSON，您可以使用它在代码中调用函数并将结果返回给模型以完成对话。

Spring AI 提供了灵活且用户友好的方式来注册和调用自定义函数。通常，自定义函数需要提供函数 名称、描述 和函数调用 签名（作为 Open API 模式），让模型知道函数期望的参数。描述 帮助模型理解何时调用函数。

作为开发人员，您需要实现一个函数，该函数接收 AI 模型发送的函数调用参数，并将结果返回给模型。

Spring AI 使这变得像定义一个返回 java.util.Function 的 @Bean 定义并调用 ChatClient 时提供 bean 名称作为选项一样简单。

在底层，Spring 使用适当的适配器代码包装您的 POJO（函数），这些代码支持与 AI 模型交互，从而避免您编写繁琐的样板代码。底层基础设施的基础是 FunctionCallback.java 接口和配套的 FunctionCallbackWrapper.java 实用程序类，用于简化 Java 回调函数的实现和注册。

工作原理

假设我们希望 AI 模型用它没有的信息进行响应，例如给定位置的当前温度。

我们可以为 AI 模型提供有关我们自己的函数的元数据，它可以在处理您的提示时使用这些元数据来检索该信息。

例如，如果在处理提示的过程中，AI 模型确定它需要有关给定位置温度的更多信息，它将启动服务器端生成的请求/响应交互。 AI 模型调用客户端函数。 AI 模型以 JSON 形式提供方法调用详细信息，客户端负责执行该函数并返回响应。

Spring AI 极大地简化了您需要编写的代码以支持函数调用。它为您代理函数调用对话。您只需将您的函数定义作为 @Bean 提供，然后在您的提示选项中提供函数的 bean 名称。您还可以在提示中引用多个函数 bean 名称。

快速开始

让我们创建一个聊天机器人，通过调用我们自己的函数来回答问题。为了支持聊天机器人的响应，我们将注册自己的函数，该函数接受位置并返回该位置的当前天气。

当模型对提示的响应需要回答问题，例如“波士顿的天气如何？”时，AI模型将调用客户端，将位置值作为参数传递给函数。此类类似RPC的数据以JSON格式传递。

我们的函数可以使用一些SaaS基于天气服务API，并将天气响应返回模型以完成对话。在此示例中，我们将使用一个简单的实现，名为MockWeatherService，该实现硬编码各种位置的温度。

以下MockWeatherService.java表示天气服务API：

public class MockWeatherService implements Function<Request, Response> {

	public enum Unit { C, F }
	public record Request(String location, Unit unit) {}
	public record Response(double temp, Unit unit) {}

	public Response apply(Request request) {
		return new Response(30.0, Unit.C);
	}
}

将函数注册为Bean

使用VertexAiGeminiChatClient自动配置，您有多种方法将自定义函数注册为Spring上下文中的bean。

我们从描述最友好的POJO选项开始。

普通Java函数

在此方法中，您定义@Beans在应用程序上下文中，就像定义任何其他受Spring管理的对象一样。

在内部，Spring AI ChatClient将创建FunctionCallbackWrapper的实例，该实例添加了通过AI模型调用它时的逻辑。@Bean的名称作为ChatOption传递。

@Configuration
static class Config {

	@Bean
	@Description("Get the weather in location") // function description
	public Function<MockWeatherService.Request, MockWeatherService.Response> weatherFunction1() {
		return new MockWeatherService();
	}
	...


 在聊天选项中指定函数
 
  要让模型知道并调用你的CurrentWeather函数，您需要在提示请求中启用它：
 
 
  
   VertexAiGeminiChatClient chatClient = ...

UserMessage userMessage = new UserMessage("旧金山、东京和巴黎的天气怎么样？");

ChatResponse response = chatClient.call(new Prompt(List.of(userMessage),
		VertexAiGeminiChatOptions.builder().withFunction("CurrentWeather").build())); // (1) 启用函数

logger.info("Response: {}", response);
  
 
 
  上述用户问题将触发3次对CurrentWeather函数的调用（每个城市一次），最终响应将类似于以下内容：
 
 
  
   以下是所请求城市的当前天气：
- 旧金山，加利福尼亚州：30.0°C
- 东京，日本：10.0°C
- 巴黎，法国：15.0°C
  
 
 
  FunctionCallWithFunctionWrapperIT.java测试演示了这种方法。
 

 使用提示选项注册/调用函数
 
  除了自动配置之外，您还可以通过提示请求动态注册回调函数：
 
 
  
   VertexAiGeminiChatClient chatClient = ...

UserMessage userMessage = new UserMessage("旧金山、东京和巴黎的天气怎么样？ 使用多轮函数调用。");

var promptOptions = VertexAiGeminiChatOptions.builder()
	.withFunctionCallbacks(List.of(FunctionCallbackWrapper.builder(new MockWeatherService())
		.withName("CurrentWeather")
		.withSchemaType(SchemaType.OPEN_API) // 重要！！
		.withDescription("获取地点的天气")
		.build()))
	.build();

ChatResponse response = chatClient.call(new Prompt(List.of(userMessage), promptOptions));
  
 
 
  
   
    
                    
                    提示中注册的函数默认在此请求的持续时间内启用。
   
  
 
 
  这种方法允许根据用户输入动态选择不同的函数进行调用。
 
 
  FunctionCallWithPromptFunctionIT.java集成测试提供了如何在VertexAiGeminiChatClient中注册函数并在提示请求中使用的完整示例。