Spring AI（多模态）

合集 - Spring AI(8)

1.Spring AI（初步了解）2024-07-102.Spring AI（基础开发准备）2024-07-103.Spring AI（聊天程序）2024-07-154.Spring AI（绘图）2024-07-165.Spring AI（音频转文本、文本转音频）2024-07-18

6.Spring AI（多模态）2024-07-18

7.Spring AI（大模型工具Ollama介绍）2024-07-198.Spring AI（使用Ollama大模型进行AI验证）2024-07-19

收起

接上篇：Spring AI（音频转文本、文本转音频）

 

1、多模态（可以发一段文字和一张图片）

示例代码如下：

/**
 * 多模态
 * @author ithailin
 */
@RestController
@RequestMapping("/ai")
public class MultiModelController {
    private static final Logger logger = LoggerFactory.getLogger(MultiModelController.class);

    @Autowired
    private ChatClient chatClient;

    @RequestMapping("/mulit")
    public Object mulit(String msg,String imgUrl) throws MalformedURLException {
        logger.info("msg：{},imgUrl:{}",msg,imgUrl);
        Media media = new Media(MimeTypeUtils.IMAGE_PNG,new URL(imgUrl));
        UserMessage userMessage = new UserMessage(msg, List.of(media));

        OpenAiChatOptions openAiChatOptions = OpenAiChatOptions.builder().withModel(OpenAiApi.ChatModel.GPT_4_VISION_PREVIEW.getValue()).build();

        Prompt prompt = new Prompt(List.of(userMessage), openAiChatOptions);
        ChatResponse response = chatClient.call(prompt);
        return response.getResult().getOutput().getContent();
    }
}

 

接下篇：