Ollama安装

Ollama

这里介绍两种使用llama3的方式

  1. 使用GitHub开源的OpenWebUI
  2. 尝试自己使用SpringAI

第一种是别人搭建好的，对ollama很适配，可以上传文件、图片、生成图片等等，当然前提是使用了具有其功能的llm
第二种是如果想自己创建一个项目，那么需要自己用SpringAI写代码，这里简单罗列出需要写的基础配置文件，及简单的Controller样例

ollama下载

ollama官网：https://ollama.com/
去ollama官网下载，安装后运行ollama run llama3

ollama运行端口：11434

OpenWebUI

用GitHub开源免费的项目作为llama3前端

OpenWebUI官网：https://openwebui.com/

docker 安装
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，通过http://localhost:3000访问OpenWebUI。

SpringAI操作ollama

1
2
3
4
5
6
7
8
9
10
11
spring:  
  application:  
    name:  
      ollama  
  ai:  
    ollama:  
      base-url: http://localhost:11434  
      chat:  
        options:  
          model: llama3

controller样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
@RestController  
public class OllamaController {  
    @Resource  
    private OllamaChatClient ollamaChatClient;  
  
    @RequestMapping(value = "/ai/ollama")  
    public Object ollama(@RequestParam(value = "msg") String msg) {  
        String called = ollamaChatClient.call(msg);  
        System.out.println(called);  
        return called;  
    }  
    @RequestMapping(value = "/ai/ollama2")  
    public Object ollama2(@RequestParam(value = "msg") String msg) {  
        ChatResponse chatResponse = ollamaChatClient.call(new Prompt(  
                msg,  
                OllamaOptions.create()  
                        .withModel("llama3")  
                        .withTemperature(0.4F)));//温度值越高准确率越低，回答更创新  
        System.out.println(chatResponse.getResult().getOutput().getContent());  
        return chatResponse.getResult().getOutput().getContent();  
    }  
}