使用Ollama+Open UI打造最简单好用的本地大模型测试环境

目前为止用过许多本地测试环境，一开始用的langchain，后来陆续用过llm-studio、oneapi、xinference等好几个，我本身是做golang开发的，很早就知道ollama这个，由于他也是用golang开发的，一开始看他不健全，装了一半算完了，没继续。最近发现，这家伙发展壮大了许多，目前用了一下感觉很简单、超好用。推荐给你！！！

第一，安装ollama

1. 打开官网 Ollama https://ollama.com/
2. 如果是windows直接下，下了直接安装exe；如果是linux就上服务器上执行

wget https://ollama.com/install.sh ./

如果你的网络状况不好的话，手动下载这个sh脚本然后替换里面的镜像地址，我就这么干的

将

curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

替换为

curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://mirror.ghproxy.com/https://github.com/ollama/ollama/releases/download/v0.2.2/ollama-linux-amd64"

即可。

3. 执行脚本, 我安装过程没有报错，如果你安装过程报错了就网上搜索或者留言吧

sh install.sh

4. 安装完成就可以运行大模型了，运行超级简单。。。，官网库里找到想运行的模型

复制对应的运行命令直接运行就行，当然你也可以选择gguf格式的量化降配模型，图上有截

我运行的是ollama run gemma2，启动后会自动启动11434的端口监听。

安装Open UI

官方文档地址
https://docs.openwebui.com/getting-started/

1. 你可以按照文档使用docker或者pip安装，我用的服务器上没装docker嫌麻烦，直接pip装的，注意有环境要求哦 Python >= 3.11

pip install open-webui

2. 安装后，使用以下命令启动服务器

open-webui serve

3. 此方法安装所有必要的依赖项并启动Open WebUI，允许简单高效的设置。安装后，您可以在http://localhost:8080访问Open WebUI。享受吧！ ，第一次打开到登录页面直接注册就好了，不要去找用户名密码，第一次注册的用户名密码就是管理员哦！！最终运行效果如下