如何在windows使用Ollama+Open WebUI本地部署大模型

随着ChatGPT的兴起，大语言模型LLM也成为AI领域的热门。Ollama就是一个简明易用的本地大模型运行框架,支持主要的开源大模型，比如llama2,千问等。本文简单记录Ollama在win10系统上的安装。

首先从 https://ollama.com/download 下载Ollama后安装，完成后提示

我们可在终端运行一个大语言模型测试，以llama2为例，也可选择其它大模型,比如qwen, 更多支持参考 https://ollama.com/library

如下图，初次运行会下载所用的大模型

可以在终端中输入问题开始使用了

ollama list 可显示已安装的大模型

这个终端窗口中，虽然是一个界面，但是其界面并不美观，如果能像ChatGPT一样能使用WEB页面交互，就需要安装Open WebUI, 可以Docker部署

首先win系统启用Hyper-V，重启电脑。

打开powershell,安装WSL，两步，先执行 wsl –update  再执行 wsl –install 后再次重启电脑

下载Docker Desktop安装

https://docs.docker.com/desktop/install/windows-install/

安装完后，打开桌面的Docker Desktop，不注册直接登录

使用docker 部署open-webui

参考页面：  https://github.com/open-webui/open-webui

先在powershell 执行 docker ,测试是否安装成功

配置OpenWebUI（docker方式）

docker pull ghcr.io/open-webui/open-webui:main

然后运行如下命令（网络要好）

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main

等待安装完毕即可

安装完成后，可以在Docker Desktop看到Open WebUI的界面地址，

打开 http://localhost:3000/auth/

注册登录open webui界面,界面语言改为简体。

另外，内网穿透工具可以使用cpolar    https://www.cpolar.com/ 这里就不记录了。

补充：实际使用中，我没有用Open WebUI，只是个人使用的话，安装Chatbox就可以了 (https://chatboxai.app/)

测试