随着ChatGPT的兴起,大语言模型LLM也成为AI领域的热门。Ollama就是一个简明易用的本地大模型运行框架,支持主要的开源大模型,比如llama2,千问等。本文简单记录Ollama在win10系统上的安装。
首先从 https://ollama.com/download 下载Ollama后安装,完成后提示
我们可在终端运行一个大语言模型测试,以llama2为例,也可选择其它大模型,比如qwen, 更多支持参考 https://ollama.com/library
如下图,初次运行会下载所用的大模型
可以在终端中输入问题开始使用了
ollama list 可显示已安装的大模型
这个终端窗口中,虽然是一个界面,但是其界面并不美观,如果能像ChatGPT一样能使用WEB页面交互,就需要安装Open WebUI, 可以Docker部署
首先win系统启用Hyper-V,重启电脑。
打开powershell,安装WSL,两步,先执行 wsl –update 再执行 wsl –install 后再次重启电脑
下载Docker Desktop安装
https://docs.docker.com/desktop/install/windows-install/
安装完后,打开桌面的Docker Desktop,不注册直接登录
使用docker 部署open-webui
参考页面: https://github.com/open-webui/open-webui
先在powershell 执行 docker ,测试是否安装成功
配置OpenWebUI(docker方式)
docker pull ghcr.io/open-webui/open-webui:main
然后运行如下命令(网络要好)
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
等待安装完毕即可
安装完成后,可以在Docker Desktop看到Open WebUI的界面地址,
打开 http://localhost:3000/auth/
注册登录open webui界面,界面语言改为简体。
另外,内网穿透工具可以使用cpolar https://www.cpolar.com/ 这里就不记录了。
补充:实际使用中,我没有用Open WebUI,只是个人使用的话,安装Chatbox就可以了 (https://chatboxai.app/)
测试