Ollama
https://ollama.com/
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架.Ollama对硬件要求更低,支持Llama 3、Mistral、Qwen2等多种热门开源LLM
community-integrations
https://github.com/ollama/ollama?tab=readme-ov-file#community-integrations
ollama webui&desktop 集成项目
FastGPT
https://tryfastgpt.ai/
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!
使用 Docker Compose 快速部署 FastGPT
https://doc.tryfastgpt.ai/docs/development/docker/