我们知道Ollama是开源大模型框架。本文，我们就来部署一个自己的本地大模型+精简的UI访问框架，实现本地的GPT体系。
什么是Ollama
仓库创建于 2023年6月26日
Ollama 是一个开源的大型语言模型服务工具，旨在帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以通过一条命令轻松启动和运行开源的大型语言模型。 它提供了一个简洁易用的命令行界面和服务器，专为构建大型语言模型应用而设计。用户可以轻松下载、运行和管理各种开源 LLM。与传统 LLM 需要复杂配置和强大硬件不同，Ollama 能够让用户在消费级的 PC 上体验 LLM 的强大功能。
Ollama 会自动监测本地计算资源，如有 GPU 的条件，会优先使用 GPU 的资源，同时模型的推理速度也更快。如果没有 GPU 条件，直接使用 CPU 资源。
Ollama 极大地简化了在 Docker 容器中部署和管理大型语言模型的过程，使用户能够迅速在本地启动和运行这些模型。
个人技术博客： fuqifacai.github.io
更多技术资讯下载: 2img.ai
相关配图由微信小程序【字形绘梦】免费生成
安装Ollama
目前直接访问官网记得得到安装方式。如下图中，每个平台都有。
以前传统的方式，使用curl 的命令获取如下图。
- Console run curl -fsSL https://ollama.com/install.sh | sh
安装好后查看
打开浏览器，访问
- http://localhost:11434/ ， 看到页面内容就算成功了。
- 或者 ，使用命令 ollama serve 看控制台输出，如下图
安装大模型
上面我们安装的是一个Ollama的框架，还是需要下载大模型：
比如执行: ollama run qwen2:7b-instruct-q4_0
或者有时候必须要用到最新的，很奇怪 ollama run llama2
这里可以下载所有的模型 https://github.com/ollama/ollama
当然最近的Deepseek很火，我们也来下载用用
Ollma pull Deepseek-r
下载下来以后就可以用拉。
Ollama模型下载后的位置
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:Users<username>.ollamamodels
Ollama默认只允许127.0.0.1:11434访问，我们可以修改配置，让所有IP都可以访问
修改文件/etc/systemd/system/ollama.service , 在[Service]这块最下面新增
Environment=”OLLAMA_HOST=0.0.0.0″
保存，重启Ollama服务即可（Ollama Serve)
如何有Web界面的访问方式：
- https://github.com/open-webui/open-webui 这是完整的库，比较新。但是安装使用相对复杂
- https://github.com/ollama-webui/ollama-webui-lite 这个已经停止更新，但是非常精简，适合个人使用。本人尝试用这个。
安装方式：
本地获取 https://github.com/ollama-webui/ollama-webui-lite 库之后。
首先，在目录下执行npm ci ，安装一些可能需要的依赖。
其次，执行npm run dev 。
一切成功输入内容如下：
打开浏览器，输入上述中的地址你就可以看到内容：比如 http://localhost:3000
是不是很像你的GPT页面了？
Settings中还有很多本地的设置和简易的功能就留给大家挖掘了。
有任何问题，请二维码添加技术交流群。探讨更多AIGC能力
海量AI知识文库，大家一起飞。 技术交流群
AIGC训练营 公众号
RA/SD 衍生者AI训练营。发布者：稻草人，转载请注明出处：https://www.shxcj.com/archives/9118
