Ollama 本地模型配置指南

Ollama 是一个强大的本地大模型运行工具，让你可以在自己的电脑上运行开源 AI 模型，完全免费且保护隐私。

什么是 Ollama？

Ollama 是一个开源项目，它简化了在本地运行大语言模型的过程：

  • 一键部署：简单命令即可下载和运行模型
  • 完全免费：无需 API 费用，只要有电脑就能用
  • 隐私保护：数据完全在本地处理，不会上传到云端
  • 丰富模型库：支持 Llama、Mistral、Qwen 等众多开源模型

安装 Ollama

macOS

方式一：Homebrew（推荐）

brew install ollama

方式二：官方安装包

  1. 访问 Ollama 下载页面
  2. 下载 macOS 安装包
  3. 打开 .dmg 文件，将 Ollama 拖入应用程序文件夹

Ollama macOS 官方安装包

Windows

  1. 访问 Ollama 下载页面
  2. 下载 Windows 安装包（OllamaSetup.exe）
  3. 运行安装程序，按提示完成安装

Linux

一键安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

或手动安装：

参考 Ollama GitHub 的安装说明。

启动 Ollama 服务

安装完成后，需要启动 Ollama 服务：

macOS/Linux：

ollama serve

Windows： 安装后 Ollama 通常会自动在后台运行，可以在系统托盘中看到图标。

下载模型

下载并安装 Ollama 后，请打开命令行终端，使用 ollama pull 命令下载模型。你可以在这里查看到所有 ollama 支持的模型列表：Ollama 模型列表

举例 1：下载并运行 llama3.2 模型

ollama run llama3.2

举例 2：下载并运行 deepseek-r1:8b 模型（注意：Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型）

ollama run deepseek-r1:8b

Ollama Chatbox 教程

推荐模型

# Llama 3.2 - Meta 最新开源模型
ollama pull llama3.2

# Llama 3.2 3B - 较小版本，速度更快
ollama pull llama3.2:3b

# Qwen 2.5 - 阿里开源模型，中文能力强
ollama pull qwen2.5

# Mistral - 欧洲开源模型，性能出色
ollama pull mistral

# DeepSeek Coder - 代码生成专用
ollama pull deepseek-coder

模型选择建议

模型参数量内存需求特点
llama3.2:3b3B4GB+速度快，适合入门
llama3.28B8GB+均衡之选
qwen2.5:7b7B8GB+中文能力出色
mistral7B8GB+推理能力强
llama3.2:70b70B64GB+最强性能

查看已下载的模型

ollama list

在 Chatbox 中配置

步骤 1：确保 Ollama 正在运行

在终端运行以下命令检查：

curl http://localhost:11434

如果返回 Ollama is running，说明服务正常。

步骤 2：打开 Chatbox 设置

  1. 打开 Chatbox 应用
  2. 点击左下角的「设置」入口
  3. 选择「模型提供方」
💡
在移动端，需要先点击左上角的菜单按钮（☰）展开侧边栏，再点击「设置」。

步骤 3：添加 Ollama

  1. 点击「添加 Provider」
  2. 选择「Ollama」
  3. 配置 API主机：http://localhost:11434
  4. 保存设置

步骤 4：选择模型

  1. 在模型列表中选择已下载的模型
  2. 或手动输入模型名称（如 llama3.2）
  3. 开始对话

在 Chatbox 中连接远程 Ollama 服务

除了可以轻松连接本地 Ollama 服务，Chatbox 也支持连接到运行在其他机器上的远程 Ollama 服务。

例如，你可以在家中的电脑上运行 Ollama 服务，并在手机或其他电脑上使用 Chatbox 客户端连接到这个服务。

你需要确保远程 Ollama 服务正确配置并暴露在当前网络中，以便 Chatbox 可以访问。默认情况下，需要对远程 Ollama 服务进行简单的配置。

安全警告： 设置 OLLAMA_HOST=0.0.0.0 会使 Ollama 监听所有网络接口。Ollama 默认没有身份验证。请仅在受信任的局域网中使用，切勿将端口 11434 暴露到公网。建议使用 VPN 或 SSH 隧道进行远程访问。

步骤 1：配置远程 Ollama 服务

默认情况下，Ollama 服务仅在本机运行，不对其他设备提供访问。要让 Chatbox 从其他设备连接到这台电脑上的 Ollama 服务，需要同时设置两个环境变量：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
  • OLLAMA_HOST=0.0.0.0：让 Ollama 监听所有网络接口，而不只是本机地址
  • OLLAMA_ORIGINS=*：允许跨域访问，方便 Chatbox 客户端从其他设备连接

具体配置方式取决于你启动 Ollama 的方式。

macOS（Ollama.app）：

如果你是通过 Ollama.app 启动 Ollama，请使用 launchctl setenv 设置环境变量：

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

设置完成后，退出并重新打开 Ollama 应用，使配置生效。

Windows：

在 Windows 上，Ollama 会继承你的用户环境变量。

  1. 通过任务栏退出 Ollama
  2. 打开「设置」（Windows 11）或「控制面板」（Windows 10），搜索「环境变量」
  3. 点击「编辑你账户的环境变量」
  4. 在用户环境变量中分别创建：
    • 变量名：OLLAMA_HOST，变量值：0.0.0.0
    • 变量名：OLLAMA_ORIGINS，变量值：*
  5. 保存设置后，从 Windows 开始菜单重新启动 Ollama

Linux（systemd 服务）：

如果 Ollama 作为 systemd 服务运行，请使用 systemctl edit 修改服务配置：

sudo systemctl edit ollama.service

在 [Service] 下添加：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

保存并退出后，重新加载 systemd 并重启 Ollama：

sudo systemctl daemon-reload
sudo systemctl restart ollama

手动启动（ollama serve）：

只有当你是手动运行 ollama serve 启动 Ollama 时，才适合在当前终端使用 export：

export OLLAMA_HOST=0.0.0.0
export OLLAMA_ORIGINS=*
ollama serve

如果你是通过 Ollama.app、Windows 后台应用或 systemd 服务启动 Ollama，仅在终端里执行 export 通常不会影响这些启动方式。

步骤 2：开放防火墙端口

macOS： 通常不需要额外配置

Windows：

  1. 打开「Windows 防火墙」
  2. 选择「高级设置」→「入站规则」
  3. 新建规则，开放 TCP 端口 11434

Linux：

# Ubuntu/Debian
sudo ufw allow 11434

# CentOS/RHEL
sudo firewall-cmd --add-port=11434/tcp --permanent
sudo firewall-cmd --reload

步骤 3：在 Chatbox 中连接

在其他设备的 Chatbox 中：

  1. 添加 Ollama Provider
  2. API主机 设置为：http://你的电脑IP:11434
  3. 例如：http://192.168.1.100:11434

你可以在运行 Ollama 的电脑上查看当前局域网 IP：

macOS：

ipconfig getifaddr en0

Windows：

ipconfig

在输出中找到当前网络适配器的 IPv4 地址。

Linux：

hostname -I

📖 更多服务配置细节，请参考 Ollama 官方文档：Ollama 服务配置

常见问题

模型下载很慢

解决方法：

  • 检查网络连接
  • 尝试在网络较好的时间下载
  • 使用代理或镜像

运行模型时内存不足

解决方法：

  • 使用参数量更小的模型版本（如 :3b）
  • 关闭其他占用内存的程序
  • 增加电脑内存

Chatbox 无法连接 Ollama

排查步骤：

  1. 确认 Ollama 服务正在运行
  2. 检查 API主机 地址是否正确
  3. 尝试在浏览器访问 http://localhost:11434

模型响应速度慢

优化建议：

  • 使用较小的模型（如 3B 参数）
  • 如有 GPU，确保 Ollama 正在使用 GPU 加速
  • 减少对话上下文长度

如何删除模型

ollama rm 模型名称
# 例如
ollama rm llama3.2

使用建议

  1. 根据硬件选择模型：

    • 8GB 内存：使用 3B-7B 参数模型
    • 16GB 内存：可以尝试 13B 参数模型
    • 32GB+ 内存：可以运行更大的模型

  2. 利用 GPU 加速：

    • 如有 NVIDIA GPU，Ollama 会自动使用
    • Apple Silicon Mac 会使用 Metal 加速

  3. 定期更新模型：

    ollama pull 模型名称

  4. 探索模型库： 访问 Ollama 模型库 发现更多模型