Ollama 本地模型配置指南

Ollama 是一个强大的本地大模型运行工具，让你可以在自己的电脑上运行开源 AI 模型，完全免费且保护隐私。

什么是 Ollama？

Ollama 是一个开源项目，它简化了在本地运行大语言模型的过程：

• 一键部署：简单命令即可下载和运行模型
• 完全免费：无需 API 费用，只要有电脑就能用
• 隐私保护：数据完全在本地处理，不会上传到云端
• 丰富模型库：支持 Llama、Mistral、Qwen 等众多开源模型

安装 Ollama

macOS

方式一：Homebrew（推荐）

brew install ollama

方式二：官方安装包

1. 访问 Ollama 下载页面
2. 下载 macOS 安装包
3. 打开 .dmg 文件，将 Ollama 拖入应用程序文件夹

Windows

1. 访问 Ollama 下载页面
2. 下载 Windows 安装包（OllamaSetup.exe）
3. 运行安装程序，按提示完成安装

Linux

一键安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

或手动安装：

参考 Ollama GitHub 的安装说明。

启动 Ollama 服务

安装完成后，需要启动 Ollama 服务：

macOS/Linux：

ollama serve

Windows： 安装后 Ollama 通常会自动在后台运行，可以在系统托盘中看到图标。

下载模型

使用 ollama pull 命令下载模型：

推荐模型

# Llama 3.2 - Meta 最新开源模型
ollama pull llama3.2

# Llama 3.2 3B - 较小版本，速度更快
ollama pull llama3.2:3b

# Qwen 2.5 - 阿里开源模型，中文能力强
ollama pull qwen2.5

# Mistral - 欧洲开源模型，性能出色
ollama pull mistral

# DeepSeek Coder - 代码生成专用
ollama pull deepseek-coder

模型选择建议

查看已下载的模型

ollama list

在 Chatbox 中配置

步骤 1：确保 Ollama 正在运行

在终端运行以下命令检查：

curl http://localhost:11434

如果返回 Ollama is running，说明服务正常。

步骤 2：打开 Chatbox 设置

1. 打开 Chatbox 应用
2. 点击左下角的「设置」入口
3. 选择「AI Provider」或「模型设置」

步骤 3：添加 Ollama

1. 点击「添加 Provider」
2. 选择「Ollama」
3. 配置 API Host：http://localhost:11434
4. 保存设置

步骤 4：选择模型

1. 在模型列表中选择已下载的模型
2. 或手动输入模型名称（如 llama3.2）
3. 开始对话

远程连接配置（可选）

如果你想从其他设备（如手机、平板）访问电脑上的 Ollama：

安全警告： 设置 OLLAMA_HOST=0.0.0.0 会使 Ollama 监听所有网络接口。Ollama 默认没有身份验证。请仅在受信任的局域网中使用，切勿将端口 11434 暴露到公网。建议使用 VPN 或 SSH 隧道进行远程访问。

步骤 1：配置 Ollama 监听地址

macOS/Linux：

# 设置环境变量
export OLLAMA_HOST=0.0.0.0

# 重新启动 Ollama
ollama serve

永久生效： 将 export OLLAMA_HOST=0.0.0.0 添加到 ~/.bashrc 或 ~/.zshrc

Windows：

1. 在系统环境变量中添加 OLLAMA_HOST，值为 0.0.0.0
2. 重启 Ollama 服务

步骤 2：开放防火墙端口

macOS： 通常不需要额外配置

Windows：

1. 打开「Windows 防火墙」
2. 选择「高级设置」→「入站规则」
3. 新建规则，开放 TCP 端口 11434

Linux：

# Ubuntu/Debian
sudo ufw allow 11434

# CentOS/RHEL
sudo firewall-cmd --add-port=11434/tcp --permanent
sudo firewall-cmd --reload

步骤 3：在 Chatbox 中连接

在其他设备的 Chatbox 中：

1. 添加 Ollama Provider
2. API Host 设置为：http://你的电脑IP:11434
3. 例如：http://192.168.1.100:11434

常见问题

模型下载很慢

解决方法：

• 检查网络连接
• 尝试在网络较好的时间下载
• 使用代理或镜像

运行模型时内存不足

解决方法：

• 使用参数量更小的模型版本（如 :3b）
• 关闭其他占用内存的程序
• 增加电脑内存

Chatbox 无法连接 Ollama

排查步骤：

1. 确认 Ollama 服务正在运行
2. 检查 API Host 地址是否正确
3. 尝试在浏览器访问 http://localhost:11434

模型响应速度慢

优化建议：

• 使用较小的模型（如 3B 参数）
• 如有 GPU，确保 Ollama 正在使用 GPU 加速
• 减少对话上下文长度

如何删除模型

ollama rm 模型名称
# 例如
ollama rm llama3.2

使用建议

1. 根据硬件选择模型：

   • 8GB 内存：使用 3B-7B 参数模型
   • 16GB 内存：可以尝试 13B 参数模型
   • 32GB+ 内存：可以运行更大的模型

2. 利用 GPU 加速：

   • 如有 NVIDIA GPU，Ollama 会自动使用
   • Apple Silicon Mac 会使用 Metal 加速

3. 定期更新模型：

   ollama pull 模型名称
   

4. 探索模型库： 访问 Ollama 模型库 发现更多模型