⚠️
此頁面尚未翻譯,當前顯示簡體中文版本

LM Studio 配置指南

LM Studio 是一款图形界面友好的本地大模型运行工具,让你无需命令行也能轻松运行开源 AI 模型。

什么是 LM Studio?

LM Studio 是一款桌面应用程序,专为在本地运行大语言模型设计:

  • 图形界面:直观的用户界面,无需命令行知识
  • 模型市场:内置模型搜索和下载功能
  • 本地服务器:一键启动兼容 OpenAI 的 API 服务
  • 跨平台:支持 Windows、macOS、Linux

安装 LM Studio

步骤 1:下载安装包

  1. 访问 LM Studio 官网
  2. 点击「Download」
  3. 选择对应系统的安装包:
    • Windows:.exe 安装程序
    • macOS:.dmg 安装包
    • Linux:.AppImage 文件

步骤 2:安装应用

Windows: 运行下载的 .exe 文件,按提示完成安装

macOS: 打开 .dmg 文件,将 LM Studio 拖入应用程序文件夹

Linux:

chmod +x LM_Studio-*.AppImage
./LM_Studio-*.AppImage

下载和加载模型

步骤 1:搜索模型

  1. 打开 LM Studio
  2. 点击左侧的「Search」图标
  3. 搜索你想要的模型,如:
    • llama 3.2 - Meta 开源模型
    • qwen 2.5 - 阿里开源模型
    • mistral - 高效开源模型

步骤 2:下载模型

  1. 在搜索结果中选择模型
  2. 选择合适的量化版本(建议):
    • Q4_K_M:平衡质量和速度
    • Q5_K_M:更好质量,稍慢
    • Q8_0:最高质量,需要更多内存
  3. 点击「Download」开始下载

步骤 3:加载模型

  1. 下载完成后,点击左侧的「Chat」图标
  2. 在顶部的模型选择器中选择已下载的模型
  3. 等待模型加载完成

启动本地服务器

要让 Chatbox 连接 LM Studio,需要启动本地服务器:

步骤 1:打开服务器设置

  1. 点击左侧的「Local Server」图标(或按 Ctrl/Cmd + L
  2. 你会看到服务器控制面板

步骤 2:配置服务器

  1. 确保已选择要运行的模型
  2. 服务器端口默认为 1234(通常无需修改)
  3. 点击「Start Server」按钮

步骤 3:确认服务器运行

服务器启动后,你会看到:

  • 状态显示为 Running
  • 显示 API 地址:http://localhost:1234/v1

在 Chatbox 中配置

步骤 1:打开 Chatbox 设置

  1. 打开 Chatbox 应用
  2. 点击左下角的「设置」入口
  3. 选择「AI Provider」或「模型设置」
💡
在移动端,需要先点击左上角的菜单按钮(☰)展开侧边栏,再点击「设置」。

步骤 2:添加 LM Studio

  1. 点击「添加 Provider」
  2. 选择「OpenAI API 兼容」或「LM Studio」
  3. 配置以下信息:
    • API Hosthttp://localhost:1234/v1
    • API Key:留空或填写任意字符(如 lm-studio

步骤 3:选择模型

  1. 模型名称可以填写 default 或实际模型名称
  2. 保存设置
  3. 开始对话

远程连接配置(可选)

如果想从其他设备连接:

安全警告:localhost 改为 0.0.0.0 会使服务暴露在整个网络中。LM Studio 默认没有身份验证。请仅在受信任的局域网中使用,切勿将端口 1234 暴露到公网。建议使用 VPN 或 SSH 隧道进行远程访问。

步骤 1:配置网络监听

  1. 在 LM Studio 的「Local Server」设置中
  2. localhost 改为 0.0.0.0
  3. 重启服务器

步骤 2:开放防火墙

确保端口 1234 在防火墙中开放(参考 Ollama 指南中的防火墙配置)

步骤 3:连接

在其他设备的 Chatbox 中:

  • API Host:http://你的电脑IP:1234/v1

推荐模型

模型大小内存需求特点
Llama 3.2 3B Q4~2GB4GB+速度快,适合入门
Llama 3.2 8B Q4~5GB8GB+均衡之选
Qwen 2.5 7B Q4~4GB8GB+中文能力出色
Mistral 7B Q4~4GB8GB+推理能力强

常见问题

模型加载失败

可能原因:

  • 内存不足
  • 模型文件损坏

解决方法:

  • 尝试使用更小的模型或更低的量化版本
  • 重新下载模型

服务器无法启动

解决方法:

  • 确保模型已加载
  • 检查端口是否被占用
  • 尝试更换端口

Chatbox 无法连接

排查步骤:

  1. 确认 LM Studio 服务器正在运行
  2. 检查 API 地址是否正确(注意 /v1 后缀)
  3. 尝试在浏览器访问 http://localhost:1234/v1/models

响应速度慢

优化建议:

  • 使用更小的模型
  • 使用更高的量化版本(如 Q4 代替 Q8)
  • 关闭其他占用资源的程序

使用建议

  1. 选择合适的量化

    • Q4_K_M 是大多数场景的最佳选择
    • 如果内存充足,可以尝试 Q5 或 Q8
  2. 保持服务器运行: 使用 Chatbox 时,确保 LM Studio 服务器一直在运行

  3. 尝试不同模型: LM Studio 的模型市场有丰富的选择,可以多尝试

  4. 关注系统资源: 运行模型时注意内存和 CPU/GPU 使用情况