AI 离线大模型加载工具：LM Studio

🔗 官网链接

https://lmstudio.ai/

💡 工具简介

这个工具其实用了很长时间了，之所以现在才推荐，主要原因是从上一版已支持简体中文语言。虽然并不全面，但总好过没有。

今天已更新到 0.3.5 版了，具体更新了啥我也没看懂，反正它升级，我就跟着升级。

🚀 模型下载与配置建议

• 软件费用：软件是免费的。
• 模型来源：模型非常丰富，去 Hugging Face (抱抱脸) 下载任意 GGUF 格式的模型即可（如千问、Llama 等官方量化版）。

• 显存匹配指南：

  • 请根据显卡显存下载对应的模型。
  • 案例参考：如果需要参数大的模型（例如 14B），而显存只有 8GB，可以查看模型的量化后体积。

  • 实测数据：公司电脑为 4060 (8GB 显存)，加载了 qwen2.5-14b-instruct-q2_k。

    • 该模型为 14B（140亿参数）。
    • 若使用 FP16 精度，约需 32GB 显存。
    • 下载 Q2_K 量化版后，加载完成显存占用不到 7GB。

🛠️ 功能与稳定性

1. 部署方式：

   • 可以在自己电脑安装加载模型。
   • 还可以以服务端形式部署在公司内网，其他用户通过 API 方式访问。

2. 稳定性对比：

   • 这个软件是目前我用过最稳定的。
   • 虽然还有另外三个软件也支持加载 GGUF 模型，但都不太稳定，故不推荐。