Deepseek本地部署(内置32B和14B模型)2月21更新

首次使用需要联网下载 install open-webui 组件（过程是自动的），之后就不用联网了。

资源信息

• DeepSeek 本地部署：由剑二十七制作分享
• 更新地址：https://www.jian27.com/html/1396.html (此版压缩包 40gb+)
• 配套教程：DeepSeek从入门到精通.pdf

本站独家“负优化”说明

以下为本站针对显存优化的策略（优化后带两个模型总体积 14.4gb）：

1. 量化策略

• 模型已替换为 Q2 量化版，显存占用大幅降低，6gb 以上黄皮显卡可玩。

• 核心原则：在显存不够的情况下，优先选择“降低精度且模型体量大”的方案。

  • 例如：14b Q2 量化版，远比 8B fp16 效果好得多。
  • 在体量面前谈量化，那就是扯淡。

2. 模型配置

• 模型只保留了 14b 和 32b。

• 显存占用参考：

  • 14b：实际运行占用约 5.5gb 显存。
  • 32b：实际运行占用约 11gb 显存。
• 自定义替换：可以自己替换喜欢的模型，原则上 .gguf 后缀的模型都可以（例如某些无限制模型）。注：怎么替换请自行研究，不做解答。

安装与使用指南

1. 根目录优化

刚刚更新的版本只是优化了根目录，看起来更简洁，更适合强迫症患者。

2. 首次启动步骤

1. 开始使用：首次启动时，点击“开始使用”。
   

2. 账号设置：输入昵称（随便输）。

   • 默认管理员账号：jian27@126.com 或 123@123.com
   • 默认密码：1234
   • 进去后可自行修改。
     
   • 注意：这一步可能会白屏（浏览器什么都不显示），请耐心等待几秒钟。
3. 更新信息：
   

3. 模型选择与设置

根据你的电脑硬件情况选择模型：

• 显存 < 8gb (N卡)：建议选择 14b（最低要求 6gb 显存）。
• 显存 > 12gb：可以跑 32b。
  
  
• 详细设置：右上角有详细设置及账户设置等。
• 联网搜索：可以设置联网搜索，但需要申请 API（属于各家搜索引擎收费项目，非本项目收费）。
• 更多好玩的，请自己摸索。

文件下载

通过百度网盘分享的文件：DeepSeek-tool_V3.03.7z
(回复后，刷新可见下载链接)

下载链接：https://pan.baidu.com/s/1SaMyVC5Wn-yVdWXS3emM2Q?pwd=gpcb