Qwen2.5-7B-Instruct,懒人包

Qwen2.5-7B-Instruct 测试报告

运行配置

• 精度设置：已设置 int4 精度运行

性能表现

1. 常规测试

   • 显存占用：初始化完成后约 7GB
   • 回答能力：常规简单问题都能对答如流
   • 生成速度（4060 16GB 显卡）：约 10 字/秒

2. 长文本测试（825行代码，约3200字）

   • 显存占用：约 16.5GB
   • 生成速度：约 5 字/秒

精度对比与总结

• int4 vs int8

  • int4：由于显存限制，目前固定使用 int4 精度。
  • int8（原版）：处理 825 行代码时，显存占用约 20GB，生成速度仅为 1 字/秒。
• 个人观点
  离线模型性能有限，若追求体验，建议直接使用在线免费版本。

资源下载
链接： https://pan.baidu.com/s/1zOdQJU4It8NNdReLzlVReQ?pwd=gpcb