什么是馍？什么是型？什么是大馍型？AI大模型解惑

趣味定义

什么是馍？
馍就是吃的馍馍

什么是型？
型就是很有型的人做馍馍。例如下图中的男馍，意思是一个很有型的男人在做馍。

AI大模型科普

那么AI大模型又是啥玩意？我们分开来说：

1. AI是什么？

人工智能（Artificial Intelligence，简称AI） 是一门研究如何使计算机能够模拟和执行人类智能任务的科学和技术领域。

• 核心目标：致力于开发能够感知、理解、学习、推理、决策和与人类进行交互的智能系统。
• 发展历程：背景可追溯到上世纪50年代，最初集中在基于规则的推理和专家系统的开发上。随着计算机技术和算法（尤其是机器学习和深度学习）的兴起，人工智能迎来了爆发式发展。

2. 大模型是什么？

大模型（Large Model），也称基础模型或 Foundation Model，是指具有大量参数和复杂结构的机器学习模型。

• 核心能力：能够处理海量数据、完成各种复杂的任务，如自然语言处理、计算机视觉、语音识别等。
• 工作原理：通过大量的数据和参数进行训练，以生成人类类似的文本或回答自然语言的问题。
• 超大模型：是大模型的一个子集，其参数量远超过普通大模型。

3. 大模型的种类

大模型按照输入数据类型和应用领域主要可以分为以下几类：

• 语言大模型（NLP）：在自然语言处理领域中使用，如 GPT 系列、Bard、文心一言等。
• 视觉大模型（CV）：在计算机视觉领域中使用，如 VIT 系列、文心 UFO、华为盘古 CV 等。
• 多模态大模型：能够处理多种不同类型数据，如 DALL-E、悟空画画等。
• 通用大模型 L0：可在多个领域和任务上通用，具有强大的泛化能力。
• 行业大模型 L1：针对特定行业或领域，相当于 AI 成为“行业专家”。
• 垂直大模型 L2：针对特定任务或场景，提高在该任务上的性能和效果。

本地部署指南

本地部署大型 AI 模型对电脑配置有一定要求，尤其是对 GPU 的显存和内存有较高需求。

1. 模型规模建议

• 3B/7B/13B 大模型：适合个人本地部署，对配置要求适中。

  • 注：数字后面的 B 代表 10 亿（3B 表示约 30 亿参数）。
  • 经验法则：一般推荐 7B 开始；小于 7B 的智商着急，大于 7B 的硬件资源消耗着急。
  • 实测参考：使用 4060 8GB 显存运行 7B RWKV 模型会非常卡顿。

2. 硬件配置推荐

• CPU：10 代 i3 或以上均可。AI 时代的 CPU 主要是“有个就行”。

• 内存：16GB - 128GB（一般建议为显存的两倍左右）。

  • 注意：目前 16GB 远不能满足 AI 使用，基础配置建议 32GB 起步。实测 32GB 内存转换 7B 模型时实际需要约 40GB。
• 硬盘：M.2 SSD 512GB 起步。模型动辄十几至几十 GB，有条件的建议直接 2TB 起步。
• GPU：至少 4060 16GB 显存；若要进行微调，建议配置 4090 24GB（注：该显卡仍无法支持全参数微调，仅能支持极为有限的微调）。

3. 部署总结

合理规划硬件资源、关注数据质量、保证系统稳定性是成功部署的关键。随着技术进步，未来会出现更多高效且易于部署的大模型。

实战经验分享

我的常用模型配置（Meta Llama3 中文量化版）

• 模型名称：Llama-3-8B-Q4-K-M.gguf
• 参数量：8B
• 量化参数：Q4-K-M
• 模型体积：4.8GB
• 显存消耗：6GB
• 生成速度：8-12 Tok/s

模型获取与选择

可以在 Hugging Face Mirror 站点搜索，关键词加上 gguf。
例如下载地址：Meta-Llama-3-8B-GGUF

下载原则：

• 上图中框起来的多个文件其实都是同一个模型，区别在于量化参数不同。
• 原则：模型体积越大，质量越好；但体积越大，对资源要求越高。
• 配置匹配建议：若显卡为 8GB 显存（除去系统占用约剩 7GB），下载 5GB 左右的模型最合适。再小则质量低，再大则不流畅。
• 反面教材：尝试过 Llama3 70B 的 Q1 量化版（体积不到 16GB），虽然能跑起来，但两秒钟才出一个字，体验极差。

推荐工具

GGUF 模型加载工具（免环境配置，Windows 双击运行）：

• LM Studio
• koboldcpp
• llamafile
  (注：以上工具均为英文界面)

国产傻瓜式工具（中文、免费、开源、带详细说明）：

• RWKV Runner: https://github.com/josStorer/RWKV-Runner
• ai00_server (同源): https://github.com/Ai00-X/ai00_server