到底什么是“生成式 AI”？ – IT之家

原文标题：《原来这才是【生成式 AI】！！》

随着 ChatGPT、文心一言等 AI 产品的火爆，生成式 AI 已经成为了大家茶余饭后热议的话题。

可是，为什么要在 AI 前面加上“生成式”这三个字呢？

难道还有别的 AI 吗？

且听文档君慢慢道来~

1、生成式 AI 究竟是个啥？

如果将人工智能按照用途进行简单分类的话，AI 其实要被划分为两类：决策式 AI 和生成式 AI。

决策式 AI：专注于分析情况并做出决策。它通过评估多种选项和可能的结果，帮助用户或系统选择最佳的行动方案。

例如，在自动驾驶车辆中，就是通过决策式 AI 系统决定何时加速、减速或变换车道。

生成式 AI：专注于创造全新内容。它可以根据学习到的数据自动生成文本、图像、音乐等内容。

例如，你可以将几篇论文发给生成式 AI，他可以生成一篇文献综述，囊括了这几篇论文的关键思想、重要结论。

看到这里，你就知道为什么 ChatGPT、文心一言属于生成式 AI 了吧？

接下来，让我们正式走入生成式 AI 的世界。

2、生成式 AI 的前世今生

其实，生成式 AI 的并不是这几年刚刚诞生，它实际已经经历了三个阶段：

早期萌芽阶段

• 1950 年，Alan Turing 提出了著名的“图灵测试”，这是生成式 AI 领域的一个里程碑，预示了 AI 内容生成的可能性。

• 1957 年，Lejaren Hiller 和 Leonard Isaacson 完成了历史上第一首完全由计算机“作曲”的音乐作品《Illiac Suite》。

• 1964 年至 1966 年间，Joseph Weizenbaum 开发了世界上第一款可人机对话的机器人“Eliza”，它通过关键字扫描和重组完成交互任务。

• 1980 年代，IBM 公司基于隐形马尔科夫链模型，创造了语音控制打字机“Tangora”。

沉淀积累阶段

随着互联网的发展，数据规模快速膨胀，为人工智能算法提供了海量训练数据。但是由于硬件基础有限，此时的发展并不迅猛。

2007 年，纽约大学人工智能研究员 Ross Goodwin 的人工智能系统撰写了小说《1 The Road》，这是世界第一部完全由人工智能创作的小说。

2012 年，微软公司公开展示了一个全自动同声传译系统，可以自动将英文演讲者的内容通过语音识别、语言翻译、语音合成等技术生成中文语音。

快速发展阶段

2014 年起，大量深度学习方法的提出和迭代更新，标志着生成式 AI 的新时代。

• 2017 年，微软人工智能少女“小冰”推出了世界首部 100% 由人工智能创作的诗集《阳光失了玻璃窗》。

• 2019 年，谷歌 DeepMind 团队发布了 DVD-GAN 架构用以生成连续视频。

• 2020 年，OpenAI 发布 ChatGPT3，标志着自然语言处理（NLP）和 AIGC 领域的一个重要里程碑。

• 2021 年，OpenAI 推出了 DALL-E，主要应用于文本与图像的交互生成内容。

• 自 2022 年开始到现在，OpenAI 多次发布 ChatGPT 新型号，掀起了 AIGC 又一轮的高潮，它能够理解和生成自然语言，与人类进行复杂的对话。

自此，生成式 AI 已经到了一个井喷式状态。那么，生成式 AI 究竟是基于什么样的原理呢？

3、轻松搞懂“生成式 AI”原理

在刚刚的介绍中，大家应该都对生成式 AI 有了一个表象的认知：学习知识 + 生成新知识。

但它是如何学习的呢？又是如何生成的呢？

这时候，我们就得来看看生成式 AI 更深层次的定义了：

定义

以 ChatGPT 为代表的生成式 AI，是对已有的数据和知识进行向量化的归纳，总结出数据的联合概率。从而在生成内容时，根据用户需求，结合关联字词的概率，生成新的内容。

是不是一下子懵了？

不急，这就触及到生成式 AI 的原理了。待文档君给你慢慢解析。

其实制作一个生成式 AI，就像把一个泥人变成天才，一共需要四步：捏泥人 → 装大脑 → 喂知识 → 有产出。

Step1：捏泥人 —— 硬件架构的搭建

要打造一个生成式 AI 的“泥人”，首先要考虑的就是底层硬件。底层硬件构成了生成式 AI 的算力和存力。

算力 —— 泥人的骨架

生成式 AI 需要进行大量的计算，尤其是在处理如图像和视频时。大规模计算任务离不开下面这些关键硬件：

GPU（图形处理单元）：提供强大的并行计算能力。通过成千上万个小处理单元并行工作，大幅提高了计算效率。

TPU（张量处理单元）：专门为加速人工智能学习而设计的硬件，能够显著加快计算速度，进一步增强了骨架的强度。

存力 —— 泥人的血液

生成式 AI 需要处理和存储大量的数据。

以 GPT-3 为例，光是训练参数就达到了 1750 亿个，训练数据达到 45TB，每天会产生 45 亿字内容。

这些数据的存放离不开下面这些硬件设施：

大容量 RAM：在训练生成式 AI 模型时，大量的中间计算结果和模型参数需要存储在内存中，大容量的 RAM 能够显著提高数据处理速度。

SSD（固态硬盘）：大容量的 SSD 具有高速读取和写入能力，可以快速加载和保存数据，使泥人能够高效地存储信息。

泥人捏好了，但是现在只能是一个提线木偶，没有任何能力，所以我们就要给他装上大脑。

Step2：装大脑 —— 软件架构构建

软件架构是泥人的大脑，它决定了这个泥人将以什么样的方式对数据进行思考推理。

从仿生学的角度，人类希望 AI 能够模仿人脑的运行机制，对知识进行思考推理 —— 这就是通常所说的深度学习。

为了实现深度学习，学者们提出了大量的神经网络架构：

• 深度神经网络（DNN）是最普遍的神经网络架构，但是随着数据对于网路架构的要求越来越复杂，这种方法逐渐有些吃力。

• 卷积神经网络（CNN）是一种专门为处理图像数据而设计的神经网络架构，能够有效地处理图像数据，但是需要对输入数据进行复杂的预处理。

• 随着任务复杂度的增加，循环神经网络（RNN）架构成为处理序列数据的常用方法。

• 由于 RNN 在处理长序列时容易遇到梯度消失和模型退化问题，著名的 Transformer 算法被提出。

随着算力的发展，生成式 AI 的网络架构发展越来越成熟，也开始各有侧重：

• Transformer 架构：是目前文本生成领域的主流架构，GPT、llama2 等 LLM（大语言模型）都是基于 Transformer 实现了卓越的性能。

• GANs 架构：在图像生成、视频生成等领域有广泛应用，能够生成高质量的图像和视频内容。

• Diffusion 架构：在图像生成、音频生成等领域取得了很好的效果，能够生成高质量、多样化的内容。

网络架构搭建好了，脑子是有了，但是脑子里空空如也呀。所以我们通过数据训练给这个人造大脑喂知识。

Step3：喂知识 —— 数据训练

目前有两种训练方式：预训练和 SFT（有监督微调）

预训练：是指将一个大型、通用的数据集作为知识喂给 AI 进行初步学习。

经过预训练的模型叫作“基础模型”，它对每个领域都有所了解，但是无法成为某个领域的专家。

SFT：SFT 是指在预训练之后，将一个特定任务的数据集喂给 AI，进一步训练模型。

例如，在已经预训练的语言模型基础上，用专门的医学文本来微调模型，使其更擅长处理医学相关的问答或文本生成任务。

但是，无论是预训练还是 SFT，AI 的大脑是如何吸收这些知识的呢？

这就涉及到“理解”能力了，我们以 Transformer 架构为例，讲讲 AI 对于文本的理解。

对于 AI 来说，理解分两步：理解词语和理解句子。

理解词语的本质就是词语的归类。研究人员提出了一种方法：将词语在不同维度上进行拆解，从而对词语进行归类。

假设有四个词语：西瓜、草莓、番茄和樱桃。AI 在两个维度上对这些词语拆解：

基于这个维度，AI 对词语进行打分归类。

• 西瓜：颜色 = 2（绿色），形状 = 1（圆形）

• 草莓：颜色 = 1（红色），形状 = 2（椭圆形）

• 番茄：颜色 = 1（红色），形状 = 1（圆形）

• 樱桃：颜色 = 1（红色），形状 = 1（圆形）

通过这些打分，我们可以看到词语在不同维度上的分类。

例如，“番茄”和“樱桃”在颜色和形状维度上都是相同的，说明它们在这两个维度上的含义相同；“草莓”和“西瓜”在颜色和形状维度上都有所不同，说明它们在这两个维度上的含义不同。

当然，区分他们的维度不仅仅只有两个，AI 还可以从大小、甜度、是否有籽等大量维度对他们进行打分，从而分类。

只要维度足够多、打分足够准确，AI 模型就可以越精准地理解一个词语的含义。

对于目前较为先进的 AI 模型来说，通常维度的数量可以达到上千个。

学习词语并理解为量化的结果只完成了第一步，接下来 AI 就需要进一步理解一组词语的合集：句子。

我们知道即使同一个词语在不同语句中，也会具备不同的含义。

例如：

这是一顶绿色的帽子。

某某公司致力于打造绿色机房。

在不同句子中，“绿色”这个词含义不同，AI 是如何知道他们有不同的含义呢?

这就得益于 transformer 架构的“自注意力（Self Attention）”机制。

简单来说，当 AI 理解包含了一组词语的句子时，除了理解词语本身，还会“看一看”身边的词。单个词语和句子中其他词语之间的关联性，称之为“注意力”，由于是和同一个句子自身的词语结合理解，所以称之为“自注意力”。

因此，在 Transformer 架构中，可以分为以下两步：

将每个词语转换为一个向量。这个向量表示词语在多维空间中的位置，反映了词语的各种特征。

使用自注意力机制来关注句子中的不同部分。它能够在处理每个词语时，同时考虑句子中其他词语的信息。

Step4：有产出 —— 内容生成

在理解完大量词语、句子之后，AI 就可以生成内容了。它是如何生成内容的呢？

这就是一个概率的问题了。

问大家一个问题：

我在餐厅吃 ×。

× 填个字，你会填什么？

根据你既往的经验，大概率你会填“饭”。

其实，× 还可以是“饼”、“面”、“蛋”等等。

像人一样，生成式 AI 也会根据它第三步中学到的经验，给这些字加上概率。然后选择概率高的词作为生成的内容。接着，AI 将重复这一过程，选择下一个可能性最高的词语，从而生成更多内容。

但有的时候，我们希望答案是丰富多彩的，回到刚刚那个例子，我们现在不希望 AI 接的下一个字是“饭”，那要怎么办呢?

AI 提供了一个调节参数，叫温度，范围从 0 到 1。

• 在温度为 0 时，说明匹配概率要选尽量大的，在以上例子中，AI 很可能选择“饭”；

• 在温度为 1 时，说明匹配概率要选尽量小的，在以上例子中，AI 很可能选择“饼”。

数值越接近 1，得到的内容越天马行空。

比如，温度设为 0.8，那么 AI 生成的句子可能是：

我在餐厅吃饼，这个饼又大又圆，我想把它套在脖子上……

但是，我们看到大多数 AI 产品，只有一个对话框，如何修改温度参数呢？

答案是“提示词”，也就是我们通常所说的 prompt。

• 如果你输入是“你是一名某某领域的专家，请用严谨的口吻写一篇关于 xx 的文献综述。”这时 AI 的温度接近 0，就会选择匹配概率尽量高的词语生成句子。

• 如果你输入是“请你请畅想一下 xx 的未来。”这时 AI 的温度接近 1，就会选择匹配概率尽量低的词语组成句子，生成意想不到的内容。

现在知道 prompt 的重要性了吧！

所以，我们可以认为，AI 生成的本质就是一场词语接龙：AI 根据当前字，联系它之前记录的下个字的出现概率以及你的期望，选择接下来的字。

当然，生成式 AI 的内部原理远比小编讲的要复杂，小编这里只能算一个基础的科普。

4、“生成式 AI”去向何方？

那么生成式 AI 真的会实现通用人工智能，从而替代人类嘛？目前，有两种看法：

积极派：以 OpenAI 的 CEO Altman、英伟达 CEO 黄仁勋为首的积极派，非常看好生成式 AI 的未来，他们曾表示“再过几年，人工智能将会比现在更加强大和成熟；而再过十年，它定将大放异彩“，“AI 可能在 5 年内超越人类智能”。

消极派：以深度学习先驱杨立昆为首的消极派，一直认为生成式 AI 无法通向用人工智能。他在多个场合表示“像 ChatGPT 这样的大型语言模型将永远无法达到人类的智能水平”，“人类训练的人工智能，难以超越人类”。

那么对于我们普通人来说，我们要怎么对待生成式 AI 呢？

文档君觉得，我们普通人不妨就把它当做一个工具，学会使用它，提高我们的工作效率，丰富我们的日常生活，保持对世界的好奇心，充分享受科技带来的便利就好啦！

本文来自微信公众号：中兴文档 （ID：ztedoc）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。