模型

体系模型

NLP（自然语言处理）

人类的语言是由词语，根据语法来组成句子，其本质是为了传递消息。人类通过语境、语法来理解语言，那 AI 是怎么理解的呢

AI 理解语言主要分为如下几个阶段

1. 语法模型：根据语法规则去理解语言，例如 主 + 谓 + 宾。但是现实的语言
2. 统计模型：
3. 前馈神经网络：

CV（计算机视觉）

基础范式

扩散模型

1. 前向过程（加噪）

   从一张真实图片开始训练，不断的添加少量的高斯噪声，直到变成完全随机的高斯噪声

2. 反向过程（减噪）

   1. 得到随机噪声
   2. 进行预测减噪
   3. 不断的重复预测减噪行为，每一步都可以使得图片变得清晰，直到从噪声中得到一张清晰的真实图片

AI 通过海量训练，知道了如何把一张真实图片变成噪声；那么在减噪的过程中，通过预测并移除在加噪过程中每一步所添加的噪声，从而恢复出符合它学习到的真实图片。所以AI 是无法产生它没有训练过的基础概念，但是可以对一些概念进行组合，例如 AI 没有一只狗在月球奔跑的数据，它可以通过 狗 + 月球 + 奔跑来组合

举个例子： 用一个形象的例子，你有一只狗的雕塑，你不断往狗雕塑上填充，直到填充成一个球（完全随机噪声），在练习了 N 次后，你可以轻而易举的将一个球削成一只狗的样子

生成视频则更加的复杂，增加了时间的维度

网络架构

应用模型

GPT

生成式预训练变换器（Generative Pre-trained Transformer）