模型

体系模型

NLP（自然语言处理）

人类的语言是由词语，根据语法来组成句子，其本质是为了传递消息。人类通过语境、语法来理解语言，那 AI 是怎么理解的呢

AI 理解语言主要分为如下几个阶段

1. 语法模型：根据语法规则去理解语言，例如 主 + 谓 + 宾。但是现实的语言往往比较复杂，充斥着各种意外和俚语。如果纯粹按照语法的话，就会出现语法正确，但是狗屁不通的语句。
2. 统计模型：统计哪些词一起出现的概率比较高，这就是 N-gram（统计 N 个次出现的概率）。但是 N 始终是有限制的，N-gram 是不能联系所有上下文的，超出 N 的范围后，后续的单词就不知道上下文了
3. FNN（前馈神经网络模型）：
   1. 构建一个高维的向量空间，将词汇表中的每个词都映射为向量空间的一个点。例如将 帝王、皇帝等同义词在向量空间中就很接近
   2. 通过向量空间中的距离来计算词汇之间的相似度，例如 皇帝 和 国王 在向量空间中就很接近，而 皇帝 和 苹果 在向量空间中就很远。常用的方法是 余弦相似度，通过计算两个向量之间的夹角来计算相似度 $$similarity(a,b)=cos(θ)=∣a∣ ∣b∣ a⋅b$$
4. RNN（循环神经网络）：RNN 是一种特殊的神经网络，它能够处理序列数据，例如句子、语音、视频等
5. Transformer：Transformer 是一种网络架构，它通过“自注意力机制”的核心技术，解决了 RNN 无法并行计算和长文本遗忘的问题。目前几乎所有大语言模型（LLM）的核心架构

CV（计算机视觉）

基础范式

扩散模型

1. 前向过程（加噪）

   从一张真实图片开始训练，不断的添加少量的高斯噪声，直到变成完全随机的高斯噪声

2. 反向过程（减噪）

   1. 得到随机噪声
   2. 进行预测减噪
   3. 不断的重复预测减噪行为，每一步都可以使得图片变得清晰，直到从噪声中得到一张清晰的真实图片

AI 通过海量训练，知道了如何把一张真实图片变成噪声；那么在减噪的过程中，通过预测并移除在加噪过程中每一步所添加的噪声，从而恢复出符合它学习到的真实图片。所以AI 是无法产生它没有训练过的基础概念，但是可以对一些概念进行组合，例如 AI 没有一只狗在月球奔跑的数据，它可以通过 狗 + 月球 + 奔跑来组合

举个例子： 用一个形象的例子，你有一只狗的雕塑，你不断往狗雕塑上填充，直到填充成一个球（完全随机噪声），在练习了 N 次后，你可以轻而易举的将一个球削成一只狗的样子

生成视频则更加的复杂，增加了时间的维度

网络架构

Transformer

Transformer

应用模型

GPT

生成式预训练变换器（Generative Pre-trained Transformer）