机器学习

什么是机器学习（Machine Learning）？

不手动编写规则，而是机器通过大量的数据训练出模型（规律），而后使用模型进行预测

1. 数据驱动，自动学习，无需专家的介入
2. 持续学习，突破上限

机器学习关键的三个要素

1. 数据：机器学习的燃料、样本
2. 模型、算法：机器学习的大脑
3. 评估：衡量学的好不好

tips: 如果是工程上的话，一般会说数据、模型/算法、算力

学习方式

监督学习

机器学习时，数据携带了标签（正确答案），让模型学会输入 ==> 输出。像有标准答案的考试

常见任务

1. 分类问题：预测离散标签，例如判断邮件是不是垃圾邮件
2. 回归问题：预测连续数值，例如根据地皮、年份、周边等预测房价

半监督学习

少量数据有标签，大量数据没有标签。利用少量“标准答案”带路，让模型去消化大量无标签数据

非监督学习

机器学习时，数据没有携带正确答案，让模型自己找出规律。像是自己做课堂笔记总结

常见任务

1. 聚类：把相似的东西放在一起
2. 关联分析：找出商品之间的绑定关系

自监督学习

数据本身没有标签，但通过挖空、预测下一个词等方式，让数据自己生成标签

常见任务

1. 给模型一段话“今天天气真[ ]”，让模型去预测括号里是“好”，这就是 LLM 预训练的本质

强化学习

没有正确答案，只有根据环境给予 对（奖励） or 错（惩罚），让模型通过大量试错，以累计最大化奖励。像是训狗一样，做对了有奖励，做错了惩罚

常见任务

1. 机器控制
2. 游戏 AI

深度学习

深度学习（Deep Learning）是利用深层神经网络，让机器能像人类大脑一样思考，具备极其强大的高级抽象和特征提取的能力。深度学习是机器学习的一个分支，是机器学习的一个超进华版本

深度学习和机器学习最核心的区别在于：数据特征是谁来提取的？

• 机器学习：虽然是机器去寻找规律，但还是依赖人工进行特征功能，例如从 颜色、气味、大小、口感 来判断一个水果是不是苹果
• 深度学习：实现为表示学习，通过多层神经网络，端到端（End-to-End）地自动提取和组合高级抽象特征，摆脱了对人工特征工程的依赖

深度学习成功主要依赖于

1. 数据大爆发
2. 算法的突破
3. 算力的突破：从早期的 CNN 和 RNN，到现在统治的 Transformer

tips: 机器学习就是找规律，而深度学习就是将规律通过大力出奇迹的方式，推到了极致

大语言模型

大语言模型（LLM）是参数巨大（通常在数十亿到数万亿）的深度学习模型。LLM 是深度学习的具体应用