前言：本篇笔记系统梳理机器学习、深度学习知识脉络。从发展历史入手，讲解基础概念、底层原理、典型应用，最后对比机器学习与深度学习的联系和区别。适合作为AI入门的总览笔记，方便后续查漏补缺。
一、发展历程
1. 机器学习萌芽期（1950 ~ 2000） 1950年图灵提出图灵测试，开启机器智能的设想。 1956年达特茅斯会议，人工智能概念正式诞生。 早期：感知机模型出现，但单层感知机无法解决异或问题，AI进入第一次寒冬。 80年代：多层神经网络+反向传播算法被提出，但受限于计算机算力、数据量不足，神经网络研究遇冷，传统机器学习成为主流。 传统机器学习代表算法：线性回归、逻辑回归、决策树、SVM、随机森林、KNN。 特点：**人工提取特征**，模型学习特征到结果的映射。
2. 深度学习爆发（2006 ~ 至今） 2006年，Hinton提出深度信念网络，逐层预训练，证明深层神经网络可以训练，深度学习重回视野。 2012年 AlexNet在ImageNet图像分类比赛碾压传统机器学习，深度学习时代正式开启。 关键点：大数据 + GPU并行算力 + 激活函数改进、正则化技术，让深层网络可以收敛。 后续陆续出现CNN、RNN、LSTM、Transformer、BERT、大语言模型。 > 一句话总结历史： 早期AI靠人工写规则；传统机器学习人工提取特征；深度学习自动学习特征。
二、核心概念定义
1. 人工智能（AI） 最大的概念：让机器模拟人的感知、推理、决策能力。 AI包含三大分支： - 符号主义（早期专家系统，手写规则，现在很少用） - 机器学习（当前主流） - 强化学习
2. 机器学习（Machine Learning，ML） 属于AI的子集。
定义：不手动编写全部规则，让机器从数据中学习规律，构建模型来完成预测/分类任务
机器学习分为：
1. 监督学习：数据带标签（输入+标准答案） - 分类：图像猫狗识别、垃圾邮件判断 - 回归：房价预测、销量预测
2. 无监督学习：数据无标签，自动挖掘数据内在结构 - 聚类K-Means、降维PCA3. 强化学习：智能体Agent在环境中不断试错，通过奖励Reward优化策略 - 游戏AI、机器人控制、自动驾驶决策 > 传统机器学习：特征工程由人来做。 举例子：图像识别，人手动设计边缘、纹理、直方图特征，再喂给SVM分类器。
3. 深度学习（Deep Learning，DL） 深度学习是机器学习的子集。 定义：使用多层神经网络，自动从原始数据里提取多层特征，端到端学习映射关系。 浅层提取简单特征（边缘、线条），深层组合成高级特征（轮廓、人脸）。 不再需要人工设计特征工程。
三、底层原理
3.1 传统机器学习底层
（以SVM/逻辑回归举例） 模型本质：寻找一个决策边界，分割不同类别数据。
逻辑回归：用sigmoid，线性加权输出概率，最小化交叉熵损失 - SVM：寻找最大间隔超平面 - 树模型：不断对特征做分裂，划分样本空间 特点： 模型参数量少，依赖人工特征；数据量小的时候效果不错；高维原始数据（原始像素、原始文本）表现差。
3.2 深度学习底层：
人工神经网络
基础单元：神经元（感知机）
神经元：接收多个输入，加权求和，加上偏置bias，再过激活函数输出。 $$y = \sigma(\sum w_ix_i + b)$$ - $w$：
权重（模型要学习的参数） - $b$：
偏置 - $\sigma$：
激活函数（ReLU、Sigmoid、Tanh），引入非线性。没有激活函数，多层网络等价单层，无法拟合复杂关系。
多层网络结构 输入层 → 隐藏层（多层） → 输出层 > “深度” = 隐藏层数量很多
训练核心：反向传播BP
1. 前向传播：数据从输入到输出，算出预测结果，计算损失Loss（预测值和真实标签差距）
2. 反向传播：链式求导，计算每个权重w对损失的梯度
3. 优化器（SGD、Adam）：沿着梯度下降方向更新权重，不断减小损失 重复多轮迭代直到损失收敛。
经典网络类型
1. CNN卷积神经网络：图像领域。卷积核提取局部空间特征，权值共享减少参数量。适用：图像分类、目标检测。
2. RNN/LSTM：时序数据，文本序列，解决时序依赖；缺点长距离信息容易丢失。
3. Transformer：自注意力机制，全局建模序列关系。NLP大模型、多模态模型基础。
四、应用场景
传统机器学习适用场景
1. 表格结构化数据：信贷风控、客户流失预测、销量预估
2. 小数据集、低算力场景
3. 需要强可解释性：医疗评分、金融风控（树模型可以看特征重要性）
常用算法：逻辑回归、随机森林、XGBoost、LightGBM
深度学习适用场景 原始非结构化数据：图片、语音、长文本、视频
1. 计算机视觉CV：人脸识别、目标检测、图像分割
2. 自然语言处理NLP：机器翻译、大语言模型、文本摘要
3. 语音：语音识别、语音合成
4. 多模态：图文生成（AIGC）
五、机器学习与深度学习：
联系 & 区别
✅ 联系 1. 深度学习属于机器学习的一个分支，二者都属于人工智能；
2. 核心思路一致：都是从数据中学习，最小化损失函数，优化模型参数；
3. 都分为监督/无监督/强化学习范式；
4. 数据质量对两者都至关重要。
✅ 核心区别 ：
对比维度：传统机器学习 深度学习
特征处理：人工特征工程，人设计特征 自动提取特征，端到端学习
数据量：小数据集就能表现不错 需要大量数据，数据少时容易过拟合
参数量：参数量少（几千~几万） 参数量巨大（百万~千亿）
算力需求：CPU就足够 强烈依赖GPU加速
可解释性：较好，比如树模型可看特征权重 黑盒，很难解释模型为什么输出这个结果
适合数据类型：结构化表格数据|非结构化数据（图像、文本、音频）
模型调参：调特征为主，模型参数简单 网络结构、优化器、学习率等超参多
六、学习路线总结
1. 先学传统机器学习：线性回归、逻辑回归、决策树、SVM、损失函数、梯度下降，打好数学基础。
2. 学习神经网络基础：神经元、激活函数、反向传播。
3. 深度学习模型：CNN、LSTM、Transformer。
4. 框架实操：PyTorch / TensorFlow，上手写代码。 误区提醒： 不是深度学习一定比传统机器学习强。结构化小数据集，XGBoost等传统模型往往效果更好、速度更快、更稳定。深度学习优势在海量非结构化数据。
总结：机器学习是一个大范畴，深度学习是利用深层神经网络自动学习特征的机器学习分支。 传统机器学习重点在特征工程；深度学习重点在网络结构与大数据。二者没有绝对优劣，根据任务数据类型选择模型。 后续笔记计划：梯度下降详细推导、损失函数详解、Transformer原理拆解。
