1.需要的数学基础1.矩阵基本运算矩阵转置矩阵求逆2.微积分会求微分关于梯度下降法的原理, 推荐吴恩达的机器学习课程(b站有),讲的非常浅显易懂, 生动形象, 弹幕里面的b友们也很有意思, 适合新手小白3.线性回归1.简介1.定义利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式特点: 一个自变量称为单变量回归, 多于一个自变量称为多元回归2.表示方式:h(w)w1x1w2x2....bw(转置)xb3.分类:线性关系非线性关系2.线性回归的损失和优化损失:最小二乘法优化:1.正规方程2.梯度下降法算法选择:小规模数据LinearRegression/正规方程(不能解决拟合问题)岭回归大规模数据SGDRegression/梯度下降法(不一定找到全局极小值点)3.正规方程介绍:当损失函数最小时, 根据损失函数可以推导出正规方程利用矩阵的逆,转置进行求解公式:系数矩阵W(XtX)-1XtYX--特征值矩阵Y--目标值矩阵t--为转置(-1)--求逆API:sklearn.linear_model.LinearRegression()属性:LinearRegression.coef_: 回归系数linearRegression.intercept: 偏置(在一元方程中, 相当于截距)linearRegression.fit_intercept:是否计算偏置缺点:当特征值过多过于复杂时, 求解速度太慢且得不到结果只适合样本的特征比较少的情况4.梯度下降法(gradient descent algorithm)公式:数学符号没法在文本上展示,略(可以直接问AI,解释的挺详细的)梯度:单变量 -- 切线/斜率多变量 -- 向量参数:α--步长, 要适中α太小--下降慢α太大--容易跳过极小值点梯度为什么要加负号:梯度方向是上升最快方向, 负号即下降最快方向常见的梯度下降算法:1.批梯度/全梯度下降法.BGD(Batch Gradient Descent)计算所有样本的均方误差(MSE)缺点:1.因为每次计算的数据量很大, 算法的运行速度很慢, 且无法处理超出内存容量的数据集2.因为每次都计算全部样本数据, 不能在线更新模型, 即运行中不能更改样本数据内容2.随机梯度下降法.SGD(Stochastic Gradient Descent)只选单个样本计算均方误差(MSE)缺点:随机性太大,单个样本无法有效代表整体APIsklearn.linear_model.SGDRegressor()参数:loss--损失类型losssquared_loss:普通最小二乘法fit_intercept:是否计算偏置learning_rate--学习率constant:etaeta0optimal:eta1.0/(alpha*(tt0))[default]invscaling:etaeta0/pow(t,power_t)SGDRegressor.coef_:回归系数SGDRegressor.intercept_:偏置3.随机平均梯度下降法.SAG(stochastic average gradient descent)改善了SGD随机性问题, 收敛速度更快,为每个样本维护一个旧梯度,随机选择第i个样本更新该样本梯度,最后求得所有梯度平均值, 进而更新参数缺点:初期表现不佳4.小批量梯度下降法.MBGD(mini_batch gradient descent)BDG与SGD的综合, 随机抽取一个小样本集计算MSE5. 梯度下降法的算法比较:BGD:每次更新都要使用全体数据, 花费时间最长, 内存占用最大SAG:训练初期表现不佳, 优化速度慢SGD:综合考虑迭代次数和运行时间,SG性能表现都很好,但是需要慎重选择步长, 否则容易错过最优解MBGD:表现在SGD和BGD之间, 避开BGD运算成本大和SGD收敛不稳定推荐:首选SAG, 其次MBGD, BGD与SGD不予考虑4.扩展:梯度下降算法在深度学习中也有应用1.动量法(SAG姐妹版)2.Nesterov 加速梯度下降法3.Adagard4.Adagdelta5.RMSProp6.Adam