线性回归与平方误差

模型与参数

单特征线性回归可写为：

$$\hat y = wx+b$$

其中 x 是输入特征，w 和 b 是待学习参数。线性回归也可以使用多个特征，并不只限于单变量：

$$\hat y = b+\sum_{j=1}^{p} w_jx_j$$

平方误差成本函数

对 m 个训练样本，一个常用形式是：

$$J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}(\hat y^{(i)}-y^{(i)})^2$$

平方让正负残差不互相抵消，同时使较大的误差受到更大惩罚。除以 m 形成平均；前面的 1/2 便于求导，不改变最优参数位置。

优化在做什么

训练的目标是找到使指定损失较小的参数。梯度下降按梯度的反方向更新；普通最小二乘也可以用数值线性代数方法求解，不是只能使用梯度下降。

拟合不等于泛化

训练误差描述对已见数据的拟合。对新样本的表现需要验证集或测试集评估；特征选择、数据泄漏与分布变化都会影响结论。

一个自测

模型输出与成本函数输出有什么区别？

模型对单个样本给出预测；成本函数将一组预测误差汇总为优化目标。

核对来源：scikit-learn：Linear Models。