第2章学习回归—基于广告费预测点击率

🖼 人工智能学习总目录

🖼《白话机器学习数学》小结及目录

本章知识小结：

1、最小二乘法、目标函数
2、下降梯度、梯度下降法
3、学习率、更新表达式
4、多项式回归、过拟合、欠拟合
5、多重回归：包含多个变量的回归，写成向量
6、随机梯度下降法、小批量梯度下降法

1、设置问题

基于广告费预测点击量，投入广告费越多，点击率越高

2、定义模型

一个示例模型：

$f_θ(x) = θ_0 + θ_1x$

(理想情况下实际数据y和预测数据 fθ(x)一致)
(这样我们的问题就转换成求θ1和θ2，比如θ1=1且θ2=2是，y和fθ(x)偏差过大，所以需要更新两个参数)

所以我们要想方法去求求解二者值，使得预测值和实际值接近或相等。

3、最小二乘法

目的是使误差更小，新建目标函数（记录误差）：

$E(θ) = \frac{1}{2}\sum_{i=1}^n(y^{\text{(}i\text{)}} - f_θ(x^{(i)}))^2$

对每个训练数据的误差平方和相加后除2，计算E(θ)，找E(θ)值最小的θ的问题，是最优化问题。

这个E(θ)本身是没有意义的，我们要修改θ的值，使E(θ)越来越小，这种方法是最小二乘法。

但是一边修改θ，一边让E(θ)更小太麻烦了，所以我们把目标函数记为g(x)，对x求导可以拿到下降梯度。

根据导数的符号，在向反方向移动x，g(x)就会自然地沿着最小值方向前进了，这种方法被称为最速下降法或梯度下降法。

$x:= x - η\frac{d}{dx}g(x)$

A := B的方法是说，通过B来定义A。这里的η表示学习率，及趋于最小值的速度。

同理，我们的θ_0和θ_1也可以这样求，目标函数

$E(θ) = \frac{1}{2}\sum_{i=1}^n(y^{(i)} - f_θ(x^{(i)}))^2$ $θ_0 :=θ_0 - η\frac{∂E}{∂θ_0}$ $θ_1 :=θ_1 - η\frac{∂E}{∂θ_1}$

这里是一个复合函数求偏导，用换参法会更好理解，这里写字不是很方便所以直接一起算了。（这里的fθ(x) = θ0 + θ1*x的）

因为E(θ)对θ其他，其中E(θ)没有θ，有fθ(x)，fθ(x)中有θ，所以有下式：

$\frac{∂E}{∂θ_0} = \frac{∂E}{∂f_θ(x)}*\frac{∂f_θ(x)}{∂θ_0}=\frac{∂}{∂f_θ(x)}(\frac{1}{2}\sum_{i=1}^n(y^{(i)} - f_θ(x^{(i)}))^2)=\sum_{i=1}^n(f_θ(x^{(i)}) - y^{(i)})$ $\frac{∂E}{∂θ_1} = \frac{∂E}{∂f_θ(x)}*\frac{∂f_θ(x)}{∂θ_1}=\frac{∂}{∂f_θ(x)}(\frac{1}{2}\sum_{i=1}^n(y^{(i)} - f_θ(x^{(i)}))^2x^{(i)})=\sum_{i=1}^n(f_θ(x^{(i)}) - y^{(i)})x^{(i)}$

所以θ的更新表达式如下

$θ_0 :=θ_0 - η\sum_{i=1}^n(f_θ(x^{(i)}) - y^{(i)})$ $θ_1 :=θ_1 - η\sum_{i=1}^n(f_θ(x^{(i)}) - y^{(i)})x^{(i)}$