唐宇迪~第五章：逻辑回归原理推导

🖼 人工智能学习总目录

🖼 小结及目录《机器学习》唐宇迪

本章知识小结：

• 1、原理推导—>代码复现—>实验分析
• 2、
• 3、
• 4、

1、回归问题概述

工资 和 年龄都会影响银行贷款的结果,通过工资和年龄预测额度

调试参数,使下面拟合平面的曲线满足尽可能多的人.

$$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2$$

整合(注:这里补位x0=1)

$$h_\theta(x)=\sum_{i=0}^{n}\theta_ix_i = \theta^Tx$$

2、误差项定义

每个样本误差(真实值和目标值的差异)

$$y^{(i)}=\theta^{T}x^{(i)}+\xi^{(i)}$$

3、独立同分布的意义

误差是独立并具有相同分布,符合均值从0方差为theta^2的高斯分布

独立:张三和李四一起贷款,但是二者美肤安息

同分布:假定去同一个银行

高斯分布:银行可能多给可能少给,幅度

由于误差服从高斯分布，

$$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(\epsilon^{(i)})^2}{2\sigma^2})$$

将（3）式带入（4）

$$p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi}\sigma}exp（-\frac{(y^{(i)}-\theta^{T}x^{(i))^2}}{2\sigma^2}）$$

4、似然函数的作用

似然函数：什么样的参数跟我们组合的数据组合后恰好是真实值

$$L(\theta)=\prod_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta)=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp（-\frac{(y^{(i)}-\theta^{T}x^{(i))^2}}{2\sigma^2}）$$

对数似然函数：乘法难解，加法就容易了

$$logL(\theta)=log\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp（-\frac{(y^{(i)}-\theta^{T}x^{(i))^2}}{2\sigma^2}）$$

5、参数求解

（7）式展开化简

$$logL(\theta)=mlog\frac{1}{\sqrt{2\pi}\sigma}-\frac{1}{\sigma^2}\sum_{i=1}^{m}(y^{(i)}-\theta^{T}x^{(i)})^2$$

目标让似然函数越大越好，即J（\theta）越小越好（最小二乘法）

$$J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\theta^{T}x^{(i)})^2$$