第4章 评估已建立的模型

🖼 人工智能学习总目录

🖼《白话机器学习数学》小结及目录

• 第1章 开始二人之旅
• 第2章 学习回归—基于广告费预测点击率
• 第3章 学习分类—基于图像大小进行分类
• 第4章 评估已建立的模型
• 第5章 实现—使用Python编程

本章知识小结：

• 1、“只对训练数据才是正确”、MSE均方误差
• 2、精确度Accuracy、召回率、F值
• 3、交叉验证、K折交叉验证
• 4、正则化、过拟合、欠拟合、区分

1、模型评估

交叉验证，分成测试集和训练集

MSE(MeanSquareError)均方误差： $$\frac{1}{n}\sum_{i=1}^{n}(y^{(i)}-f_\theta(x^{(i)}))^2$$

Accuracy准确率： $$\frac{TP + TN}{TP+TN+FP+TN}$$ Precision精确率： （数据不平衡时，查看精度，只关注分类为Positive的部分） $$ \frac{TP }{TP+FP} $$ Recall召回率： （数据不平衡时，以数据少为准，只关注Positive的部分） $$ \frac{TP }{TP+FN} $$ F1值Fmeasure： $$\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}} = \frac{2Precision*Recall}{Precision + Recall}$$ F值WeightedFmeasure： $$\frac{(1+\beta^2)Precision*Recall}{\beta^2*Precision + Recall}$$ K折交叉验证： ①分k份；②k-1份训练，1份测试；③k次交叉验证；④k个精度的平均值 ## 2、正则化 过拟合(overfitting)： ①增加训练数据量；②使用简单模型；③正则化 目标函数正则化： $$C(θ) = \frac{1}{2}\sum_{i=1}^n(y^{(i)} - f_θ(x^{(i)}))^2$$ $$R(\theta)=\frac{\lambda}{2}\sum_{j=1}^m\theta_j^2$$ $$E(\theta)=\frac{1}{2}\sum_{i=1}^n(y^{(i)} - f_θ(x^{(i)}))^2+\frac{\lambda}{2}\sum_{j=1}^m\theta_j^2$$

不难发现引入正则化项后\theta1的值向0趋近，这样有助于防止参数变得过大，是参数接近一个较小的值，意味着该参数的影响也会相对应的减小

似然函数正则化：

（加负号可以把最大值问题变成最小值问题）

$$logL(θ)=-log\prod_{i=1}^{n}P(y^{(i)}=1|x^{(i)})^{y^{(i)}}P(y^{(i)}=0|x^{(i)})^{1-y^{(i)}} +\frac{\lambda}{2}\sum_{j=1}^m\theta_j^2$$

3、学习曲线

欠拟合(underfitting)高偏差：

过拟合(overfitting)高方差：