1.vs风险函数
损失函数度量模型⼀次预测的好坏，风险函数度量平均意义下模型预测的好坏。 2.风险函数定义
风险函数（risk function）=期望风险（expected Risk）=期望损失（expected loss），可以认为是平均意义下的损失。
例如：下⾯的对数损失函数中，损失函数的期望，就是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失。
风险函数有两种，不考虑正则项的是经验风险（Empirical Risk），考虑过拟合问题，加上正则项的是结构风险（Structural Risk）。 文字处理系统监督学习的两种基本策略：经验风险最⼩化（ERM）和结构风险最⼩化（SRM）。
这样，监督学习问题就变成了经验风险或结构风险函数的最优化问题（1.11）和（1.13）。经验或结构风险函数是最优化的⽬标函数。
（1）三个风险的关系
期望风险是理想，是⽩⽉光，是可望不可求的，只能⽤经验风险去近似，⽽结构风险是经验风险的升级版。
为什么可以⽤经验风险估计期望风险呢？匕首
根据⼤数定律，当样本容量N趋于⽆穷时，经验风险R emp(f)趋于期望风险R exp(f)。所以⼀个很⾃然的想法是⽤经验风险估计期望风险。
但是，由于现实中的训练样本数⽬有限，甚⾄很⼩，所以⽤经验风险估计期望风险常常并不理想，要对经验风险进⾏⼀定的矫正。这就关系到监督学习的两个基本策略：经验风险最⼩化和结构风险最⼩化。
（2）期望风险（expected Risk）【全局，理想】
期望风险对所有样本预测错误程度的均值，基于所有样本点损失函数最⼩化。期望风险是全局最优，是理想化的不可求的。干湿巾
期望风险=期望损失=风险函数，也就是损失L(Y,f(X))的数学期望，在理论上，可以代⼊期望公式EX=∑xi·Pi=∫x·f(x)dx，也就是
E(L(Y,f(X))=∫L(y,f(x))·f(x,y) dxdy。
但是由于联合概率密度函数f(x,y)不知道，所以此路不通，只能另寻他路，也就是根据经验近似。【这个⽭盾，可以在上体现】
（3）经验风险（Empirical Risk）【局部，现实】
经验风险，基于训练集所有样本点损失函数的平均最⼩化。经验风险是局部最优，是现实的可求的。
经验风险=经验损失=代价函数
给定⼀个数据集，模型f(x)关于训练集的平均损失被称为经验风险(empirical risk)或经验损失(empirical loss)。林妙可被毒虫咬伤
这个公式的⽤意很明显，就是模型关于训练集的平均损失（每个样本的损失加起来，然后平均⼀下）。在实际中⽤的时候，我们也就很⾃然的这么⽤了。
（4）结构风险（Structural Risk）
透明导电膜
结构风险，就是在经验风险上加上⼀个正则化项（regularizer）或者叫做罚项（penalty term），即
3.经验风险最⼩化和结构风险最⼩化
（1）经验风险最⼩化&结构风险最⼩化
经验风险最⼩化（empirical risk minimization，ERM），就是认为经验风险最⼩的模型是最优的模型，⽤公式表⽰：
这个理论很符合⼈的直观理解。因为在训练集上⾯的经验风险最⼩，也就是平均损失越⼩，意味着模型得到结果和“真实值”尽可能接近，表明模型越好。
当样本容量不⼤的时候，经验风险最⼩化模型容易产⽣“过拟合”的问题。为了“减缓”过拟合问题，就提出了结构风险最⼩的理论。
结构风险最⼩化（structural risk minimization，SRM），就是认为，结构风险最⼩的模型是最优模型，公式表⽰：
（2）经验风险最⼩化的例⼦：极⼤似然估计（maximum likelihood estimation）。模型，条件概率分布；
损失函数，对数损失函数；
经验风险最⼩化等价于极⼤似然估计。
43cao（2）结构风险最⼩化的例⼦：贝叶斯最⼤后验概率估计。
模型，条件概率分布；
损失函数，对数损失函数；
模型复杂度，由先验概率表⽰；
结构风险=经验风险+正则项=后验概率+先验概率；
先验概率不变，结构风险最⼩化，等价于最⼤后验概率估计。
4.风险函数与对数损失函数
参考：
李航《统计学习⽅法》
（structural risk minimization，SRM）
