精品学习网论文频道一路陪伴考生编写大小论文，其中有开心也有失落。在此，小编又为朋友编辑了“统计学习理论及其研究进展”，希望朋友们可以用得着!

1 前言

统计学习理论(statistical learning theory，简称slt[1])是一种专门研究小样本情况下机器学习规律的理论，它为人们系统研究有限样本情况下的学习机器问题提供了有力的理论基础。统计学习理论系统地研究了经验风险和实际风险之间的关系，也即推广性的界。

2 基本概念

机器学习的问题就是从给定的函数集中选择出能够最好地逼近训练器响应的函数。机器学习问题可形式化地表示为：根据个独立同分布的观测样本，在一组函数中求出一个最优函数对训练器的响应进行估计，使期望风险最小，即其中，是未知的概率分布函数，为损失函数。

对于未知的概率分布，若要最小化风险函数,只有样本的信息可以利用，这导致了定义的期望风险是无法直接计算和最小化的问题。根据概率论中大数定理的思想,人们用算术平均代替数学期望,于是定义了经验风险泛函：来逼近期望风险。用使经验风险最小的函数来代替使期望风险最小的函数，就是所谓的经验风险最小化(empirical risk minimization，简称erm)[1]原则。

3 研究进展

vapnik,cucker和smale[1]等人已经证明了，当样本数趋于无限时基于独立同分布序列学习机器的经验风险一致收敛到它的期望风险。对于基于独立同分布序列的学习机器的一致收敛速率的界的研究取得了很多的成果。

定理1：对于具有有限vc维的指示函数集，下列两个不等式成立：

3.1 估计一致双边收敛速率的不等式

相关推荐：