VC维:
传统的定义是:对一个指示函数集,如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开,则称函数集能够把H个样本打散;函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大,有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。
现在的理论,只有一些特殊函数的vc维的求解方法,比如直线,长方形,圆形等函数对于不同点的VC维求解办法。
定义解析:
1:按所有可能的2的H次方种形式分开:例如二维面上,点被分为0或者1的值,所有点都有自己的可能性,和其他点无关。
2:2的H次方种形式:说明VC(X)的值只能是H这种值,不能有3,5(这种值),例如:一个二维面上的四个点,可以被直线分成14种情况,根据
2的H次方 <=14,可以得到我们的H为3,不为4.
3:函数集能够把H个样本打散:因为N个点的状态是互不干涉的,所以点i和点j的值可以随意组合,并且函数需要将这两个点的可能性包括。
例如:矩形函数对于平面的5个点,红点在其他四个点为相同状态下(在这里假设为0状态),红点就必须为0状态,无法被打散。
后续有更深的理解,再来补充