Break point and VC bound

时间:2024-04-26 10:05:30

Restriction of Break Point e.g: k=2 说明在所有的dichotomy中,任意两个点不能被shatter(shatter就是能够出现所有种排列组合),即不能出现这两个点的2^k=4种组合。

Bounding function B(N, k):

maximum possible Break point and VC boundwhen break point is k.

Break point and VC bound

解释这张图:

如果k=1,则不管N等于多少,B都等于1,即H set要满足只有一个点都不能被shatter,即dichotomy set的大小不超过1。所以有+1就不能有-1,所以dichotomy set最多只能有1个dichotomy。所以B=1,第一列都为1. 如果N<k,即右上三角的部分,此时:任意k个点不能被shatter,即dichotomy set里面,对于那k个点不能出现2^k个组合。这个条件有和没有一样。所以右上三角的B值就为2^N。 如果N=k,当它们都等于2时,因为N=2不可以被shatter,即dichotomy set的大小要小于2^k=4,所以B(2,2)=3,其他对角线上的值同理,为(2^k)-1。

Break point and VC bound

因此可以看出B是m_H的上限。

现在考虑下三角。 当N=4,k=3。现在有2^4=16种不同的dichotomy,从中选择不同的dichotomy set,有2^16种set,看看有没有违反3个点被shatter的set。通过遍历得到set的解为

Break point and VC boundBreak point and VC bound

所以B(4,3)=11 通过整理可得右上图。前4组,头3个点相同,x4不同。 B(4,3)=11=2alpha + beta。现在把x4去掉,只看x1-x3

Break point and VC boundBreak point and VC bound

这里有alpha+beta个dichotomy on x1-x3。 因为k=3,所以在N=4中任意3个x不能被shatter,包括x1-x3,所以alpha+beta<=B(3,3)。

如果只看alpha部分,在x1-x3内找出两个点,如果这两个点shatter了,加上x4,就变成了3个点shatter,这不满足条件,因此任意的在x1-x3内的两个点也不能shatter,所以alpha<=B(3,2) 所以有

Break point and VC bound

所以:

Break point and VC bound

所以B(N,k)有上限。

Break point and VC bound

又因为B(N,k)是用来bound m_H(N)的,然后B(N,k)的上限是一个关于N的多项式,因此如果存在k的话,m_H(N)是有一个多项式的上限。

接下来用m_H(N)去取代Hoeffding里的M:

Break point and VC bound