python实现求特征选择的信息增益
这篇文章主要为大家详细介绍了python实现求特征选择的信息增益，可以同时适用于二值离散型和连续型的属性，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
信息增益（IG，Information Gain）的理解和计算
决策树构建中节点的选择靠的就是信息增益了。信息增益是一种有效的特征选择方法，理解起来很简单：增益嘛，肯定是有无这个特征对分类问题的影响的大小，这个特征存在的话，会对分类系统带来多少信息量，缺了他行不行？既然是个增益，就是个差了，减法计算一下，谁减去谁呢？这里就用到了信息熵的概念，放到分类系统里面，信...