挖掘频繁模、关联和相关性(1)

时间:2021-09-12 13:28:19
  1. 关联规则(association rule)
    computerantivirussoftware[support=2%;confidence=60%]
    规则的支持度(support)和置信度(confidence)是规则兴趣的两种度量,他们反映所发现规则的有用性和确定性。

    support(AB)=P(AB) 又称相对支持度
    事务A和事务B的并(即A和B同时发生)与全体事务的比值

    confidence(AB)=P(BA)=support(AB)support(A)=support_count(AB)support_count(A)
    事务A和B的并(即A和B同时发生)与事务A的比值

    总结:一旦得到A、B和 AB 的支持度计数,则导出对应的关联规则 AB BA ,并检查他们是否是强规则即可。因此,挖掘关联规则的问题可以归结为挖掘频繁项集。

  2. 关联规则挖掘步骤

    1. 找出所有的频繁项集(第一步开销远高于第二步,因此性能由第一步决定)
    2. 由频繁项集产生强关联规则

    注意点:项集的个数都太大了,无法计算和存储。为了克服这一困难,引入闭频繁项集和极大频繁项集的概念。

所谓闭项集,就是指一个项集X,它的直接超集的支持度计数都不等于它本身的支持度计数。如果闭项集同时是频繁的,也就是它的支持度大于等于最小支持度阈值,那它就称为闭频繁项集。
例如,有交易数据库
TID item
1 abc
2 abcd
3 bce
4 acde
5 de
因为项集{b,c}出现在TID为1,2,3的事务中,所以{b,c}的支持度计数为3。而{b,c}的直接超集:{a,b,c},{a,b,c,d}的支持度计数分别为2,1,都不等于{b,c}的支持度计数3,所以{b,c}为闭项集,如果支持度阈值为40%,则{b,c}也为闭频繁项集。项集{a,b}出现在TID为1,2的事务中,其支持度计数为2。而它的直接超集{a,b,c}支持度计数也为2,所以{a,b}不是闭项集

极大频繁集:如果X是一个频繁项集,而且X的任意一个超集都是非频繁的,则称X是极大频繁项集,这个应该说是比较明确的,就是这个集合已经不能再扩充了,否则就不是频繁集了