数据挖掘概念:
数据挖掘是在大型数据库中、自动的发现有用信息的过程。
然、
这个有用只是一个感性的东西。比如我们从表中索引一行数据、这个算不上数据挖掘。因为它依赖的是数据的明显特征。
数据挖掘基本步骤:
第一步:
预处理、把没有加工的数据转换为合适的数据格式。
1、融合来自多个数据源的数据。
2、清洗数据以消除噪声和重复的观测值。
3、选择与当前任务相关的记录与特征。
由于数据收集与存储的方式多种多样、数据预处理可能是最费时的一步。
第二步:
数据挖掘、
1、要解决可伸缩性(要求算法不只是适用于小数据量、也要适应海量的数据量)
2、高维性(要求算法适应高特征性-----如有几千个属性)
3、杂种数据与复杂数据(要求算法适应复杂的数据对象)
4、数据所有权与分布
5、非传统分析(不是通过假话演绎的方式)
第三步:
后处理、
-------------------------------------------------------------------------------------------------------------------------------------------------------
数据挖掘利用了数学中的:
统计、抽样、估计、假验证。
数据挖掘利用了人工智能中的:
模式识别、机器学习的搜索算法。