Data Mining 概念

时间:2022-08-15 23:48:45

数据挖掘概念:

数据挖掘是在大型数据库中、自动的发现有用信息的过程。

然、

这个有用只是一个感性的东西。比如我们从表中索引一行数据、这个算不上数据挖掘。因为它依赖的是数据的明显特征。

数据挖掘基本步骤:

Data Mining   概念

第一步:

预处理、把没有加工的数据转换为合适的数据格式。

1、融合来自多个数据源的数据。

2、清洗数据以消除噪声和重复的观测值。

3、选择与当前任务相关的记录与特征。

由于数据收集与存储的方式多种多样、数据预处理可能是最费时的一步。

第二步:

数据挖掘、

1、要解决可伸缩性(要求算法不只是适用于小数据量、也要适应海量的数据量)

2、高维性(要求算法适应高特征性-----如有几千个属性)

3、杂种数据与复杂数据(要求算法适应复杂的数据对象)

4、数据所有权与分布

5、非传统分析(不是通过假话演绎的方式)

第三步:

后处理、

-------------------------------------------------------------------------------------------------------------------------------------------------------

数据挖掘利用了数学中的:

统计、抽样、估计、假验证。

数据挖掘利用了人工智能中的:

模式识别、机器学习的搜索算法。