文件名称：数据分析与挖掘实验报告(1).doc
文件大小：785KB
文件格式：DOC
更新时间：2022-12-23 22:51:54
文档资料
《数据挖掘》实验报告 目录 1。关联规则的基本概念和方法 1 1.1数据挖掘 1 1.1。1数据挖掘的概念 1 1.1。2数据挖掘的方法与技术 1 1.2关联规则 3 1。2。1关联规则的概念 3 1.2。2关联规则的实现——Apriori算法 4 2.用Matlab实现关联规则 6 2。1Matlab概述 6 2.2基于Matlab的Apriori算法 7 3.用java实现关联规则 11 3.1java界面描述 11 3.2java关键代码描述 14 4、实验总结 19 4。1实验的不足和改进 19 4.2实验心得 20 1。关联规则的基本概念和方法 1.1数据挖掘 1。1。1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里, 数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以 从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的 ，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人 只是把数据挖掘视为知识发现过程的一个基本步骤.知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据) ·数据集成（多种数据源可以组合在一起) ·数据转换（从数据库中提取和分析任务相关的数据) ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式) ·数据挖掘（基本步骤，使用智能方法提取数据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术,向用户提供挖掘的知识）。 1。1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式 识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集 成等许多应用领域的大量技术。数据挖掘主要包括以下方法。 神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布 存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注 .典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的 ，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield的离散模型和连续模 型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art模型、kohol on模型为代表的，用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性，人们 难以理解网络的学习和决策过程。 遗传算法：遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿 生全局优化方法.遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据 挖掘中被加以应用。sunil已成功地开发了一个基于遗传算法的数据挖掘工具，利用该工 具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖 掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗糙集等技术的结合上。如 利用遗传算法优化神经网络结构，在不增加错误率的前提下,删除多余的连接和隐层单元 ；用遗传算法和bp算法结合训练神经网络，然后从网络提取规则等。但遗传算法的算法 较复杂，收敛于局部极小的较早收敛问题尚未解决。 决策树方法：决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类， 从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适 合大规模的数据处理. 粗糙集方法：粗糙集理论是一种研究不精确、不确定知识的数学工具。粗糙集方法有 几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗糙 集处理的对象是类似二维关系表的信息表.目前成熟的关系数据库管理系统和新发展起来 的数据仓库管理系统，为粗糙集的数据挖掘奠定了坚实的基础。但粗糙集的数学基础是 集合论，难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续 属性的离散化是制约粗糙集理论实用化的难点。 覆盖正例排斥反例方法:它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。 首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容 则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式 )。比较典型的算法有michalski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法。 统计分析方法：在数据库字段项之间存在两种关系：函数关系（能用函数公式表示的 确定性关系）和相关关系(不能用函数公式表示，但仍是相关确定性关系），对它们的分 析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计 （求大量数据中的最大值、最小值、总