数据挖掘的基本步骤有哪些?具体流程是怎样的?

时间:2022-07-20 00:54:58

数据挖掘的步骤包括商业理解、数据准备、数据理解、模型建立、模型评估和模型应用。

 

首先是商业理解,也就是对数据挖掘问题本身的定义。所谓做正确的事比正确的做事更重要,在着手做数据模型之前一定要花时间去理解需求,弄清楚真正要解决的问题是什么,根据需求制定工作方案。这个过程需要比较多的沟通和市场调研,了解问题提出的商业逻辑。在沟通交流过程中,为了便于对沟通效果进行把控,可以采取思维导图等工具对的结果进行记录、整理。

 

明确需求后,接下来就是要收集并整理数据建模所需要的数据。这个过程是资源调配的过程,需要与企业的相关部门明确可以使用的数据维度有哪些,哪些维度与建模任务相关性比价高。这个过程通常需要一定的专业背景知识。

 

数据理解指的是对用于挖掘数据的预处理和统计分析过程,有时也称为 ETL过程。主要包括数据的抽取、清洗、转换和加载,是整个数据挖掘过程最耗时的过程,也是最为关键的一环。数据处理方法是否得当,对数据中所体现出来的业务特点理解是否到位,将直接影响到后面模型的选择及模型的效果,甚至决定整个数据挖掘工作能否完成预定目标。该过程需要有一定的统计学理论和实际经验,并具备一定的项目经验。

 

模型建立是是整个数据挖掘流程中最为关键的一步,需要在数据理解的基础上选择并实现相关的挖掘算法,并对算法进行反复调试、实验。通常模型建立和数据理解是相互影响,经常需要经过反复的尝试、磨合,多次迭代后方可训练处真正有效的模型。 gendan5.com/zs/djia.html

 

模型评估是在数据挖掘工作基本结束的时候,对最终模型效果进行评测的过程。在挖掘算法初期需要制定好最终模型的评测方法、相关指标等,在这个过程中对这些评测指标进行量化,判断最终模型是否可以达到预期目标。通常模型的评估人员和模型的构建人员不是同一批人,以保证模型评估的客观、公正性。

 

最终,当挖掘得到的模型通过评测后可以安排上线、正式进入商业化流程中。为了避免由于建模数据与线上真实情况不一致而导致模型失效的状况出现,通常在应用过程中采取 A/B测试的步骤,对模型在实际线上环境中的运行状况进行观察跟踪,确保模型在线上环境中符合预期。