目录
数据挖掘流程图 ：
前置准备：
1、思想问题
避免对业务的轻视
要做什么样的人,要先去按照那样的人去思考。
做数据挖掘，一定要避免的思想问题
我学了很多的算法，穿着程序员的衣服，背着程序员的电脑，我就是一个优秀的数据挖掘工程师了
数据挖掘人员需要真正理解业务场景与挖掘需求
数据挖掘的本质是一种方法
要去解决问题，一定要源于业务需求,服务业务需求
如果要做一个成功的数据挖掘项目：
- 深入学习业务，明白业务的关键点。
- 在项目的需求阶段与业务方进行充分的沟通，在发现偏差时及时调整。
- 在制定OKR的时候与业务方来共同制定
明白可以为和不可以为
一个业务需求来了：
- 明了业务的要求以及目标
- 明白数据挖掘要解决的点在哪里
- 技术在业务上绝不是万能的
比如你在做一个OTA酒店消歧的项目,酒店业务中的一个痛点:
不同的供应商提供的酒店信息可能存在一些区别，需要消耗大量的人工去做比对决策
实际上会遇到的情况:
- 数据可能是残缺的导致无法使用算法处理
- 不同供应商提供的同一家酒店名称可能是不同语种的，无法使用同样的模型来解决。不同的供应商提供的信息可能是不对等的，无法使用一套解决方案来完全解决所有问题
数据挖掘不是万能的
数据不完美：
每一个公司都只是掌握了部分数据，有些甚至没有多少数据，还需要去外面爬取数据来进行处理
数据的真实性、准确性、完整性具体到每一条数据时或者某一个需求时，是不完美的，甚至是匮乏的。
业务条件不完美：
数据挖掘项目通常都是跨团队的协作项目。
例如上面的酒店业务，需要与业务进行了更深入的讨论，最后确定目标是提升酒店运营人员的效率
项目降低了酒店运营60%的人力成本。
数据挖掘只能在有限的资源与条件下去提供最大化的解决方案
与业务方进行深入的沟通，同时对你所掌握的数据有充分的认识，对业务的难点和重点有明确的区分。
建立需求多方评估机制，让业务专家与技术专家参与进来，评估需求的合理性以及你的数据情况 。
对需求讲行坼解，以最大化在数据限制和业务限制前提下的项目效果 。
2、业务背景和目标
在进行数据挖掘之初就要去明确业务背景和业务目标
需求的产生必然是因为某种分析需求、某个问题或者某个业务目标的需求。
假设你现在是一个自媒体平台，
自媒体作者发布文章，很多用户会来看这些内容，从而产生互动行为
这些会刺激作者继续创作，而作者持续发布好内容又会吸引更多的用户来浏览
需求:要对发布内容的自媒体做一个贡献度评级模型
贡献度该如何去衡量？
对于一个作者，贡献度体现在他的内容上
- CTR(点击率）高的内容贡献度高，还是有独特观点的内容贡献度高?
- 能引发讨论的内容贡献度高，还是技术深度更深的内容贡献度高?
- 发布内容的频率高贡献度高，还是发布的内容够长贡献度高?
你应该展开沟通,并成立专家小组来对目标进行评审：
在沟通的过程中了解到:业务背景是在打造品牌影响力的时候，发现很多用户对我们的内容产生了质疑，业务方希望能够对作者形成一种分级制度。
3、把握数据
作为一个数据挖掘工程师,需要对你要用到的数据了如指掌
收集、存储、转换数据都是十分重要的环节。
1.是否有数据
是否有这样一个数据集来支持你做这样一个模型，来完成这样一个需求，来回答业务的问题
2.有多少数据
数量的不同会影响处理方式
3.是什么样的数据
需要考虑的是这些维度是否可以支持完成业务需求，是否与所提出的问题有关系4.标签
比如监督学习任务，每条数据都需要有结果的标注，这也是模型或者算法要学习的结果
总结
- 思想准备――确保自己已经具备了一个专业的数据挖掘工程师的思维模式
- 理解业务―—确保与业务需求方的充分沟通，对业务需求的充分理解
- 理解数据――确保对可以掌握的数据有全面的了解，知道哪些数据有用，哪些数据没用