大数据产生的背景是整个社会走向数字化,特别是社交网络和各种传感设备的发展。云计算和搜索引擎的发展,使得对大数据的高效分析成为可能,核心问题是如何在种类繁多、数量庞大的数据中快速获取有价值信息。通过数据分析来实现企业战略运营已经成为常态,那么数据分析过程中都有哪些常见错误问题?
数据分析过程中常见的错误问题:
1、分析目标不明确
“海量的数据其实并不能产生海量的财富”,许多数据分析人员由于没有制定清晰的分析目标,常常在海量数据中混乱,要么是收集了错误的数据,要么收集的数据不够完整,这会导致数据分析的结果不够准确。
但如果一开始就锁定了目标,你究竟要分析什么?再以结果为导向去思考,你就会知道需要用什么样的数据去支撑你的分析?从而确定数据的来源、收集方式以及分析指标。
2、收集数据时产生误差
当我们捕获数据的软件或硬件出错时,就会出现一定的误差。例如,使用日志与服务器不同步,则可能丢失移动应用程序上的用户行为信息。同样,如果我们使用像麦克风这样的硬件传感器,我们的录音可能会捕捉到背景噪音或其他电信号的干扰。
3、样本缺乏代表性
在进行数据分析时,一定要有可信的数据样本,这是确保数据分析结果靠不靠谱的关键,如果数据样本不具代表性,终分析的结果也就没有价值。因此,对于数据样本,也要求完整和全面,用单一的、不具代表性的数据来代替全部数据进行分析,这种片面的数据得到的分析结果有可能完全是错误的。
例如,Twitter的用户可能受到更高教育且收入更高,其年龄也会偏大一些。如果用这种有偏的样本来预测目标观众是年轻人的电影票房,其分析结论可能就不会合理了。所以确保你得到的样本数据代表了研究总体。否则,你的分析结论就缺乏坚实的基础。
4、相关关系和因果关系混乱
大部分的数据分析人员在处理大数据时假设相关关系直接影响因果关系。使用大数据来理解两个变量之间的相关性通常是一个很好的实践方法,但是,总是使用“因果”类比可能导致虚假的预测和无效的决定。要想实现数据分析的好效果,必须理解相关关系和因果关系两者的根本区别。相关关系往往是指同时观察X和Y的变化,而因果关系意味着X导致Y。在数据分析中,这是两个完全不同的事情,但是许多数据分析人员往往忽视了它们的区别。
“数据科学中相关关系不是因果关系”。如果两个关系出现彼此相关的情况,也不意味着是一个导致了另一个的产生。
5、脱离业务实际
一个专业的数据分析人员,必须非常熟悉所分析项目的行业情况、业务流程以及相关知识,因为数据分析的终结果是解决项目中存在的问题,或者给行业的决策者提供参考意见。如果不能很好地将业务知识和数据分析工作结合起来,脱离业务实际而只关心数据,在这种情况下得到的分析结果将不具有参考价值。
6、热衷高级分析
有的数据分析人员会过分追求所谓尖端的、高级的、时髦的分析技术,面对一个分析项目时,先想到的是选择一个尖端的技术去解决,而不是从课题本身的真实需求出发去思考合理、有性价比的分析技术。如果能用简单的方法得到相同的结果,就没有必要引用复杂的数据分析模型。
不同的技术往往需要不同的资源投入,而产出可能也是不同精度和不同表现形式。这其中孰优孰劣,根据什么做判断呢?我们要根据需求本身的精度、资源限制等来做出选择。