你需要Spark的10个理由

【文件属性】：
文件名称：你需要Spark的10个理由
文件大小：27KB
文件格式：DOC
更新时间：2017-10-11 18:41:04
spark市场 spark工资 spark现状 大数据技术 spark未来 你需要Spark的十大理由： 1，Spark是可以革命Hadoop的目前唯一替代者，能够做Hadoop做的一切事情，同时速度比Hadoop快了100倍以上： Logistic regression in Hadoop and Spark 可以看出在Spark特别擅长的领域其速度比Hadoop快120倍以上！ 2，原先支持Hadoop的四大商业机构纷纷宣布支持Spark，包含知名Hadoop解决方案供应商Cloudera和知名的Hadoop供应商MapR； 3，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache*Project，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 4，国外一些大型互联网公司已经部署了Spark。甚至连Hadoop的早期主要贡献者Yahoo现在也在多个项目中部署使用Spark；国内的淘宝、优酷土豆、网易、Baidu、腾讯等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。 5，不得不提的是Spark的“One stack to rule them all”的特性，Spark的特点之一就是用一个技术堆栈解决云计算大数据中流处理、图技术、机器学习、交互式查询、误差查询等所有的问题，此时我们只需要一个技术团队通过Spark就可以搞定一切问题，而如果基于Hadoop就需要分别构建实时流处理团队、数据统计分析团队、数据挖掘团队等，而且这些团队之间无论是代码还是经验都不可相互借鉴，会形成巨大的成本，而使用Spark就不存在这个问题； 6，Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark； 7，如果你已经使用了Hadoop，就更加需要Spark。Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark，同时，这几年来，Hadoop的改进基本停留在代码层次，也就是修修补补的事情，这就导致了Hadoop现在具有深度的“技术债务”，负载累累； 8，伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬； 9，百亿美元市场，教授为之辞职，学生为止辍学，大势所趋！ 10，Life is short.