文件名称：配置要求-SPARK 大数据处理引擎
文件大小：1.79MB
文件格式：PPT
更新时间：2024-05-16 04:02:32
spark
四、配置要求 项目 要求 磁盘 [官方推荐] 4-8块普通磁盘，不需要RAID。 内存 [官方推荐] > 8GB即可。 Spark建议需要提供至少75%的内存空间分配给Spark，至于其余的内存空间，则分配给操作系统与buffer cache。 网络 建议使用10G及以上的网络带宽 CPU Spark可以支持一台机器扩展至数十个CPU core，它实现的是线程之间最小共享。 若内存足够大，则制约运算性能的就是网络带宽与CPU数。 参考： http://www.infoq.com/cn/news/2014/08/spark-hardware-configure 千万不要让集群节点的磁盘容量差异太大，否则在大数据写入并且集群使用率较大时，容易出现写失败等问题。