hadoop:公共hadoop发布存储库

【文件属性】：
文件名称：hadoop:公共hadoop发布存储库
文件大小：24.93MB
文件格式：ZIP
更新时间：2021-05-22 08:20:14
Java 这个仓库是什么？ 该存储库基于Apache Hadoop 2.7.1源代码。 它用于制作Naver的大规模多租户hadoop集群，称为C3。 C3用户可以在CPU上使用MapReduce，Spark和Hive执行多个数据处理作业，并在GPU上执行深度学习算法。 而且他们还可以在Docker容器上运行长寿命的应用程序。 最近，hadoop的新功能已添加到Hadoop 2.8或Hadoop 3.0中。 但是，如果您在生产环境中使用hadoop集群已有多年，则您的hadoop版本可能不是hadoop 2.8或3.0，因为尚不建议将这些版本用于生产集群。 因此，您不能使用非常有用的新功能：GPU调度程序，泊坞窗容器，几种资源隔离（例如，网络出站，磁盘）。 我们正在为此存储库应用并开发新功能。 您可以在提交日志中查看历史记录。 特征 用于调度的GPU资源类型： LinuxContainer