文件名称:hadoop-on-lustre2:Lustre 上的 Hadoop(版本 2)
文件大小:28.79MB
文件格式:ZIP
更新时间:2024-07-31 07:30:30
Java
Lustre 上的无盘 Hadoop 2 (YARN) 此存储库包含允许 Hadoop2 (YARN) 在使用 Lustre 进行所有存储(临时和永久)的“无盘”Hadoop 节点上运行的代码更改。 此版本的 Hadoop 应以与未打补丁的 Hadoop 相同的方式构建。 请参阅以获取有关此补丁工作原理的更详细说明。 PDF 也包含在存储库中。 以下是为了在“无盘”模式下运行此软件而需要更改的最低限度参数列表。 文件名| 配置参数| 建议值 core-site.xml | fs.defaultFS | 文件:/// core-site.xml | hadoop.tmp.dir | Lustre 文件系统上的任何位置 mapred-site.xml | yarn.app.mapreduce.am.staging-dir | {lustre_mount_point}/tmp/yarn