| 序号 |
参数名 |
参数值 |
参数说明 |
| 1 |
|
|
作业跟踪管理器的静态历史文件的存放目录。 |
| 2 |
|
|
可以指定具体某个作业的跟踪管理器的历史文件存放目录 |
| 3 |
|
|
已完成作业的历史文件的存放目录 |
| 4 |
|
10 |
排完序的文件的合并时的打开文件句柄数 |
| 5 |
|
100 |
排序文件的内存缓存大小为100M |
| 6 |
|
0.05 |
排序线程阻塞的内存缓存剩余比率 |
| 7 |
|
0.80 |
当缓冲占用量为该值时，线程需要将内容先备份到磁盘中。 |
| 8 |
|
0 |
索引条目的间隔设定 |
| 9 |
|
local |
作业跟踪管理器是否和MR任务在一个进程中 |
| 10 |
|
0.0.0.0:50030 |
作业跟踪管理器的HTTP服务器访问端口和地址 |
| 11 |
|
10 |
作业跟踪管理器的管理线程数,线程数比例是任务管理跟踪器数量的0.04 |
| 12 |
|
127.0.0.1:0 |
任务管理跟踪器的主机地址和端口地址
|
| 13 |
|
${}/mapred/local |
MR的中介数据文件存放目录 |
| 14 |
|
${}/mapred/system |
MR的控制文件存放目录 |
| 15 |
|
${}/mapred/staging |
每个正在运行作业文件的存放区 |
| 16 |
|
${}/mapred/temp |
MR临时共享文件存放区 |
| 17 |
|
0 |
MR本地中介文件删除时，不充许有任务执行的数量值。 |
| 18 |
|
0 |
MR本地中介文件删除时，除非所有任务都已完成的数量值。 |
| 19 |
|
600000 |
任务管理跟踪器不发送心跳的累计时间间隔超过600秒，则任务管理跟踪器失效 |
| 20 |
|
|
指定的一个用户访问资源信息的类实例 |
| 21 |
-interval |
5000 |
监控任务管理跟踪器任务内存使用率的时间间隔 |
| 22 |
-before-sigkill |
5000 |
发出进程终止后，间隔5秒后发出进程消亡信号
|
| 23 |
|
2 |
每个作业缺省的map任务数为2 |
| 24 |
|
1 |
每个作业缺省的reduce任务数为1 |
| 25 |
|
false |
让在任务结束后发出一个额外的心跳信号 |
| 26 |
|
1000000 |
当额外心跳信号发出量太多时，则适当阻止
|
| 27 |
|
false |
充许任务管理器恢复时采用的方式 |
| 28 |
|
3145728 |
作业历史文件块的大小为3M |
| 29 |
|
10000000 |
分隔元信息文件的最大值是10M以下
|
| 30 |
|
|
设定任务的执行计划实现类 |
| 31 |
|
|
作业同时运行的任务数的最大值 |
| 32 |
|
4 |
Map任务的重试次数 |
| 33 |
|
4 |
Reduce任务的重试次数 |
| 34 |
|
5 |
在复制阶段时reduce并行传送的值。 |
| 35 |
|
10 |
取map输出的最大重试次数 |
| 36 |
|
180000 |
REDUCE任务连接任务管理器获得map输出时的总耗时是3分钟
|
| 37 |
|
180000 |
REDUCE任务等待map输出数据的总耗时是3分钟 |
| 38 |
|
600000 |
如果任务无读无写时的时间耗时为10分钟，将被终止 |
| 39 |
|
2 |
任管管理器可同时运行map任务数为2 |
| 40 |
|
2 |
任管管理器可同时运行reduce任务数为2 |
| 41 |
|
100 |
当用户的完成作业数达100个后，将其放入作业历史文件中 |
| 42 |
|
-1 |
Reduce输入量的限制。 |
| 43 |
|
1000 |
作业状态为已不在执行的保留在内存中的量为1000 |
| 44 |
|
5 |
作业历史文件装载到内存的数量 |
| 45 |
|
-Xmx200m |
启动task管理的子进程时的内存设置 |
| 46 |
|
|
子进程的参数设置 |
| 47 |
|
|
虚拟机所需内存的设定。 |
| 48 |
|
-1 |
|
| 49 |
|
-1 |
|
| 50 |
|
-1 |
|
| 51 |
|
-1 |
|
| 52 |
|
-1 |
|
| 53 |
|
-1 |
|
| 54 |
|
/tmp |
Mr任务信息的存放目录 |
| 55 |
|
1000 |
内存中的合并文件数设置 |
| 56 |
|
0.66 |
|
| 57 |
|
0.70 |
|
| 58 |
|
0.0 |
|
| 59 |
|
true |
Map任务的多实例并行运行标识 |
| 60 |
|
true |
Reduce任务的多实例并行运行标识 |
| 61 |
|
1 |
每虚拟机运行的任务数 |
| 62 |
|
0 |
Map的输入数据被分解的块数设置 |
| 63 |
|
-1 |
一个单独作业的任务数设置 |
| 64 |
|
10 |
提交作业文件的复制级别 |
| 65 |
|
default |
任务管理跟踪器是否报告IP地址名的开关 |
| 66 |
|
default |
作业和任务管理跟踪器之间通讯方式采用的DNS服务的主机名或IP地址 |
| 67 |
|
40 |
http服务器的工作线程数量 |
| 68 |
|
0.0.0.0:50060 |
任务管理跟踪器的http服务器的地址和端口 |
| 69 |
|
false |
失败任务是否保存到文件中
|
| 70 |
|
false |
作业的输出是否压缩 |
| 71 |
|
RECORD |
作业输出采用NONE, RECORD or BLOCK三种方式中一种压缩的写入到流式文件 |
| 72 |
|
|
压缩类的设置 |
| 73 |
|
false |
Map的输出是否压缩 |
| 74 |
|
|
Map的输出压缩的实现类指定 |
| 75 |
|
|
排序键的排序类指定 |
| 76 |
|
0 |
每个任务的用户日志文件大小 |
| 77 |
|
24 |
作业完成后的用户日志留存时间为24小时 |
| 78 |
|
5242880 |
Jobconf的大小为5M |
| 79 |
|
|
可与作业管理跟踪器连接的主机名 |
| 80 |
|
|
不可与作业管理跟踪器连接的主机名 |
| 81 |
|
100 |
作业管理跟踪器的每秒中到达的心跳数量为100 |
| 82 |
|
4 |
任务管理跟踪器的黑名单列表的数量 |
| 83 |
-timeout-window |
180 |
任务管理跟踪器超时180分钟则訪任务将被重启 |
| 84 |
-bucket-width |
15 |
|
| 85 |
|
4 |
任务管理跟踪器的失败任务数设定 |
| 86 |
|
FAILED |
控制任务的用户日志输出到作业端时的过滤方式 |
| 87 |
|
false |
是否持久化作业管理跟踪器的信息 |
| 88 |
|
0 |
持久化作业管理跟踪器的信息的保存时间 |
| 89 |
|
/jobtracker/jobsInfo |
作业管理跟踪器的信息存放目录 |
| 90 |
|
true |
恢复时是否变更领牌 |
| 91 |
|
false |
任务分析信息是否建设标志 |
| 92 |
|
0-2 |
设置map任务的分析范围 |
| 93 |
|
0-2 |
设置reduce任务的分析范围 |
| 94 |
|
1 |
每次切分的行数设置 |
| 95 |
|
2 |
在跳转模式未被设定的情况下任务的重试次数 |
| 96 |
|
true |
MapRunner在调用map功能后的增量处理方式设置 |
| 97 |
|
true |
在调用reduce功能后的增量处理方式设置 |
| 98 |
|
|
跳过记录的输出目录 |
| 99 |
|
0 |
|
| 100 |
|
0 |
|
| 101 |
|
0 |
Hadoop偿试连接通知器的次数 |
| 102 |
|
30000 |
通知偿试回应的间隔操作为30秒 |
| 103 |
|
|
指定与作业跟踪管理器的通讯方式，缺省是采用rpc方式 |
| 104 |
|
2 |
任务缓存级别设置 |
| 105 |
|
default |
分隔作业队例的分隔符设定 |
| 106 |
|
false |
指定ACL访问控制列表 |
| 107 |
|
RUNNING |
定义队列的状态 |
| 108 |
|
default |
已提交作业的队列设定 |
| 109 |
-modify-job |
|
指定可修改作业的ACL列表 |
| 110 |
-view-job |
|
指定可浏临作业的ACL列表 |
| 111 |
|
10 |
任务管理跟踪器的索引内存的最大容器 |
| 112 |
|
10000 |
在聚合处理时的记录块数
|
| 113 |
|
10000 |
在汇总处理时的记录块数 |
| 114 |
|
0.05 |
|
| 115 |
-controller |
|
任务管理器的设定 |
| 116 |
|
|
任务管理器的组成员设定 |
| 117 |
|
|
脚本的绝对路径指定，这些脚本是心跳服务的 |
| 118 |
|
60000 |
节点心跳信息的间隔 |
| 119 |
|
600000 |
|
| 120 |
|
|
参数列表
|
| 121 |
|
120 |
作业计数器的最小值 |
|
|
|
|
|
|
|
|
|
|