单机Hadoop配置

时间:2024-10-29 22:10:57

安装Hadoop前提时jdk已安装,因为需要配置jdk路径

vim  

大约25行

 #全局配置
vim
#1.设置NameNode对外提供HDFS服务的端口为9000。namenode在此路径上运行,这里9000表示datanode将发送心跳到namenode的端口
#2.设置Hadoop本地保存数据路径。配置 路径到持久化目录,如果选择默认,一旦因为断电等外在因素影响,/tmp/{$user}下的所有东西都会丢失
#3.整合hive 用户代理设置,在hdfs上给权限,为*用户权限

  1. <configuration>
  2. <property>
  3. <name></name>
  4. <value>hdfs://192.168.:9000</value>
  5. </property>
  6. <property>
  7. <name></name>
  8. <value>/opt/soft/hadoop260/tmp</value>
  9. </property>
  10. <property>
  11. <name></name>
  12. <value>*</value>
  13. </property>
  14. <property>
  15. <name></name>
  16. <value>*</value>
  17. </property>
  18. </configuration>

#副本数
vim
#19行

  1. <configuration>
  2. <property>
  3. <name></name>
  4. <value>1</value>
  5. </property>
  6. </configuration>

cp
#设置mapReduce的相关
vim
#19行
#1.指定我们mapreduce运行在yarn集群上面

  1. <configuration>
  2. <property>
  3. <name></name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

vim
#15d
#1.指定我们的resourceManager运行在哪台机器上面
#的通信方式

  1. <configuration>
  2. <property>
  3. <name></name>
  4. <value>localhost</value>
  5. </property>
  6. <property>
  7. <name>-services</name>
  8. <value>mapreduce_shuffle</value>
  9. </property>
  10. </configuration>