hadoop 实验一 安装配置 hadoop

 

实验内容与完成情况： 安装SSH 运行命令 sudo apt-get install ssh openssh-server 生成SSH-KEY 运行命令 ssh-****** -t rsa -P "" 拷贝SSH认证秘钥 复制SSH公钥到/home/user/.ssh目录下，并重命名为authorized_keys(把这个认证文件拷贝到其他的salve机上) 运行命令 cat ~/.ssh/id_rsa.pub >>./.ssh/authorized_key 测试SSH免密操作 运行命令 ssh localhost 登录 exit 退出 查看IP 输入命令ifconfig 连接虚拟机上传JDK和hadoop文件包 打开winscp输入IP地址和username、password 解压缩 配置JDK环境变量 修改全局配置文件，作用于所有用户运行 打开profile文件，输入环境变量 运行命令sudo gedit /etc/profile 在文件末追加以下内容并保存 export JAVA_HOME=/home/salve/soft/jdk1.8.0_92 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=.:${JAVA_HOME}/bin:$PATH 运行命令sudo source /etc/profile 保存更改 运行命令java –version查看是否配置成功 配置hadoop环境变量 修改全局配置文件，作用于所有用户运行 打开profile文件，输入环境变量 运行命令sudo gedit /etc/profile 在文件末追加以下内容并保存 export HADOOP_HOME=/home/salve/soft/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HAME/sbin 运行命令sudo source /etc/profile 保存更改 运行命令hadoop version查看是否配置成功 配置hdfs-site.xml 创建namenode目录和datanode目录 打开文件~/soft/Hadoop-2.7.2/etc/hdfs-site.xml输入配置项 配置core-site.xml 打开文件~/soft/Hadoop-2.7.2/etc/core-site.xml输入配置项 配置mapred-site.xml.template 打开文件~/soft/Hadoop-2.7.2/etc/mapred-site.xml.template输入配置项 配置hadoop-env.sh文件内的JAVA_HOME 打开文件~/soft/Hadoop-2.7.2/etc/Hadoop-env.s输入配置项 NameNode 的格式化 运行命令cd ~/soft/Hadoop-2.7.2进入hadoop目录 运行命令 ./bin/hdfs namenode –format 启动namenode、datanode 运行命令./sbin/start-dfs.sh 运行命令jps查看namenode、datanode是否启动 在宿主机中查看dashboard 在浏览器中查看192.168.149.130:50070 执行例子WordCount Demo 先去网上找一篇英语作文，保存在~/soft/words文件中 运行命令bin/hdfs dfs -mkdir /test，在hdfs的根目录下建立一个test目录 运行命令bin/hdfs dfs -put ~/soft /words /test/把本地文件上传到test目录中 运行命令bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test/words /test/out执行wordcount例子 运行命令bin/hadoop fs -cat /test/out/part-r-00000查看结果

出现的问题： 安装ssh时提示：Unable to locate package openssh 启动namenode、datanode进程的时候报[Fatal Error] hdfs-site.xml:20:1: Content is not allowed in prolog. 启动namenode，datanode时只有namenode正常启动了，datanode启动失败

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）： 执行命令 apt-get update解决 把三个XML配置文件格式化一下解决 因为hdfs-site.xml文件中namenode配置路径多写一个f，删除后重新运行命令./bin/hdfs namenode –format、./sbin/start-dfs.sh解决