VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop
安装VmwareStation
内含注册机。
链接：https://pan.baidu.com/s/1j-vKgDcMYyOYWg9QQs3FKg
提取码：byMB
下载与安装Ubuntu
在vmware下安装镜像的过程中能跳过直接跳过，在命令行界面如果卡住直接断网即可。网络问题在后面会得到解决。
配置共享文件夹
图片太糊了，下载这个文档清晰点。
链接：https://pan.baidu.com/s/1Ak4W03u3xeOFCJ8GBeEtiQ
提取码：byMB
复制到桌面后
tar zxf /home/hadoop/Desktop/VMwareTools-8.8.2-590212.tar.gz #解压
cd /home/hadoop/Desktop/vmware-tools-distrib #打开目标文件夹
sudo ./vmware-install.pl #执行安装程序
虚拟机关机后设置共享文件夹
创建用户，授权
sudo useradd -m hadoop -s /bin/bash
sudo passwd Hadoop
sudo adduser hadoop sudo
更改下载源
sudo apt-get update
配置安装SSH
sudo apt-get install openssh-server
ssh localhost
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
ssh localhost # 密钥登录
安装JDK
sudo apt-get install default-jre default-jdk
vim ~/.bashrc
在文件最前面添加如下单独一行
export JAVA_HOME=/usr/lib/jvm/default-java
source ~/.bashrc
安装hadoop
Hadoop2可以在http://mirror.bit.edu.cn/apache/hadoop/common/下载，下载后放进共享文件夹中
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
测试是否安装成功
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/* # 查看运行结果
配置伪分布式hadoop
gedit ./etc/hadoop/core-site.xml
修改
<configuration>
</configuration>
为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
gedit ./etc/hadoop/hdfs-site.xml
修改
<configuration>
</configuration>
为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
cd /usr/local/hadoop #执行 NameNode 的格式化:
./bin/hdfs namenode -format
cd /usr/local/hadoop #开启 NameNode 和 DataNode 守护进程。
./sbin/start-dfs.sh
测试是否配置伪分布式hadoop成功
终端输入 jps
运行伪分布式实例
cd /usr/local/Hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
./bin/hdfs dfs -cat output/*
