今天开始要学习Hadoop!开始向“大数据”领域靠拢!
从头开始对于连何为Hadoop都不清楚的人,有好多东西要学,加油!
1.下载hadoop,官网地址:http://hadoop.apache.org/releases.html
2.将hadoop放在路径 \usr\local\src中。并在\usr\local\ 中创建一个目录:hadoop
3.解压文件到\usr\local\hadoop\目录中,解压后即可使用
tar -zxvf hadoop-3.0.-alpha1.tar.gz -C /usr/local/hadoop/
4.检查hadoop是否安装成功:
cd /usr/local/hadoop/hadoop-3.0.-alpha1
./bin/hadoop version
显示结果如下:
5.Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
Hadoop 附带了丰富的例子。
运行
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.-alpha1.jar
可以看到所有例子
6.我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+
的单词并统计出现的次数,最后输出结果到 output 文件夹中。
mkdir ./input cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'