Hadoop学习笔记

时间:2021-08-16 02:53:01

今天开始要学习Hadoop!开始向“大数据”领域靠拢!

从头开始对于连何为Hadoop都不清楚的人,有好多东西要学,加油!

1.下载hadoop,官网地址:http://hadoop.apache.org/releases.html

2.将hadoop放在路径 \usr\local\src中。并在\usr\local\ 中创建一个目录:hadoop

3.解压文件到\usr\local\hadoop\目录中,解压后即可使用

tar -zxvf hadoop-3.0.-alpha1.tar.gz -C /usr/local/hadoop/

4.检查hadoop是否安装成功:

cd /usr/local/hadoop/hadoop-3.0.-alpha1
./bin/hadoop version

显示结果如下:

Hadoop学习笔记

5.Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。

Hadoop 附带了丰富的例子。

运行

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.-alpha1.jar

可以看到所有例子

Hadoop学习笔记

6.我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

mkdir ./input

cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'