大数据开发：Hadoop配置

一、相关知识回顾

分布式文件存储

• 信息源：

  购买信息元（对海量数据清洗）

  自营提供（限于大公司）

  爬虫、抓包

• 信息格式：文件、文本、sql、json

分布式计算

• 离线批处理

  MapReduce

  spark

• 实时数据流

  storm

  spark

  Sqoop数据迁移：hdfs-->mysql

  flume数据上传，把本地的数据上传至hafs中

二、安装hadoop/jdk

第一步：环境准备

1. 下载hadooop,jdk压缩包

2. 安装到usr目录下

3. 切换到usr目录下(cd)

4. 分别解压压缩包(tar -zxvf 压缩包名)

5. 删除压缩包（rm -rf 压缩包名称）

6. 修改文件名，方便操作（mv 旧名称/ 新名称）

7. cat /etc/profile查看环境变量

8. 配置环境变量 nano /etc/profile

   • 在末尾添加（注意： 每行之间不能有空格）

   export JAVA_HOME=/usr/jdk
   export HADOOP_HOME=/usr/hadoop
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

   • ctrl x 退出并保存，
   • 配置完成后生效：source /etc/profile，若没有提示则生效成功

第二步：hadoop配置

1. 切换到hadoop文件目录 /usr/hadoop/etc/hadoop

   • nano hadoop-env.sh

   找到如图

   • 改成: JAVA_HOME=usr/jdk ctrl x保存退出
   • 生效配置：source hadoop-env.sh

2. 配置 core-site.xml

   在configuration中添加如下：

   命令：nano core-site.xml

   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://192.168.169.1:8020</value>
   </property>
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/tmp</value>
   </property>

   注意：hdfs://虚拟机ip:8020

3. 配置hdfs-site.xml

   命令：nano hdfs-site.xml

   在configuration中添加如下：

   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/hadoop/tmp/dfs/name</value>
   </property>
   <property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/hadoop/tmp/dfs/data</value>
   </property>

4. hadoop格式化

   hdfs namenode-format

5. 启动hadoop:start-dfs.sh

   注意：启动进程可能要输入密码

6. 检查是否启动成功jps

7. 关闭hadoop:stop-dfs.sh