Hadoop 3.1.2 下载安装和分布式搭建的准备

时间:2024-12-06 14:34:32

官方有详细文档:https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html

我整个配置用的是ubuntu18.04 + java8 + hadoop3.1.2

首先我们可以创建一个hadoop用户,使用bash作为shell

sudo useradd -m hadoop -s /bin/bash

更改密码

sudo passwd hadoop

给hadoop管理员权限

sudo adduser hadoop sudo

接下来就登录在hadoop用户中操作吧 su hadoop

然后我们配置一下ssh

安装ssh

sudo apt install openssh-server

用 ssh localhost 试试能不能ssh登录本机,让后用 exit 登出

如果成攻了,就设置一下免密登录

cd ~/.ssh/ 移动到.ssh目录,如果显示不存在就ssh登录本机再试下

ssh-keygen -t rsa 一直按回车就行

cat ./id_rsa.pub >> ./authorized_keys 把id_rsa.pub复制到authorized_keys,加入授权

然后就可以ssh登录本机测试一下能不能免密登录

接下来安装jdk,我选择的是java8

jdk有3种装法,我就介绍最简单的一种

直接用apt安装就好

sudo apt-get install openjdk--jdk -C /usr/lib

然后我们配置一下环境变量

在linux中既可以在.bashrc中也可以在profile中配置

我们选择在 /etc/profile 中配置,在这里配置会在一开机就对全部用户生效,如果选择在 ~/.bashrc 配置,就是当前用户开启bash后生效

linux中的路径用 : 隔开

在文件末尾添加

export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

Hadoop 3.1.2 下载安装和分布式搭建的准备

记得用 source 命令更新一下

接下来就是安装Hadoop了

由于apt没有自带hadoop,我们只能用 wget url 命令来下载在当前目录

官方url:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

清华镜像站:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

选择一个就好,推荐清华镜像站,官方的国内下载很慢

Hadoop 3.1.2 下载安装和分布式搭建的准备

解压

tar -zxvf hadoop-3.1..tar.gz -C ~/

我们配置一下hadoop环境在hadoop-3.1.2目录下的 /etc/hadoop/hadoop-env.sh

按文件里说的,在JAVA_HOME哪里添加你的JAVA目录

Hadoop 3.1.2 下载安装和分布式搭建的准备

我们进入hadoop目录下检查一下安装成功了没

cd ~/hadoop-3.1. 进入目录

./bin/hadoop version 检查版本

Hadoop 3.1.2 下载安装和分布式搭建的准备

如上界面就是成功了

接下来就可以正式开始配置单机模式,伪分布式,或者完全分布式了

单机模式:在一台机上,没有用到分布式系统,多用于测试

伪分布式:在一台机上,用多个java程序模拟分布式的过程,也就是你在一个机器上配置了hadoop的所有节点

完全分布式:就是最常用的真正的分布式了