大数据平台搭建

时间：2021-09-14 14:21:47

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：

  • 基础环境安装
  • zookeeper集群的搭建
  • kafka集群的搭建
  • hadoop/hbase集群的搭建
  • spark集群的搭建
  • flink集群的搭建
  • elasticsearch集群的搭建
  • alluxio集群的搭建

由于后续涉及到各种软件的安装，毫无疑问会用到服务器间的文件传输，为了后续不再重复输入密码，同时搭建Hadoop环境均需要设置无密码登陆。所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。

1.免密登录

在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ssh/authorized_keys）, 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功即登录。    确认系统已经安装了SSH。    rpm –qa | grep openssh    rpm –qa | grep rsync         假设没有安装ssh和rsync，可以通过下面命令进行安装。    yum install ssh -->安装SSH协议    yum install rsync -->rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件    service sshd restart -->启动服务本文资源列表如下：10.20.112.59
10.20.112.64
10.20.112.65
10.20.116.129
10.20.116.175用户均为oracle（运维人员统一设置）java:1.8.0_60scala:2.11.6注：上述版本为本文截图中的版本
  • 修改服务器的hosts文件

 vi /etc/hosts

给每个需要互联的机器设置IP地址和名称(每台机中自行修改)

大数据平台搭建

  • 生成密钥

首先到用户主目录(cd ~),ls -a 查看隐藏文件和文件夹，其中有一个为.ssh的文件夹，用来存放密钥的，待会儿我们生成的密钥都会放到该文件夹
cd ~/.ssh
执行生成密钥命令
ssh-kengen -t rsa -P ""
回车后,会提示三次输入信息,我们直接回车,则服务器10.20.112.59/SZB-L0045546 ~/.ssh目录结构如下：

大数据平台搭建

  • 其他节点公钥上报和下发

分节点将公钥重命名并传输到子节点上，执行如下命令

cp id_rsa.pub id_rsa.pub.$(hostname)
scp ~/.ssh/id_rsa.pub.* oracle@10.201.112.59:/wls/oracle/.ssh/

 主节点10.20.112.59/SZB-L0045546将自己和子节点的公钥全部写入到authorized_keys

cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.* >>authorized_keys

 待authorized_keys复制完成后,更改权限为600

chmod 600 authorized_keys

 权限更改完成,将其从主节点传送到各个子节点

scp ~/.ssh/authorized_keys oracle@10.20.112.64:/wls/oracle/.ssh/
scp ~/.ssh/authorized_keys oracle@10.20.112.65:/wls/oracle/.ssh/
scp ~/.ssh/authorized_keys oracle@10.20.116.129:/wls/oracle/.ssh/
scp ~/.ssh/authorized_keys oracle@10.20.116.175:/wls/oracle/.ssh/
  • 验证

执行如下命令，依次验证

ssh 10.20.112.59
ssh 10.20.112.64
ssh 10.20.112.65
ssh 10.20.116.129
ssh 10.20.116.175

 如果的确不需要输入密码，即验证通过

  • 2.jdk安装

linux环境下的jdk安装和windows下的安装类似，解压配置环境变量即可

登录官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，选择linux 64为下载即可

大数据平台搭建
  • 解压

切换到用户主目录,执行解压

cd ~
tar -zxvf jdk-8u131-linux-x64.tar.gz
mv jdk-8u131-linux-x64 jdk
  •  配置环境变量

更改 ~/.bash_profile文件，配置JAVA_HOME

大数据平台搭建

 

 更改完成后，执行

source ~/.bash_profile

 让配置立即生效

  • 验证
java -version

 大数据平台搭建

 3.scala安装

scala安装和java安装类型，官网http://www.scala-lang.org/，下载地址http://www.scala-lang.org/download/2.11.8.html，选择tgz包即可

大数据平台搭建

  • 解压
cd ~
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala
  •  环境变量配置
vi ~/.bash_profile

 配置SCALA_HOME

大数据平台搭建

配置立即生效

source ~/.bash_profile
  •  验证

输入 scala -version，正确安装后，显示如下

大数据平台搭建

 

 

 

 
标签：

相关文章