Datax-web 集群化部署使用（图文教程超详细）

环境准备

1）基础软件安装
MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选
DataX 必选
Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

2)硬件环境 三台主机
cdh-01
cdh-02
cdh-03

Datax 安装

1. ​​DataX下载地址​​

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2.解压 & 测试

tar -xvf datax-web-2.1.2.tar.gz

cd datax/bin

python datax.py ../job/job.json

image.png

Datax-web 安装

1.​​点击下载​​ 提取码：cpsk
2.进入解压目录，执行一键安装脚本

./bin/install.sh

3.全部选 Y ,配置 MySQL 即可

image.png

4.配置
修改./modules/datax-executor/bin/env.properties (修改内容为datax解压目录下的datax.py位置)

### 执行datax的python脚本地址
PYTHON_PATH=/opt/datax/bin/datax.py

5.启动

./bin/start-all.sh

6.访问
​​http://192.168.10.151:9527/index.html​​ admin/123456

到此，单机版的datax-web 已经可以正常使用，接下来部署集群。

添加 Executor

新添加的Executor 需要安装datax、datax-web（可以只安装datax-executor）
1.修改 ​​modules/datax-executor/bin/env.properties​​，指定datax.py 位置

## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/opt/datax/bin/datax.py

2.修改 ​​/modules/datax-executor/conf/application.yml​​ 指定 datax-web 地址

addresses: http://192.168.10.151:9527
appname：自己指定随意

3.启动

./bin/start.sh -m datax-executor

4.打开web 页面，选择执行器，添加

image.png

5.到此 ，集群式datax-web 已经部署完毕，构建任务时可以选择不同的执行器。