国产自研开源大数据管理平台DataSophon Manager安装教程

时间:2024-10-25 10:28:56

简介

DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定、高效的大数据集群服务。

主要有以下特性:

  • 极易部署,1小时可完成300节点的大数据集群部署

  • 国产化兼容,兼容ARM服务器和常用国产化操作系统

  • 监控指标全面丰富,基于生产实践展示用户最关心的监控指标

  • 灵活便捷的告警服务,可实现用户自定义告警组和告警指标

  • 可扩展性强,用户可通过配置的方式集成或升级大数据组件

整体架构

以下是GitHub上官方给出的平台整体架构图

开源地址:https:///gaodayu168/datasophon在线文档:https://gaodayu168./datasophon-website

安装

DataSophon涉及的安装包有三部分,如下所示:

  1. DDP-1.0.0:大数据组件的tar包,包括hadoop、spark、kafka等

  2. :前端UI资源文件

  3. datasophon-manager-1.0.:datasophon管理平台安装包

在公众号:浮世Talk 后台回复 DDP 即可获取安装包下载地址。

在服务器创建以下目录结构,用作项目部署包仓库地址:

mkdir -p /opt/datasophon/DDP/packages

将DDP-1.0.0目录下的文件下载并上传到/opt/datasophon/DDP/packages目录下:

下载datasophon-manager-1.0.上传到服务器,并解压到/opt/datasophon目录下(该目录可自行选择),datasophon-manager目录结构如下所示:

[root@ddp-server datasophon-manager-1.0.0]# tree -L 1.├── bin:启动脚本├── conf:配置文件├── jmx:jmx插件├── lib:项目依赖的jar├── LICENSE├── └── sqlSQL脚本5 directories, 2 file

安装MySQL

MySQL的安装步骤请参考历史文章:Ambari-2.7.5整合HDP-3.1.5集群完整安装记录 的相关章节。

在部署过程中,部分组件会执行SQL生成相应的库表,不同环境的Mysql在配置上存在差异,可根据SQL执行情况,变更Mysql配置。注意需关闭Mysql SSL功能,以下为关闭SSL操作:

打开:vi /etc/在[mysqld]下添加:disable_ssl=skip_ssl重启MySQL:systemctl restart 

创建datasophon数据库相关:​​​​​​​

  1. mysql -uroot -p******
  2. set global validate_password_policy=0;
  3. set global validate_password_length=1;
  4. CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option;
  5. GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%';
  6. FLUSH PRIVILEGES;

导入datasophon-manager安装根目录下sql文件夹下datasophon-1.0.文件,创建数据表:​​​​​​​

mysql -uroot -p******use datasophon;source /opt/datasophon/datasophon-manager-1.0.0/sql/datasophon-1.0.0.sql;

安装Nginx

安装依赖​​​​​​​

yum -y install gccyum install -y pcre pcre-develyum install -y zlib zlib-develyum install -y openssl openssl-devel

下载Nginx

wget https:///download/nginx-1.22.0.

Nginx编译安装步骤​​​​​​​

tar -zxvf nginx-1.22.0.cd nginx-1.22.0./configuremakemake installcd /usr/local/nginx/sbin./nginx

检查是否启动成功:

ps -ef|grep nginx

打开浏览器查看:

在/usr/local/nginx/conf/中添加以下server配置:​​​​​​​

server {    listen 8888;# 访问端口(自行修改)    server_name localhost;    #charset koi8-r;    #access_log /var/log/nginx/host.access.log main;    location / {        root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)        index index.html index.html;    }    location /ddh {        proxy_pass http://:8081; # 接口地址(自行修改)        proxy_set_header Host $host;        proxy_set_header X-Real-IP $remote_addr;        proxy_set_header x_real_ipP $remote_addr;        proxy_set_header remote_addr $remote_addr;        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;        proxy_http_version 1.1;        proxy_connect_timeout 4s;        proxy_read_timeout 30s;        proxy_send_timeout 12s;        proxy_set_header Upgrade $http_upgrade;        proxy_set_header Connection "upgrade";    }    #error_page 404 /404.html;    # redirect server error pages to the static page /50    #    error_page 500 502 503 504 /50;    location = /50 {        root /usr/share/nginx/html;    }}

将解压到nginx目录下:

重启nginx:​​​​​​​

cd /usr/local/nginx/sbin./nginx -s reload

修改数据库配置

修改conf目录下的配置文件中数据库链接配置:​​​​​​​

  1. spring:
  2. datasource:
  3. type:
  4.     url: jdbc:mysql::3306/datasophon?useUnicode=true&characterEncoding=utf-8
  5. username: root
  6.     password: ******
  7. driver-class-name:

主要修改url和password的值即可。

启动DataSophon服​​​​​​​

cd /opt/datasophon/datasophon-manager-1.0.0sh bin/ start api #启动sh bin/ stop api #停止sh bin/ restart api #重启

执行sh bin/ start api启动服务

查看日志输出

访问页面

登录 http://192.168.1.60:8888,默认用户名和密码为admin/admin123

登录成功页面

集群框架页面

用户管理页面

整体风格设置页面

总结

DataSophon是最新开源的国产自研大数据管理平台,从以上的安装体验来讲,DataSophon比Ambari或Cloudera-Manager都更加简单。下一篇文章将基于它安装DDP服务,即hadoop,spark,kafka等大数据组件,进一步体验DataSophon平台提供的其它特性。

- THE END -