动态的添加和删除hadoop集群中的节点
一：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆ssh-copy-id slave4C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）-----------------------------...
cdh集群节点系统文件损坏，重装系统恢复Hdfs数据
由于意外，集群中的一个节点系统坏了，重装系统后，把该节点添加集群中，恢复hdfs数据。思路：主要问题是把hdfs的数据恢复，由于hdfs的机制very good，只要把节点从集群中删掉，再添加进集群中，配置hdfs对应目录就好。背景：安装的cdh5.8，使用cm界面进行管理流程：1.从集群中删除节点...
docker搭建msyql集群坑----------percona/percona-xtradb-cluster 容器启动了之后自动关闭
不想多说了，说多了都是泪，，这TM也太坑了。。最近在看docker搭建mysql的集群的教程，才用的PXC集群方式使用docker命令安装percona/percona-xtradb-cluster 的镜像文件，然后根据这个刚下载的最近镜像文件创建容器启动，一启动之后就自动关闭了，很奇怪，我当时还以...
hadoop分布式集群之MySQL分布式集群搭建
分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个...
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires a node with id [CCzmifRuSm6RxolhJ7XfDw], have discov...
rocketmq集群搭建双主双从多主多从
原理图解：讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 b...
Centos7 K8S 集群 - kubeadm搭建方式
机器准备 搭建环境是centos7, 四核心4G内存四台机器 一个master节点，一个etcd，两台node 机器名称IP 地址master192.168.1.128node1192.168.1.129node2192.168.1.130node3192.168.1.131机器时间同步 各节点时间...
mysql主从主主与集群
主从复制主从复制原理在Slave 服务器上执行start slave命令开启主从复制开关，开始进行主从复制。此时，Slave服务器的IO线程会通过在master上已经授权的复制用户权限请求连接master服务器，并请求从执行binlog日志文件的指定位置（日志文件名和位置就是在配置主从复制服务时执行...
Centos7 k8s 集群 - Mysql主从架构
项目地址 MysqlClusterconfigMap mysql-configmap.yaml apiVersion: v1kind: ConfigMapmetadata: name: mysql labels: app: mysqldata: primary.cnf: | # 主...
solr集群+zookeeper集群搭建及常用命令
zookeeper集群直接复制3个到3台不同主机下，修改下配置并启动即可每台主机/bin下执行./zkServer.status查看状态，显示master的为主机，表示集群搭建成功了比较简单不详细介绍了solr集群先启动zookeeper集群，保证是正常的先下载solr6.1.0版本，在三台机子上安...
rocketMQ消费者集群模式和广播模式的区别
之前测试发送消息的时候一直感觉消费者监听器接收消息有延迟或者漏消息，于是百度半天，终于弄好了rocketMQ的console，但是进入控制台可以看到所有消息都被消费了，但是手机这边就是有很多消息漏掉。请教了前辈大佬，结果被怼了一顿，想想也是，作为新人入职最好别问低级问题。前辈指点我弄清楚广播模式和集...
ClickHouse高可用集群的配置-方案
上一篇文章写过centos 7下clickhouse rpm包安装和基本的目录结构，这里主要介绍clickhouse高可用集群的部署方案，因为对于默认的分布式表的配置，每个分片只有一份，这样如果挂掉一个节点，则查询分布式表的时候直接会报错，这个是基于clickhouse自己实现的多分片单副本集群，配...
倾斜摄影（ContextCapture）空三/三维建模-台式、便携、单机/集群硬件配置方案
主要内容本文结合最新计算处理技术，针对倾斜摄影的空三计算、三维建模应用，给出目前最快、最高性价比的台式工作站、移动工作站、并行集群的多种配置方案（截止2020年4月）1. 相关机型介绍2. 硬件配置方案 2.1 台式工作站配置推荐 2.2 便携式（单屏、三屏）工作站配置推荐 2.3 海量数据处...
AWS EMR YARN集群提交任务一直处于ACCEPT状态
AWS EMR YARN集群提交任务一直处于ACCEPT状态本集群是通过AWS EMR启动的，AWS EMR可以通过脚本配置需要提交的任务和运行的集群机器数量。但基本运行后，AWS就会启动一个集群，并将任务提交到集群上运行。但是诡异的问题出现了（如下图）：可以看到，我提交了四个任务，有一个任务处于R...
zookeeper集群及mycat配置搭建
第一部分 zookeeper环境环境：3台机器192.168.109.132-134centos7.2 1 linux环境设置#关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service #关闭SELINUXsed...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个引起该问题最常见的原因，及其解决办法使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VE...
postfix 邮件集群架构方案(01)
Postfix电子邮件可横向扩展系统部署实施方案(F5负载均衡器+多服务器Cluster+NAS存储+Mysql数据库) <基本介绍>:一个完整的邮件系统包括四个部分：底层操作系统（Linux Operation）邮件传送代理（Mail Transport Agent，MTA）邮件分发代...
extmail集群的邮件负载均衡方案 [lvs dns postfix]
for techtrex公司以前的邮件服务器是：后期改成一个dell1950 配置 lvs-nat 顶在前面,因为就一个ip，没有多余的ip，路由器，无法配置dr模式。7-15 公司增加了双线路，直接改用智能dns的框架~~~其实个人感觉前期的lvs性能就很不错~ emos的安装过程。。。。安装的话...
CentOS 7安装ElasticSearch 6.8.1, 配置集群模式
Elasticsearch版本: 6.8.1系统版本: CentOS 7.7.1908 出于安全设置的考虑, ES默认是不允许以root用户启动的. 所以要为ES添加一个用户. 首先以root用户登录 新建用户组elasticgroupadd elastic 新建用户elastic, 指定用户组为e...
Linux中MySQL测试环境搭建主主集群
MySQL测试环境搭建主主集群 主机参数调调整 vi /etc/sysconfig/selinux#查看是否SELINUX=disabled#禁用firewalldservice firewalld stop 架构IPhostname主1数据库192.168.206.3zhou主2数据库192.16...