Zookeeper集群docker部署
version: '3'services: zoo1: image: zookeeper:latest restart: always container_name: zoo1 ports: - "2181:2181" environment: Z...
Redis实现持久化和集群的搭建
一、Redis的持久化方案 1）RDB持久化 RDB（Redis Database Backup file），Redsi数据备份文件或Redis数据快照。 把内存中的所有快照文件称为RDB文件，默认是保存在当前运行目录。 RDB持久化在四种情况下会执行： 执行save命令执行bgsave命令Redi...
基于 Operator 部署 Prometheus 监控 k8s 集群
目录 一、环境准备 1.1 选择版本 1.2 过滤镜像 1.3 修改 yaml 镜像 1.4 移动 *networkPolicy*.yaml 1.5 修改 service 文件 1.6 提前下载镜像并推送到私有镜像仓库 1.7 修改镜像（可选） 二、执行创建 三、查看 pod 状态 四、访问 pro...
配置两个Hadoop集群Kerberos认证跨域互信 - XIAO的博客
配置两个Hadoop集群Kerberos认证跨域互信 两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访...
开源大数据集群部署（二十）Trino部署
作者：櫰木 1 解压trino的包到opt目录 cd /root/bigdatatar -xzvf trino-server-389.tar.gz -C /opt/ln -s /opt/trino-server-389 /opt/trino 2 创建trino用户，并配置专属jdk11 userad...
【阿里云系列】-部署ACK集群的POD应用日志如何集成到日志服务（SLS）中-查询日志
在ACK集群实例下找到运维管理–日志中心，切换到应用日志标签，在日志库的下拉中找到上一步配置的日志存储库名 点击【选择日志库】，如下图所示： 可以根据关键字进行匹配查询，如下图所示：...
HBase集群搭建实验_伪分布式部署（使用内置ZooKeeper）
HBase伪分布式模式1）所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2）使用HBase内置的ZooKeeper3）比较适用于HBase开发和测试环境 实验前提：HBase伪分布式部署依赖于Hadoop伪分布式部署，本实验紧接Hadoop伪分布式实验，在Hadoop伪分布式部署完成并...
Spark集群搭建与并验证环境是否搭建成功(三台机器)
在之前hadoop的基础上，进行Spark分布式集群：(1)下载Spark集群需要的基本软件，本篇需要的是：Scala-2.10.4、spark-1.4.0-bin-hadoop(2)安装Spark集群需要的每个软件(3)启动并查看集群的状况(4)t通过spark-shell测试spark工作1.S...
Redis 3.2.1集群搭建
一、概述 Redis3.0版本之后支持Cluster.1.1、redis cluster的现状 目前redis支持的cluster特性：1):节点自动发现2):slave->master 选举,集群容错3):Hot resharding:在线分片4):进群管理:cluster xxx5)...
容器平台Rancher+Nginx+K8S集群的高可用部署
前言：Rancher是一个开源的企业级容器管理平台。通过Rancher，不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。本架构中使用rancher管理服务器中使用helm核心组件来部署的k8s...
Hadoop集群动态添加节点后节点数量未增加且节点名称不稳定的解决方案
问题现象当前有01、02、03三个节点的hadoop集群，其中01是master节点，02、03为slave节点。当动态添加04的slave节点后，hadoop的web界面中显示的节点数目未增加。进一步观察，节点列表中的slave节点内容，时而是02、04节点，时而是02、03节点，非常诡异。 分...
Ceph API微服务开发--存储集群API调用
目标：开发Ceph存储集群API调用微服务环境：IntelliJ IDEA步骤：librados库简介->存储集群API调用程序编写->API调用测试->Spring Boot微服务改造->运行测试参考：http://docs.ceph.org.cn/rados/api/1....
Docker下安装zookeeper（单机 & 集群）
启动Docker后，先看一下我们有哪些选择。有官方的当然选择官方啦~下载： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 [[email protected] admin]# docker pull zookeeper Using default tag: latest Try...
在Linux安装redis及组建集群常见报错的解决办法
一、redis安装时常见报错解决方法参照官网描述（https://redis.io/download），linux下redis安装步骤如下：$ wget http://download.redis.io/releases/redis-3.2.9.tar.gz$ tar xzf redis-3.2.9...
深入浅出 -- 系统架构之分布式集群的分类
一、单点故障问题 集群，相信诸位对这个概念并不陌生，集群已成为现时代中，保证服务高可用不可或缺的一种手段。 回想起初集中式部署的单体应用，因为只有一个节点，因此当该节点出现任意类型的故障（网络、硬件资源、物理环境……）时，都会造成整个系统对客户端不可用，而这就是所谓的“单点故障问题”。 单点...
redis 集群模式（redis cluster）介绍
目录 一 redis cluster 相关定义 1， redis cluster 是什么 2，redis 集群的组成 3，集群的作用 4，集群架构图 二 Redis集群的数据分片 1，哈希槽是什么 2，哈希槽如何排布 3，Redis集群的主从复制模型 4，哈希槽架构图 三 实...
K8s集群中的Windows节点，这样搭建快速搞定！
前言：K8s 1.14版增加了对windows节点的生产级支持，从1.9就有了对windows的实验性支持，灵雀云在多个客户环境有过实践，去除平台相关的内容后整理成文档，分享给大家。Docker在windows上可以选择Linux模式和Windows模式，两者不能兼容共存：选择linux模式时，p...
三分钟读懂TT猫分布式、微服务和集群之路
原文来源：https://blog.52itstyle.com/archives/1569/针对新手入门的普及，有过大型网站技术架构牛人路过，别耽误浪费了时间，阅读之前，请确保有一定的网络基础，熟练使用Linux，浏览大概需要3-5分钟的时间，结尾有彩蛋。分布式小马正在经营一个在线购物网站，名叫TT...
HaLoop：大集群上高效的迭代数据处理（上）
摘要：超大规模数据挖掘和数据分析需求的日益增长，引领着工业和学术界设计大数据计算平台新模式。MapReduce和Dryad是两种流行的平台，数据流在这两种平台上采用操作符的有向非循环图形式。迭代程序在数据挖掘、网页排名、图像分析、模型拟合等许多应用领域中自然而然地出现了，而这两种平台缺乏对迭代程序的...
Redis Cluster集群特点
1、所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。2、节点的fail是通过集群中超过半数的节点检测失效时才生效。3、客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。4、redis-clu...