ElGamal密码、DDH、CDH简介及ElGamal在DDH下的IND-CPA 的安全性证明
ElGamal 在 DDH下的 IND-CPA 安全性有关DDH和ElGamalDiffie-Hellman Protocol有限循环群 G\mathbb{G}G (e.gG=(Zp)∗)\left(e.g\quad G=\left(Z_{p}\right)^{*}\right)(e.gG=(Zp...
11：Hbase CDH升级高可用
1.NameNode的HA找到namenode的服务-----> 操作----->启用High Avaliablity继续即可配置高可用的命名空间名字随便命名即可，建议使用默认值nameservice1。点击选择一个namenode的主机最少2个：选择journalNode的主机，建议至...
CDH6.3.2更换HDFS 数据目录
CDH6.3.2更换HDFS 数据目录事情是这样的，楼主刚入职一家新公司，刚开始搭建的集群时ecs只有一个系统盘，集群安装完成运行几天后，分分钟就要爆了，于是申请增加磁盘，就有了下面这些尝试查看未挂载的磁盘 lsblk -f fdisk /dev/vdbfdisk -l#3.格式化mkfs.ext4...
【CDH】CDH大数据平台实施经验总结
1. 平台规划注意事项1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个data...
CDH重启服务cloudera-scm-agent启动失败（ MainThread agent ERROR Heartbeating to 172.16.66.242:7182 ）
今天我登陆cdh监控页面172.16.66.242:7180界面时发现拒绝访问，发现我的cdh服务挂掉了。这个没啥，我就准备重启服务嘛，按照正常流程，先检查下mysql服务先确保mysql启动服务service mysqld status如果没有开启重启下service mysqld restart...
CDH5.13.2环境离线安装
参考 https://www.cmgine.com/archives/19130.htmlhttps://segmentfault.com/a/1190000012540680https://segmentfault.com/a/1190000011341408#articleHeader5环境说明...
最详细的CDH安装攻略
·安装前的准备工作·安装CM的准备首先要选定集群主节点，主节点的配置内存应至少大于10GB，8核心cpu，配置不够的话可能会十分卡。我们会在主节点上安装CM以管理各个集群节点CM的安装有两种方式：1. 下载bin文件然后在线安装。这种方式要求环境尽量稳定且有较好的网络，一旦中...
cloudera manager+CDH 完全离线安装文档 版本5.7
写完全离线的目的有几点：1、数据安全考虑，服务器不允许与外部连通。2、对于下载速度很慢的时候，可以考虑。3、集群规模大，人手不够，又不会写shell脚本一键安装。cloudera manager 下载地址：http://archive.cloudera.com/cm5/CDH 下载地址...
CDH安装配置zeppelin-0.7.3以及配置spark查询hive表
1.下载zeppelinhttp://zeppelin.apache.org/download.html 我下载的是796MB的那个已经编译好的，如果需要自己按照环境编译也可以，但是要很长时间编译，这个版本包含了很多插件，我虽然是CDH环境但是这个也可以使用。2.修改配置文件cd /zeppeli...
CDH配置HA模式
一、CDH配置HDFS的HA模式1、进入HDFS集群——>点击“操作”——>点击“启用High Availability” 2、进入引导界面配置nameservice名称，可以使用默认的 3、点击“继续”之后配置第二个namenode所在的机器 4、配置JournalNode进程所在的...
CDH邮件报警配置
话不多说直接给CDH邮件报警配置 一、点击进入Cloudera Management Service页面，如下图 二、进入Cloudera Management Service页面后，点击配置-》输入alert，按照下图修改即可 邮件服务器主机名称：根据自己实际情况选择，可用smtp.163.com...
CDH6.2.0集群新增节点
CDH6.2.0集群新增节点背景：原有服务器集群因资源不够，需要在原有cdh集群上添加新的节点（datanode、nodemanager、kafkabroker、hbaseregionserver），ClouderaManager提供了一种可视化的添加方式。一、新加机器环境配置首先得在新的主机环境中...
CDH6.2.0安装教程
CDH6.2.0安装教程CDH的WEB欢迎页面集群的详细配置。1、设置集群的名字2、扫描网络机器并添加3、选择自定义存储库4、JDK安装5、SSH配置6、升级Agents7、升级Parcels8、审查集群集群配置1、选择服务2、自定义角色分配3、审核更改4、安装完成CDH的WEB欢迎页面集群的详细配...
如何查看CDH修改参数记录
1.“启用 HTTP Web 控制台的 Kerberos 身份验证”,该服务默认关闭，我们开启后保存，重启。2.查看CDH修改参数记录步骤1.通过CM主界面进入下图，点击 “快速链接”–“全部”。2.进入界面的后来到下图，点击对应记录的"查看"3.输入CM的账号密码后进入到参数修改记录界面，点击“详...
cdh hive 中文注释乱码解决方法(简单几步)
一、问题描述环境 cdh5.12.1 + hive 1.1.0。 hive 元数据库用的是mysql创建hive表后，用desc查看表信息，中文注释出现乱码，如下 二、解决方法1、进入mysql执行：show create database hive; 发现默认是utf8类型 mysql&g...
CDH环境中如何修改HUE导出文件限制
今天开放了HUE账户给了第三方研发人员，用于查看我们服务器hive上部分数据。但是对方反应，在下载查询出来的结果数据时，每次下载下来的文件都只有100万行，问我们是不是哪里做了限制。 起初我们以为是不是excel文件本身的行数限制问题，因为导出的excel文件为xlsx格式的，而excel07以上版...
CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有...
CDH5.80 离线安装或者升级spark2.x详细步骤
CDH5.80 离线安装或者升级spark2.x详细步骤 简介：在我的CDH5.80集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。从官方文档，可知spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端...
CDH安装Oozie/Hue，以及其基本使用
安装Oozie：关于Oozie安装Hue关于HueHue的入门级使用参考安装Oozie：1.登录数据库后：create database oozie default character set utf8;grant all privileges on oozie.* to ‘oozie’@’loca...
CM记录-部署cdh5.3.3集群
1.安装操作系统，保证联网环境，本文以CentOS 6.8为操作系统（略）2.wget下载安装包(以5.3.3为例)#mkdir /usr/cdh ---新建cm安装目录#cd /usr/cdh ---切换目录#wget 获取下载链接文件到本地服务器#wget http://arch...