CM记录-CDH大数据平台实施经验总结2016（转载）
CDH大数据平台实施经验总结2016（转载）2016年负责实施了一个生产环境的大数据平台，用的CDH平台+docker容器的方式，过了快半年了，现在把总结发出来。1. 平台规划注意事项1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存...
Gobblin编译支持CDH5.4.0
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处Gobblin的前身是linkedin的Camus,好多人也用过，准备用Gobblin的方式来抽取数据，不过由于连接的集群是CDH的，而Gobblin默认支持的是hadoop2.3.0,因此需要手动...
[转] CDH6 安装文章链接收集
CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解http://blog.51cto.com/wzlinux/2321433?source=draCloudera Manager安装_搭建CDH集群https://www.cnblogs.com/haozhengfei...
通过Cloudera Manager部署CDH5.15.1的webUI界面详解
通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblogs....
CDH上Cloudera Management Service 各个角色迁移至其他节点
1.首先查看Cloudera Management Service下有哪些服务，cdh版本为5.9.2：可以看到基本上有以上6个角色；2、停止所有角色，并执行删除；3.找到集群中另外一个节点，添加对应角色，我这里添加到hadoopNode4上：元数据库为mysql，在hadoopNode6上；需要将...
cdh完美集成kafka
前言其实cloudera已经做了这个事了，只是把kafka的包和cdh的parcel包分离了，只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。具体实现的简要步骤可参照cloudera官网提供的文档：http://www.cloudera.com/con...
2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)
步骤5：设置Cloudera Manager数据库Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本。该脚本可以：创建Cloudera Manager Server数据库配置文件。（MariaDB，MySQL和PostgreSQL）为Cloudera Manage...
CentOS7安装CDH 第九章：CDH中安装Kafka
相关文章链接CentOS7安装CDH 第一章：CentOS7系统安装CentOS7安装CDH 第二章：CentOS7各个软件安装和启动CentOS7安装CDH 第三章：CDH中的问题和解决方法CentOS7安装CDH 第四章：CDH的版本选择和安装方式CentOS7安装CDH 第五章：CDH的安装和...
cdh 安装系列3--cdh manager 安装 cdh 6.01 版本
安装前提是cdh manager 已经可以通过admin登录，管理台安装在192.168.20.163一。安装自动TLSSetup Auto-TLS1.ssh 192.168.20.1632.sudo JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera /opt/cl...
CentOS 7.3 CDH 5.10.0 Druid0.12.4安装记录
CentOS 7.3 CDH 5.10.0安装记录0. 集群规划192.167.1.247 realtime247 realtime+hadoopdata192.167.1.248 broker248 broker192.167.1.249 history249 ...
CDH 2、Cloudera Manager的安装
1、Cloudera Manager• Cloudera Manager是一个管理CDH的端到端的应用。• 作用：– 管理– 监控– 诊断– 集成• 架构• Server– 管理控制台服务器和应用程序逻辑– 负责软件安装、配置，启动和停止服务– 管理服务运行的群集• Agent– 安装在每台主机上–...
1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)
使用Cloudera Manager模板创建CDH群集您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集。然后，您可以修改模板并使用它在新的主机集上创建具有相同配置的新集群。使用群集模板：用于开发人员，测试和生产环境的重复群集。快速为特定工作负载创建集群...
CDH版本升级
近期项目中需要用oozie workflow调度hivesql，发现无法执行查询语句，见：https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-Hive-action-failed-with-wrong-tmp-p...
AWS-CDH5.5安装-安装
1.安装MySQL[root@ip---- mysql]# rpm -ivh MySQL-server-5.6.-.el6.x86_64.rpm MySQL-client-5.6.-.el6.x86_64.rpmwarning: MySQL-server-5.6.-.el6.x86_64.rpm: ...
hadoop-cdh with snappy
hadoop: 2.5.0-cdh5.3.6snappy: 1.1.3hadoop 2.*不需要hadoop-snappy。只要机器上安装好snappy, 直接编译就可以编译命令：mvn clean package -DskipTests -Pdist,native -Dtar -Drequire....
Cloudera Manager和CDH5.8离线安装
https://blog.csdn.net/zzq900503/article/details/52982828简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我...
Mac OS X上搭建伪分布式CDH版本Hadoop开发环境
最近在研究数据挖掘相关的东西，在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境，采用CDH发行版本，省时省心。参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks官网这篇文章有的地方格式不对，部分链接也失效，运行时还会有一些问题，所以这...
Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)
Cloudera Manager、CDH零基础入门、线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发)问题导读：1.什么是cloudera CM 、CDH?2.CDH、CM有哪些版本？3.CDH、CM有哪些安装方式？4.CDH...
hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性
使用CDH 5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench 安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。安装位置在SPARK 服务所在的节点上面。下载hibench编译好的包与manve的包hibench全部编译mvn -Dsp...
关于hadoop的运行的一些指标监控（非cdh平台的）
在hadoop-env.sh中添加：# 在配置namenode和datanode时都会有用到JMX_OPTS的代码，是为了减少重复提取出的公共代码export JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremot...