动态的添加和删除hadoop集群中的节点
一：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆ssh-copy-id slave4C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）-----------------------------...
Hadoop2.7.6_07_HA高可用
1. Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制1.1. HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——H...
hadoop分布式集群之MySQL分布式集群搭建
分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个...
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires a node with id [CCzmifRuSm6RxolhJ7XfDw], have discov...
eclipse 导入 hadoop项目
eclipse 导入hadoop 有三种方式，1.直接找到 hadoop svn 资源库 在资源库中下2.下载 hadoop 原码文件解压开之后 使用 maven 导入 （因为 hadoop 项目本省是使用maven 管理的）3. 下载 hadoop maven原码，将maven功能转换成 e...
基于WIFI探针的商业大数据分析系统（hadoop+spark+hbase+bootstrap+echarts）
WIFI_BussinessBigDataAnalyseSystem基于WIFI探针的商业大数据分析技术（纪念大学最后一次中软杯）距离我参加”中国软件杯”时间已经过了半年，很多东西需要整理，也需要反思，先介绍下我和队友们齐心协力历时3个多月的比赛作品吧！问题分析先说下我们这个为什么要开发这个软件。 ...
Hadoop的数据分析引擎：Hive
数据分析的引擎：1、Hive ---> 属于Hadoop，支持SQL Pig ---> 属于Hadoop，支持PigLatin 2、Spark SQL ---> 类似Hive，支持SQL和DSL3、（了解）Impala一、什么是Hive？ 1、Hive是一个翻译器，S...
【大数据】大数据概论与Hadoop
目录 1.大数据概述 1.1.大数据的概念 1.2.大数据的应用场景 1.3.大数据的关键技术 1.4.大数据的计算模式 1.5.大数据和云计算的关系 1.6.物联网 2.Hadoop 2.1.核心架构 2.2.版本演进 2.3.生态圈的全量结构 1.大数据概述 1.1.大数据的概念 大数据即字面...
从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码
从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码http://www.aboutyun.com/thread-8211-1-1.html(出处: about云开发)问题导读：1.如何通过官网src包，获取hadoop的全部代码2.通过什么样的操作，可以查看hado...
hadoop2.x datanode启动报错java.net.BindException: 地址已在使用
hadoop2.x datanode启动报错java.net.BindException: 地址已在使用hadoop集群启动时，命令行正常显示（没有报错）所有datanode正常启动 但是在node3节点查看进程时发现datanode没有启动， 查看日志：tail -60 /usr/local/ha...
hadoop 开始时间datanode一个错误 Problem connecting to server
刚刚配置hadoop，namenode常开，但datanode但保留了错误。但不启动：2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:h...
Hadoop 3.0 开启回收站(Trash)功能
上一篇，我们利用三台虚拟机配置了Hadoop 3.0集群，配置的过程步骤很"繁琐"，但是不难，由于后续我要针对Hadoop的文件系统FileSystem（Java API）整合一个工具，该工具涉及到获取文件系统指定目录下的文件状态、创建dir、删除dir、文件或目录重命名、文件移动、co...
在 Windows 上安装Spark(PySpark库)(无需安装 Hadoop )
1.需要预装 Anaconda ，推荐从清华镜像下载符合你机器配置的最新版。2.确保你的电脑已经安装好了 Java 7+ 。对了，Java 安装路径中不能有空格！路径中不能有空格！3.访问 Apache Spark 网站，下载 Apache Spark：1. 选择一个 Spark 版本 (Choos...
大数据框架hadoop的配置系统
Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Con...
大数据解决方案：Hadoop监控
Hadoop监控目前采用方案：Zabbix+Hue+Kafka Manager 1.ZabbixZabbix主要监控相关进程是否存活以及针对运行时间过长的任务进行报警，目前暂定为1个小时原理：通过Hadoop提供的jmx接口获取相关数据给zabbix监控的项目：进程ResourceManager,N...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个引起该问题最常见的原因，及其解决办法使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VE...
Hadoop中 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题解决
环境[root@vm8028 soft]# cat /etc/issueCentOS release 6.5 (Final)Kernel \r on an \m[root@vm8028 soft]# uname -aLinux vm8028 2.6.-.el6.x86_64 # SMP Fri No...
centos 安装 hadoop2.8.2
首先安装hadoop前要先安装jdk：http://blog.csdn.net/qq_34954457/article/details/78446038点击打开链接hadoop下载链接：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2....
Linux华为云Hadoop配置环境
手工搭建Hadoop环境（Linux）_弹性云服务器 ECS_最佳实践 (huaweicloud.com)https://support.huaweicloud.com/bestpractice-ecs/zh-cn_topic_0000001698668477.html?locale=zh-cn#Z...
hadoop实现wordcount的三种方法
很多小伙伴在搭建完hadoop集群后，还不太会在上面跑测试程序，作为大数据入门学习的Hello world程序，我总结了三种方法。第一种：用hadoop上自带的jar包（hadoop-mapreduce-examples-2.7.0.jar）实现1、如何找到hadoop自带的jar包呢？路径：/us...