1 HDFS均衡操作原理
HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个副本放在与第一个副本相同的机架但是不同节点上，第三个放在与第二个和第一个副本不同的机架上，原则是尽量避免在相同的机架上放太多的副本。
随着时间的推移，在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程度很严重，会降低Mapreduce的使用性能，导致部分DataNode节点相对而言变得更加繁忙。所以，应该尽量的避免出现这种情况。
HDFS的 Balancer 类，是为了实现HDFS的负载调整而存在的。Balancer类是以一个独立的进程存在的，可以独立的运行和配置。它NameNode节点进行通信，获取各个DataNode节点的负载状况，从而进行调整DataNode上的Block的分布。主要的调整其实就是一个操作，将一个数据块从一个服务器搬迁到另一个服务器上。Balancer会向相关的目标 DataNode 节点 发出一个DataTransferProtocol.OP_REPLACE_BLOCK 消息，接收到这个消息的DataNode节点，会将从源DataNode节点传输来的数据块写入本地，写成功后，通知NameNode，删除源DataNode上的同一个数据块，直到集群达到均衡为止，即每个DataNode的使用率(该节点已使用的空间和空间容量之间的百分比值)和集群的使用率(集群中已使用的空间和集群的空间容量之间的百分比值)非常接近，差距不超过均衡时给定的阈值。
其中，一个块是否可以被移动，要满足三个条件：
（1）正在被移动或者已经被移动的块，不会重复移动
（2）一个块如果在源节点和目标节点上都有其副本，则此块不会被移动；
（3）移动不会减少一个块所在的机架的数目；
可见，由于上述等条件的限制，均衡操作并不能使得HDFS达到真正意义上的均衡，它只能是尽量的减少不均衡。
均衡操作依靠一个均衡操作服务器、NameNode的代理和DataNode来实现，其逻辑流程如下：
其中，
Step1:Rebalance Server从Name Node中获取所有的Data Node情况，即每一个Data Node磁盘使用情况;
Step2: Rebalance Server计算哪些Dataode节点需要将数据移动，哪些Dataode节点可以接受移动的块数据，并且从NameNode中获取需要移动的数据分布情况;
Step3: Rebalance Server计算出来可以将哪一台Dataode节点的block移动到另一台机器中去;
Step4、5、6：需要移动block的Dataode节点将数据移动到目标DataNode节点上去，同时删除自己节点上的block数据；
Step7: Rebalance Server获取到本次数据移动的执行结果，并继续执行这个过程，一直到没有数据可以移动或者HDFS集群以及达到了平衡的标准为止；
在step2中，HDFS会把当前的DataNode节点根据阈值的设定情况划分到四个链表中：
(1)over组：此组中的DataNode的均满足
DataNode_usedSpace_percent > Cluster_usedSpace_percent + threshold；
(2)above组：此组中的DataNode的均满足
Cluster_usedSpace_percent + threshold > DataNode_ usedSpace _percent > Cluster_usedSpace_percent；
(3)below组：此组中的DataNode的均满足
Cluster_usedSpace_percent > DataNode_ usedSpace_percent > Cluster_ usedSpace_percent – threshold；
(4)under组：此组中的DataNode的均满足
Cluster_usedSpace_percent – threshold > DataNode_usedSpace_percent；
用一个示例图表示：
在移动块的时候，会把over组和above组中的块向below组和under组移动，直到均衡状态或者达到均衡退出的条件为止。
总得来说，均衡操作的步骤可以分为4步：
(1)从namenode获取datanode磁盘使用情况;
(2)计算哪些节点需要把哪些数据移动到哪里;
(3)分别移动，完成后删除旧的block信息;
(4)循环执行，直到达到平衡标准;
2 HDFS均衡操作的启动
使用HDFS的balancer命令，可以配置一个Threshold来平衡每一个DataNode磁盘利用率。命令如下：
start-balancer.sh -threshold 8
运行之后，会有Balancer进程出现：
上述命令设置了Threshold为8%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率的均值，然后判断如果某一个DataNode的磁盘利用率超过这个均值Threshold，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode，这对于新节点的加入来说十分有用。Threshold的值为1到100之间，不显示的进行参数设置的话，默认是10。
范围超出之后，会有异常抛出：
java.lang.IllegalArgumentException: Number out of range: threshold = 0.07
at org.apache.hadoop.hdfs.server.balancer.Balancer$Cli.parse(Balancer.java:1535)
at org.apache.hadoop.hdfs.server.balancer.Balancer$Cli.run(Balancer.java:1510)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.hdfs.server.balancer.Balancer.main(Balancer.java:1582)
2012-12-19 16:28:33,299 ERROR org.apache.hadoop.hdfs.server.balancer.Balancer: Exiting balancer due an exception
java.lang.IllegalArgumentException: Number out of range: threshold = 110.0
at org.apache.hadoop.hdfs.server.balancer.Balancer$Cli.parse(Balancer.java:1535)
at org.apache.hadoop.hdfs.server.balancer.Balancer$Cli.run(Balancer.java:1510)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.hdfs.server.balancer.Balancer.main(Balancer.java:1582)
如果参数值设置的越小，花费的时间就越长。使用此命令时，会反复的从磁盘使用率高的节点上，把块转移到磁盘使用率低的磁盘上，每次移动不超过10G大小，每次移动不超过20分钟。
在做均衡的时候，会对网络带宽有影响，可在配置文件中对均衡操作的带宽做限制：
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>1048576</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
若不设置，则balance操作时，速度默认为1M/S大小。参数重启时生效。不允许在集群中使用多个均衡同时操作。
3 HDFS均衡操作的退出
除了在命令行直接使用stop-balancer.sh脚本来执行退出均衡操作之外，当发生以下几种情况时，当前执行的均衡操作也会退出：
(1)集群已经达到均衡状态；
(2)没有块可以再被移动；
(3)连续五次迭代操作时没有块移动；
(4)和NameNode通信时出现IOException；
(5)另外一个均衡操作启动；
4 实例分析
均衡操作之前DataNode节点块分布情况：
在sbin目录下执行命令./start-balancer.sh -threshold 5
均衡过程中：
开始做均衡操作时，会有如下日志打印出：
2012-12-28 10:08:55,667 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Using a threshold of 5.0
2012-12-28 10:08:55,668 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: namenodes = [hdfs://goon]
2012-12-28 10:08:55,669 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: p = Balancer.Parameters[BalancingPolicy.Node, threshold=5.0]
其中会标明对哪些nameservice进行均衡，同时对输入的参数进行说明，默认的策略是BalancingPolicy.Node，表示均衡的对象是DataNode，否则是对块池做均衡。
之后，会计算需要移动的块，移动的字节数，块的源地址和目标地址：
2012-12-28 10:08:57,200 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 1 over-utilized: [Source[10.28.169.126:50010, utilization=25.807874799394025]]
2012-12-28 10:08:57,200 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 1 underutilized: [BalancerDatanode[10.28.169.122:50010, utilization=9.395091359283992]]
2012-12-28 10:08:57,201 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Need to move 2.75 GB to make the cluster balanced.
2012-12-28 10:08:57,202 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Decided to move 2.46 GB bytes from 10.28.169.126:50010 to 10.28.169.122:50010
2012-12-28 10:08:57,203 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Will move 2.46 GB in this iteration
此时：
刚开始均衡操作时，其进程所占资源：
同时，可以观察到会有块的移动，从datanode0移动到sdc2和Tdatanode0，在NN会有如下日志(hadoop-hdfs-balancer-Tdatanode0.log)：
2012-12-28 10:08:57,724 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Moving block 365766470964968392 from 10.28.169.126:50010 to 10.28.169.122:50010 through 10.28.169.225:50010 is succeeded.
2012-12-28 10:08:57,724 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Moving block 7346867188539736438 from 10.28.169.126:50010 to 10.28.169.122:50010 through 10.28.169.225:50010 is succeeded.
2012-12-28 10:08:57,724 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Moving block -6882244909405313690 from 10.28.169.126:50010 to 10.28.169.122:50010 through 10.28.169.225:50010 is succeeded.
由于在Balancer类中对线程池做了限制，
final static private int MOVER_THREAD_POOL_SIZE = 1000;
所以最多可以有1000个线程并发块移动操作，但是向一个DN进行移动块时，最多5个块并发移动。
由于机器资源的限制，当均衡操作创建的线程数量达到900多的时候，就无法再创建线程，并有如下错误：
2012-12-28 10:19:32,905 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Dispatcher thread failed
java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:640)
at java.util.concurrent.ThreadPoolExecutor.addIfUnderCorePoolSize(ThreadPoolExecutor.java:703)
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:652)
at org.apache.hadoop.hdfs.server.balancer.Balancer$PendingBlockMove.scheduleBlockMove(Balancer.java:402)
at org.apache.hadoop.hdfs.server.balancer.Balancer$PendingBlockMove.access$3500(Balancer.java:236)
at org.apache.hadoop.hdfs.server.balancer.Balancer$Source.dispatchBlocks(Balancer.java:746)
at org.apache.hadoop.hdfs.server.balancer.Balancer$Source.access$2000(Balancer.java:591)
at org.apache.hadoop.hdfs.server.balancer.Balancer$Source$BlockMoveDispatcher.run(Balancer.java:598)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
查看均衡操作所产生的线程会被阻塞：
Thread 15688: (state = BLOCKED)
- sun.misc.Unsafe.park(boolean, long) @bci=0 (Interpreted frame)
- java.util.concurrent.locks.LockSupport.park(java.lang.Object) @bci=14, line=156 (Interpreted frame)
- java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await() @bci=42, line=1987 (Interpreted frame)
- java.util.concurrent.LinkedBlockingQueue.take() @bci=29, line=399 (Interpreted frame)
- java.util.concurrent.ThreadPoolExecutor.getTask() @bci=78, line=947 (Interpreted frame)
- java.util.concurrent.ThreadPoolExecutor$Worker.run() @bci=18, line=907 (Interpreted frame)
- java.lang.Thread.run() @bci=11, line=662 (Interpreted frame)
Thread 15687: (state = BLOCKED)
- sun.misc.Unsafe.park(boolean, long) @bci=0 (Interpreted frame)
- java.util.concurrent.locks.LockSupport.park(java.lang.Object) @bci=14, line=156 (Interpreted frame)
- java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await() @bci=42, line=1987 (Interpreted frame)
- java.util.concurrent.LinkedBlockingQueue.take() @bci=29, line=399 (Interpreted frame)
- java.util.concurrent.ThreadPoolExecutor.getTask() @bci=78, line=947 (Interpreted frame)
- java.util.concurrent.ThreadPoolExecutor$Worker.run() @bci=18, line=907 (Interpreted frame)
- java.lang.Thread.run() @bci=11, line=662 (Interpreted frame)
同时，由于无法创建线程，RPC通信也会阻塞，
2012-12-28 10:37:28,710 WARN org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking renewLease of class ClientNamenodeProtocolTranslatorPB. Trying to fail over immediately.
2012-12-28 10:37:28,716 WARN org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking renewLease of class ClientNamenodeProtocolTranslatorPB after 1 fail over attempts. Trying to fail over immediately.
2012-12-28 10:37:28,721 WARN org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking renewLease of class ClientNamenodeProtocolTranslatorPB after 2 fail over attempts. Trying to fail over immediately.
。。。
。。。
2012-12-28 10:37:28,795 WARN org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking renewLease of class ClientNamenodeProtocolTranslatorPB after 14 fail over attempts. Trying to fail over immediately.
2012-12-28 10:37:28,802 WARN org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.renewLease. Not retrying because failovers (15) exceeded maximum allowed (15)
java.io.IOException: Failed on local exception: java.io.IOException: Couldn’t set up IO streams; Host Details : local host is: “Tdatanode0/10.28.169.126″; destination host is: “sdc1″:9000;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:760)
at org.apache.hadoop.ipc.Client.call(Client.java:1168)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at $Proxy11.renewLease(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.renewLease(ClientNamenodeProtocolTranslatorPB.java:452)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at $Proxy12.renewLease(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.renewLease(DFSClient.java:613)
at org.apache.hadoop.hdfs.LeaseRenewer.renew(LeaseRenewer.java:411)
at org.apache.hadoop.hdfs.LeaseRenewer.run(LeaseRenewer.java:436)
at org.apache.hadoop.hdfs.LeaseRenewer.access$700(LeaseRenewer.java:70)
at org.apache.hadoop.hdfs.LeaseRenewer$1.run(LeaseRenewer.java:297)
at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Couldn’t set up IO streams
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:640)
at org.apache.hadoop.ipc.Client$Connection.access$1700(Client.java:220)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1217)
at org.apache.hadoop.ipc.Client.call(Client.java:1144)
… 15 more
Caused by: java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:640)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:633)
… 18 more
对每个NameNode都会尝试两次连接 set up IO streams，周期性的进行连接请求，即NN1连接不成功(尝试连接2次)，然后就去尝试连接NN2(若尝试连接2次，不成功，就再去连接NN1)，每次尝试连接NN后，都会有15次的更新租约尝试，当然，连接不上NN，租约更新也是失效的。
同时，由于此均衡是在NN上操作的，此NN节点会出现僵死状态(在NN上进行均衡仅为测试用，真正使用时不会在NN上)，通过web不能访问，因为操作不能再创建新的线程。并且，如果当前是在active节点上进行的操作，而且在配置文件中配置了允许HA自动切换，那么此时会发生HA自动切换，即当前的standby节点变为active节点。
可以在linux下更改参数进行扩大线程创建的数量：
更改之前：
通过命令ulimit -u 65535临时修改，或者通过修改配置文件永久修改：/etc/security/limits.conf
同时也可以修改栈空间所占的大小，默认是10240字节，可以通过ulimit -s 1024修改为1024字节，减少每个堆栈的使用空间，也可以增加线程的数量。
另外，在均衡过程中，Balancer的内存使用情况如下：
所占内存大概是140M左右。在运行过程中，会产生一些垃圾文件，因为节点硬件的限制，所以必须对缓存进行清理：
若出现socket连接异常，则块移动失败，则会提示：
2012-12-21 13:10:42,915 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Error moving block -5503762968190078708 from 10.28.169.225:50010 to 10.28.169.122:50010 through 10.28.169.225:50010: Connection reset
均衡之后：
当出现日志：
2012-12-28 12:20:00,430 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.28.169.122:50010
2012-12-28 12:20:00,431 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.28.169.225:50010
2012-12-28 12:20:00,431 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.28.169.126:50010
2012-12-28 12:20:00,431 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 over-utilized: []
2012-12-28 12:20:00,431 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 underutilized: []
均衡操作结束，因为Over组没有DataNode，Under组也没有DataNode，此时：
在均衡操作之前： clusterAvg1
=集群dfs已使用空间/集群总空间
=(12.7+12.19+4.62)/(49.22+49.22+49.22)
=19.99%
我们在做均衡时所设定的阈值为5，即百分之5，clusterAvg1-5%=14.99%，clusterAvg1+5%=24.99%，而Tdatanode0的空间使用率是25.81%，超过 24.99% ，属于over节点，sdc2的空间使用率是9.4%，低于14.99%，属于under节点，datanode0的空间使用率是24.76%，高于14.99%但是低于24.99%，属于above节点，符合均衡操作的发生条件。
集群的空间平均使用率为： clusterAvg2
=集群dfs已使用空间/集群总空间
=(12.7+11.46+8.91)/(49.22+49.22+49.22)
=22.41%
我们在做均衡时所设定的阈值为5，即百分之5，clusterAvg2-5%=17.41%，clusterAvg2+5%=27.41%，所有的DN的空间使用率都在17.41%–27.41%中间，说明集群已经达到均衡状态。
转载：http://www.tuicool.com/articles/uaaEve