文件名称：HDFSEC：将纠删码技术融入HDFS
文件大小：402KB
文件格式：PDF
更新时间：2024-03-17 21:34:13
HDFSEC：将纠删码技术融入HDFS
在HDFS中，可靠性通过多副本的方式来实现，从而较低的存储利用率成为时下基于HDFS应用的主要问题之一。本文将详细介绍HDFS一个新的特性——ErasureCoding（EC），它在保证同等（或者更高）可靠性的情况下将存储利用率提高了近一倍。近些年，随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。然而，随着需要存储的数据被越来越快的产生，越来越高的HDFS存储利用率要求被提出。而对于一个分布式文件系统来说，可靠性必不可少。因此，在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。因此，在保证可靠性的前提下如何提高