3月25日,Hadoop 3.0.1版本正式发布,这也让Hadoop正式迈入3.0时代。时隔两周,Apache Hadoop 3.1.0正式发布。与之前的版本(hadoop-3.0)相比,新版本具有许多重要的增强功能,比如支持GPU和FPGA。
不过,新版本暂不推荐在正式生产环境中使用。如果需要,请等待更稳定的3.1.1或者3.1.2版本。
以下简要介绍主要功能和改进:
Yarn Service框架提供一流的支持和API来长期运行在YARN中的原生托管服务。简而言之,它作为一个容器管理平台管理YARN上的集装箱化服务,支持YARN中的容器集装箱和传统的基于容器的过程。
YARN上的一流GPU调度和隔离(适用于docker和non-docker containers)。
YARN上的一流FPGA调度和隔离(适用于docker和non-docker containers)。
在YARN中支持更多布局约束。这些约束对于应用程序的性能和弹性至关重要,尤其是那些包含长期运行容器的应用程序,如服务,机器学习和流式工作负载。
例如,将同一机器上的任务分配(相似性约束)以降低网络成本,扩展机器之间的分配(非相似性约束)以最小化资源干扰,或者允许达到特定节点组的分配数量(基数约束)以在两者之间取得平衡。放置的位置也会决定弹性。例如,放置在同一可用区域内的集群将同时脱机。
支持管理员为队列指定绝对资源(X内存,Y VCores,Z GPU等),而不是提供基于百分比的值。这让管理员可以更好控制给定队列配置所需的资源量。
提供的存储允许将存储在HDFS之外的数据映射到HDFS并从HDFS进行寻址。它通过向DataNode中的媒体集引入新的存储类型PROVIDED,构建异构存储。