文件名称：spydra:使用Google Compute Platform的临时Hadoop集群
文件大小：138KB
文件格式：ZIP
更新时间：2024-06-15 13:14:21
hadoop google-cloud dataproc Java
Spydra（测试版） 使用Google Compute Platform的临时Hadoop集群 描述 Spydra是“ Hadoop集群即服务”，实现为利用和。 Spydra的目的是启用临时Hadoop群集，同时隐藏群集生命周期管理的复杂性并简化故障排除过程。 Spydra被设计为集成为hadoop jar替代品。 Spydra是Spotify将其数据基础架构迁移到Google Compute Platform的工作的一部分，并且已在生产中使用。 Spydra的原理和设计基于我们在将Hadoop集群扩展和维护到2500多个节点和100 PB的容量（每天运行大约20,000个独立作业）的经验的基础上。 Spydra支持向Dataproc以及现有的本地Hadoop基础结构提交数据处理作业，并且旨在简化向Google Cloud Platform和本地基础结构的迁移和/或双重使用。 S