文件名称：shuttle:基于Galaxy的快速计算框架
文件大小：178KB
文件格式：ZIP
更新时间：2024-05-17 22:20:38
C++
Copyright 2015, Baidu, Inc. 概述 shuttle是一个基于的Map Reduce计算框架。其底层采用分布式文件系统保存中间数据，具有较好的稳定性和速度。 shuttle提供类似Hadoop用户界面，能够方便的递交不同种类的任务及监视其状态。 shuttle目前仍在不断完善和发展，致力于提供更好的用户体验、更丰富的配置与功能以及更快的运算速度。 系统架构 shuttle与经典的Map Reduce架构类似，其利用Galaxy进行资源管理及任务调度，并从HDFS上获取输入并将输出存储在HDFS上，中间数据保存于HDFS或NFS上。 shuttle由client/sdk、Master、Minion三者组成。Master将地址写入，方便client/sdk以及Minion进行寻址和通信。 Master负责接受并处理client/sdk发来的请求，管理元数据，利用Gala
【文件预览】：
shuttle-master
----.travis.yml(0B)
----sandbox()
--------hdfs_env.sh(1KB)
--------plot_job_chart.py(3KB)
--------sch.py(11KB)
----depends.mk(755B)
----LICENSE(1KB)
----src()
--------client()
--------sdk()
--------master()
--------minion()
--------sort()
--------common()
----COMAKE(6KB)
----build_galaxy.sh(251B)
----doc()
--------shuttle_design.md(4KB)
--------shuttle.png(65KB)
----.gitignore(262B)
----Makefile(5KB)
----README.md(2KB)
----proto()
--------minion.proto(673B)
--------sortfile.proto(316B)
--------shuttle.proto(3KB)
--------app_master.proto(4KB)
----build.sh(0B)