分布式学习材料Distributed System Prerequisite List

时间:2023-02-18 11:11:39

接下的内容按几个大类来列:
1. 文件系统
a. GFS – The Google File System
b. HDFS
1) The Hadoop Distributed File System
2) The Hadoop Distributed File System: Architecture And Design
c. XFS – The Tencent File System

2. 数据库系统
a. BigTable – BigTable: A Distributed Storage System for Structured Data
b. HBase – The Apache HBase Reference Guide
c. Dynamo – Dynamo: Amazon’s Highly Available Key-Value Store
d. Megastore – Megastore: Providing Scalable, Highly Available Storage for Interactive Services
e. Spanner – Spanner: Google’s Globally-Distributed Database
f. Azure – Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency
g. Percolator – Large-scale Incremental Processing Using Distributed Transactions and Notifications

3. 机群/资源管理系统
a. Omega – Omega: Flexible, Scalable Schedulers for Large Compute Clusters
b. Autopilot – Autopilot: Automatic Data Center Management
c. Yarn
1) Architecture of Next Generation Apache Hadoop MapReduce Framework
2) The Next Generation of Apache Hadoop Mapreduce
3) Introducing Apache Hadoop YARN
d. Mesos – A Platform for Fine-Grained Resource Sharing in the Data Center

4. 计算框架:
a. MapReduce – MapReduce: Simplified Data Processing on Large Clusters
b. Storm – Storm: Distributed and Fault-Tolerant Realtime Computaion
c. Spark – Spark: Cluster Computing with Working Sets
d. Impala – Cloudera Impala: Real-Time Querie in Apache Hadoop
e. Dremel – Dremel: Interactive Analysis of Web-Scale Datasets
f. Hive/Stinger
1) Hive: A Warehousing Solution Over a MapReduce Framework
2) Hive: A Petabyte Scale Data Warehouse Using Hadoop
3) The Stinger Initiative: Making Apache Hive 100 Times Faster
4) Stinger, Interactive Query for Apache Hive
g. FlumeJava/Crunch
1) FlumeJava: Easy, Efficient Data-Parellel Pipelines
2) Introducing Crunch: Easy MapReduce Pipelines for Apache Hadoop
h. Tez
1) Apache Hadoop Tez
2) Apache Tez: A New Chapter in Hadoop Data Processing
g. Presto – Presto: Interacting with petabytes of data at Facebook

5. 分布式一致性
a. Paxos – Paxos Made Simple
b. Zookeeper
1) Zookeeper: A Distributed Coordination Service for Distributes Applications
2) Zookeeper: Wait-free Coordination for Internet-scale Systems
c. Chubby – The Chubby Lock Service for Loosely-coupled Distributed Systems
d. Raft – In Search of an Understandable Consensus Algorithm

6. 其它
a. SequenceFile – Sequence File Format
b. SSTable
1) SSTable and Log Structured Storage: LevelDB
2) SSTable Storage Format
c. RCFile – RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems
d. ORCFile – ORC File Format
e. Parquet – Parquet: Columnar Storage for The People

分布式学习材料Distributed System Prerequisite List的更多相关文章

  1. 分布式系统(Distributed System)资料

    这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我.但 ...

  2. 分布式学习系列【dubbo入门实践】

    分布式学习系列[dubbo入门实践] dubbo架构 组成部分:provider,consumer,registry,monitor: provider,consumer注册,订阅类似于消息队列的注册 ...

  3. 译《Time, Clocks, and the Ordering of Events in a Distributed System》

    Motivation <Time, Clocks, and the Ordering of Events in a Distributed System>大概是在分布式领域被引用的最多的一 ...

  4. Note&colon; Time clocks and the ordering of events in a distributed system

    http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf 分布式系统的时钟同步是一个非常困难的问题,this ...

  5. &lbrack;源码解析&rsqb; PyTorch 分布式&lpar;14&rpar; --使用 Distributed Autograd 和 Distributed Optimizer

    [源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer 目录 [源码解析] PyTorch 分布式(14) - ...

  6. KASS分布式文件系统&lpar;Kass File System&rpar;

    KASS分布式文件系统(Kass File System),简称KFS,是开始公司自主研发的分布式文件存储服务平台.KFS系统架构及功能服务类似Hadoop/GFS/DFS,它通过HTTP-WEB为上 ...

  7. Linux C编程语言学习材料

    C语言作为最基础的编程语言,30年虚弱的患病率. 无论是准备做 PHP/Java/Python/Golang 开发学习.C语言都是基础的,我们非常多基础非常小的互联网执行的开源软件服务都是C语言构筑, ...

  8. Aysnc-callback with future in distributed system

    Aysnc-callback with future in distributed system

  9. wxWidgets刚開始学习的人导引(6)——wxWidgets学习材料清单

    wxWidgets刚開始学习的人导引全文件夹   PDF版及附件下载 1 前言2 下载.安装wxWidgets3 wxWidgets应用程序初体验4 wxWidgets学习资料及利用方法指导5 用wx ...

随机推荐

  1. 吉特仓库管理系统&lpar;开源&rpar;-如何在网页端启动WinForm 程序

    在逛淘宝或者使用QQ相关的产品的时候,比如淘宝我要联系店家点击旺旺图标的时候能够自动启动阿里旺旺进行聊天.之前很奇怪为什么网页端能够自动启动客户端程序,最近在开发吉特仓储管理系统的时候也遇到一个类似的 ...

  2. 虚拟机下Linux读取USB设备的问题虚拟机下Linux无法读取USB设备的解决方案

    我们在虚拟机中识别USB设备有三种情况导致Linux系统不能读取到USB设备: 1. .当虚拟机的USB服务没有开启的时候 2. 若虚拟机的USB连接的设置选项没有设置好 3. Widows抢先一步, ...

  3. win7绕过开机密码攻略

    访问windows机器,经常会因为忘记了开机密码而苦恼.当然你也可以选择重装,这样最简单粗暴.如果有重要数据保存在C盘之类的(个人严重推荐不要保存到C盘),那就不是重装能解决的问题了.2014年12月 ...

  4. Codeforces 552C Vanya and Scales(思路)

    题目大概说有101个质量w0.w1.w2.....w100的砝码,和一个质量m的物品,问能否在天平两边放物品和砝码使其平衡. 哎,怎么没想到..注意到w0.w1.w2.....w100—— 把m转化成 ...

  5. Spring-事物配置

    Spring框架支持事务管理的核心是事务管理器抽象,对于不同的数据访问框架(如Hibernate)通过实现策略接口PlatformTransactionManager,从而能支持各种数据访问框架的事务 ...

  6. iOS深入学习(UITableView:系列1-最基本的东西)

    这是UITableView博客系列的第一篇,使用xib和arc编码,主要讲解一些UITableView使用过程中简单的.但是又容易被忽略的东西,而且我会告诉读者,怎样在使用了之后就再也不会忘记. 操作 ...

  7. 查看当前正在被执行的sql

    由于在公司服务器上在某个时段查询某个sql执行比较慢,由来查询当前正在被执行的sql Select t.text,SUBSTRING(t.text, (r.statement_start_offset ...

  8. 请求库之selenium模块

    本片导航: 介绍及安装 基本使用 选择器 等待元素被加载 元素交互操作 其他及练习   一.介绍 1.简单概述 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无 ...

  9. 基于vue开发的element-ui树形控件报错问题解决

    对没错,这次又是ElementUI的问题,在使用ElementUI中的 tree 树形控件时需要动态添加DOM元素,但是在使用文档中给出的案例的时候会报错. 案例:ElementUI树形控件 - 自定 ...

  10. &lbrack;UE4&rsqb;Horizontal Box

    HorizontalBox是让子控件水平排列. 属性图如下 Padding 留白.当子控件定义好位置与大小之后,再按padding的值,偏移,这个属性会影响子控件在布局里的位置.一般用于间隔 上下左右 ...