文件名称:Streaming Systems
文件大小:6.86MB
文件格式:RAR
更新时间:2021-10-30 03:35:21
Streaming Sy Tyler Akidau pdf
Streaming System这本书的强大之一,或者说Beam Model数据流处理思想的强大之一,就在于可以用这套思想来套路几乎任何系统,比如我们可以用Beam Model的思想来理解Spanner的truetime在分布式事务中的使用,可以假设每台机器的本地时钟的流动就好像watermark的流动(假设通过超光速往下游流动,方便理解,后边拿掉),任何参与事务的机器的prepare就好像他们的prepare event和watermark一起流动到了coordinator,coordinator使用一个session window和atWarterMark Trigger等待所有参加事务的event到达,选择commit时间戳且所有上游的watermark超过这个commit时间戳,作为session window的结束。可以看到coordinator决定commit时间戳之后需要等待的时间必定不超过ε,所以就算不通讯(拿掉超光速watermark时间戳流)去持续等待上游的watermark,coordinator也可以通过等待ε来保证commit时间戳的单向增长性。
【文件预览】:
Streaming Systems - Tyler Akidau.pdf
readme.txt