文件名称:lrucacheleetcode-stream-processing-system-design:流处理
文件大小:890KB
文件格式:ZIP
更新时间:2024-07-19 17:13:34
系统开源
lru缓存leetcode 流处理 简单的键/值对和流有什么区别? 海量数据源源不断 分析在数据窗口上运行 不在完整数据上运行 例如,物联网设备将大量数据泵送到中心位置 中心位置会做滑动窗口处理 最好的例子是应用程序健康监控 AWS 办公室有大监视器来显示不同集群的实时状态 步骤1: 一种。 功能需求 想象一个数据中心有数千(1000)台服务器,每台服务器每秒发出数千(2000)个指标(例如 CPU、内存、磁盘利用率)。 我们需要构建一个服务于仪表板的系统 给定服务器 id,返回 2 天时间窗口内所有指标的最小值、最大值、平均值(以 1 分钟为粒度)。 给定一个度量 id,返回所有服务器的 min、max、avg,时间窗口为 2 天(粒度为 1 分钟) 给定服务器 ID 和时间范围,返回所有指标的最小值、最大值、平均值 给定指标 ID 和时间范围,返回所有服务器的最小值、最大值和平均值 湾收集设计约束 数据将保留 5 年 第2步 一种。 将功能需求分桶为微服务 有两个微服务。 数据收集 - 发布/订阅 这些服务器以一定的速度生成 与生产者相比,消费者的消费速度较慢 服务器将产生突发数据
【文件预览】:
stream-processing-system-design-master
----assets()
--------ring-buffer-ds.png(887KB)
----README.md(7KB)