Flink OLAP 在资源管理和运行时的优化

时间:2021-01-15 00:59:15

本文整理自字节跳动基础架构工程师曹帝胄在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 作业 QPS 和资源隔离是 Flink OLAP 计算面临的最大难题,也是字节跳动内部业务使用 Flink 执行 OLAP 计算需要解决的最大痛点。本次分享将围绕 Flink OLAP 难点和瓶颈分析、作业调度、Runtime 执行、收益以及未来规划五个方面展开介绍。

 

Flink OLAP in ByteDance

 

针对内部许多混合计算的需求场景,字节跳动提出了整合 AP 和 TP 计算的 ByteHTAP 系统,同时将 Flink OLAP 作为ByteHTAP 的 AP 计算引擎。在字节跳动一年多的发展中, Flink OLAP 已经部署支持了 20+的 ByteHTAP 线上集群,集群规模达到 16000+Cores,每天承担 50w Query 的AP流量。

Flink OLAP 在资源管理和运行时的优化