Flink 介绍(特性、概念、故障容错、运维部署、应用场景)

时间:2024-10-12 07:03:30
  • 多种状态基础类型:Flink为不同数据结构提供状态基础类型,如原子值(value)、列表(list)和映射(map),开发者可根据访问方式选择最适合的类型。
  • 插件化的State Backend:State Backend管理应用状态,支持checkpoint。Flink有多种存储方式,如内存和RocksDB,也支持自定义存储。
  • 精确一次语义:Flink 的 checkpoint 和故障恢复算法保证了故障发生后应用状态的一致性。因此,Flink 能够在应用程序发生故障时,对应用程序透明,不造成正确性的影响。
  • 超大数据量状态:Flink 能够利用其异步以及增量式的 checkpoint 算法,存储数 TB 级别的应用状态。
  • 可弹性伸缩的应用:Flink 能够通过在更多或更少的工作节点上对状态进行重新分布,支持有状态应用的分布式的横向伸缩。