基于Storm的美团实时计算应用实践

时间:2021-02-22 04:32:25
【文件属性】:

文件名称:基于Storm的美团实时计算应用实践

文件大小:14.09MB

文件格式:PDF

更新时间:2021-02-22 04:32:25

spark

在Storm出现之前,进行实时处理是非常痛苦的事情,我们主要的时间都花在关注往哪里发消息,从哪里接收消息,消息如何序列化,真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上,但这些worker需要各自单独部署,还需要部署消息队列。最大问题是系统很脆弱,而且不是容错的:需要自己保证消息队列和worker进程工作正常。 Storm完整地解决了这些问题。它是为分布式场景而生的,抽象了消息传递,会自动地在集群机器上并发地处理流式计算,让你专注于实时处理的业务逻辑


网友评论