dagger:动态分散式实时流处理框架

时间:2021-05-10 15:59:27
【文件属性】:
文件名称:dagger:动态分散式实时流处理框架
文件大小:72KB
文件格式:ZIP
更新时间:2021-05-10 15:59:27
Go Dagger是基于发布和订阅数据流的动态实时流处理框架。 如果有人真正订阅并使用该计算,则仅对一个或多个数据流执行计算。 例如,将数据流持久保存到DB的过程订阅了节点的CPU利用率流(平均每分钟1分钟)。 这意味着只要该进程在运行,平均每分钟CPU使用率的计算就会运行。 当管理员打开一个仪表板以显示5秒钟内平均CPU利用率的实时图表时,第二次计算将启动,这将提供5秒钟内的平均CPU利用率。 当管理员关闭仪表板时,计算将关闭,因为不再有人对其数据感兴趣。 这样,仅在必要时才进行网络上的计算和数据传输,从而节省了计算周期并减少了网络流量。 该软件是正在制作的原型。 它是为我的而开发。 特性 多语言插件 可以使用任何语言编写用于流处理的插件,并通过JSON-RPC进行接口。 恰好一次交货 确保使用重试和有效的重复数据删除。 时间戳排序的处理 即使在处理来自不同流的记录时,Dagger也
【文件预览】:
dagger-master
----client()
--------client.go(2KB)
----computations()
--------computation-count()
--------computation-foo()
--------computation-sum()
--------computation-alarm()
--------computation-max()
--------computation.go(2KB)
--------computation-bar()
--------computation-avg()
--------computation-min()
--------time_buckets.go(3KB)
----contributors.txt(10B)
----command()
--------worker.go(2KB)
--------config.go(4KB)
--------subscriber.go(3KB)
--------producer.go(2KB)
--------signal.go(494B)
--------httpapi.go(1KB)
----producers()
--------producer-test()
--------producer.go(894B)
----dagger()
--------http_api.go(6KB)
--------lwm_tracker.go(2KB)
--------mocks.go(12KB)
--------receiver.go(5KB)
--------persister_test.go(351B)
--------deduplicator.go(1KB)
--------tasks.go(6KB)
--------deduplicator_test.go(1KB)
--------shared_structs.go(2KB)
--------coordinator.go(4KB)
--------match.go(3KB)
--------dispatcher.go(10KB)
--------config.go(396B)
--------consul_test.go(6KB)
--------tuple_processor.go(1KB)
--------computations.go(8KB)
--------tasks_test.go(2KB)
--------consul.go(18KB)
--------match_test.go(2KB)
--------linearizer.go(3KB)
--------persister.go(9KB)
--------coordinator_test.go(5KB)
----Dockerfile(277B)
----Dockerfile.scratch(59B)
----main.go(346B)
----docker-compose.yml(356B)
----LICENSE.md(1KB)
----.gitignore(7B)
----run_consul_dev.sh(152B)
----Makefile(503B)
----README.md(8KB)

网友评论