文件名称:summingbird:通过缩放和风暴流式传输MapReduce
文件大小:438KB
文件格式:ZIP
更新时间:2024-03-13 23:25:40
Scala
总结鸟 Summingbird是一个库,可让您编写看起来像本机Scala或Java集合转换的MapReduce程序,并在许多著名的分布式MapReduce平台(包括和上执行它们。 虽然纯Scala中的单词计数聚合看起来像这样: def wordCount ( source : Iterable [ String ], store : MutableMap [ String , Long ]) = source.flatMap { sentence => toWords(sentence).map(_ - > 1L ) }.foreach { case (k, v) => store.update(k, store.get(k) + v) } Summingbird中的单词计数看起来像这样: def wordCount [ P < : Platfor