文件名称：Java版水果管理系统源码-flume-kafka-storm:大数据实时计算的基础框架
文件大小：64KB
文件格式：ZIP
更新时间：2024-06-24 19:51:19
系统开源
Java版水果管理系统源码 o flume 数据采集； kafka 大数据的mq,用于实时数据传递； storm 实时数据传递； kafka:测试ok Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样，设计非常独特。首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，只要你不搞随机写，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器，这样服务器就不用记录消息的投递过程，每个客户端都自己知道自己下一次应该从什么地方什么位置读取消息，消息的投递过程也是采用客户端主动pull的模型，这样大大减轻了服务器的负担。Kafka还强调减少数据的序列化和拷贝开销，它会将一些消息组织成Message Set做批量存储和发送，并且客户端在pull数据的时候，尽量以zero-copy的方式传输，利用sendfile（对应java里的 FileChannel.transfer
【文件预览】：
flume-kafka-storm-master
----hbase-etc()
--------hbase-policy.xml(2KB)
--------hbase-site.xml(2KB)
--------log4j.properties(3KB)
--------hadoop-metrics2-hbase.properties(1KB)
--------regionservers(10B)
--------hbase-env.sh(7KB)
----flume-conf()
--------flume.conf(746B)
--------flume.conf.mongodb(845B)
--------log4j.properties(3KB)
--------flume.conf.example1(687B)
--------.DS_Store(6KB)
--------flume-env.sh.template(1KB)
--------derby.log(700B)
--------flume.conf.kafka(2KB)
--------flume.conf.hbase(1KB)
--------flume-conf.properties.template(2KB)
--------metastore_db()
--------flume-env.sh(1KB)
--------flume.conf.nginx(733B)
----hadoop-etc()
--------yarn-site.xml(748B)
--------kms-log4j.properties(2KB)
--------ssl-client.xml.example(2KB)
--------slaves(10B)
--------httpfs-signature.secret(21B)
--------ssl-server.xml.example(2KB)
--------capacity-scheduler.xml(4KB)
--------yarn-env.sh(4KB)
--------hadoop-policy.xml(9KB)
--------mapred-env.sh(1KB)
--------httpfs-env.sh(1KB)
--------kms-site.xml(5KB)
--------log4j.properties(11KB)
--------core-site.xml(871B)
--------hadoop-metrics2.properties(3KB)
--------kms-env.sh(1KB)
--------configuration.xsl(1KB)
--------hadoop-env.sh(4KB)
--------kms-acls.xml(3KB)
--------hdfs-site.xml(856B)
--------container-executor.cfg(318B)
--------httpfs-site.xml(620B)
--------httpfs-log4j.properties(2KB)
--------mapred-site.xml.template(758B)
--------mapred-queues.xml.template(4KB)
--------hadoop-metrics.properties(2KB)
----kafka-config()
--------producer.properties(2KB)
--------test-log4j.properties(3KB)
--------log4j.properties(4KB)
--------server.properties(5KB)
--------consumer.properties(1KB)
--------zookeeper.properties(1KB)
--------tools-log4j.properties(995B)
----Readme.MD(19KB)
----.idea()
--------scopes()
--------misc.xml(9KB)
--------vcs.xml(167B)
--------.name(17B)
--------flume-kafka-storm.iml(336B)
--------copyright()
--------modules.xml(286B)
--------encodings.xml(164B)
--------compiler.xml(709B)