文件名称：Sapient-Data-Engineer-Challenge:创建了数据管道以使用NiFi，Kafka和Spark传输数据流并生成实时警报
文件大小：716KB
文件格式：ZIP
更新时间：2024-05-19 02:22:21
pyspark data-engineering spark-streaming nifi Python
智能数据工程师的挑战 这是我处理在Analytics Vidhya上托管的挑战的方法。 我在这项挑战中获得第二名。 在这一挑战中，我不得不根据传感器数据生成警报。 给出详细的问题说明。 基本上，传感器每分钟生成一次数据。 我必须以流方式使用此数据，并在其上生成两种警报。 必须使用kafka组件从csv文件读取数据并将其发送到任何流引擎。 使用的软件： 镍铁 卡夫卡 Spark（流式处理和批处理） 实木复合地板 请检查以下文件： 问题陈述：此文件包含问题陈述以及数据描述。 数据管道文档：它具有有关管道的详细信息，例如数据流程图，预处理，空值插补和将来的范围。
【文件预览】：
Sapient-Data-Engineer-Challenge-master
----Data Piepline Document.pdf(751KB)
----Problem Statement.odt(21KB)
----Code()
--------BatchProcessingTest.py(5KB)
--------BatchProcessing.py(5KB)
--------StreamProcessingTest.py(2KB)
--------StreamProcessing.py(3KB)
--------housleholds.pkl(5KB)
--------README.md(1KB)
----README.md(1KB)