文件名称：cipher:基于hdfs spark的视频非结构化数据计算
文件大小：40.54MB
文件格式：ZIP
更新时间：2024-06-05 06:23:23
Java
cipher 现有的大数据平台Hadoop、Spark等都在处理文本数据方面具有很好的支持，并且效率也经过了各种优化，所以在利用分布式框架来处理日志类数据，工作难度往往是如何对这些数据进行逻辑上的处理。但是对于非结构化数据，现有的并行处理架构是不支持的，如果只是简单的将数据存储到HDFS，然而并不能进行数据处理。本项目是基于HDFS来存储视频数据，利用Spark来对其进行机器视觉算法分析。我希望能够将其他非结构化数据处理也加入其中，有兴趣的希望加入我。 本项目分为四个模块： algorithm：算法部分，将c++版本的opencv算法通过javacpp将其翻译成对应的java接口。 core：作为分布式计算的核心部分，继承FileInputFormat，实现了用于处理Video的Format。并实现了Spark分布式程序。 spring：利用Spring MVC将计算的结果展示到前端（这部