文件名称:Histogram_of_pixels_using_Apache_Spark:使用Apache Spark的数据分析程序
文件大小:35KB
文件格式:ZIP
更新时间:2024-03-07 12:27:57
Shell
项目描述 该项目的目的是使用Spark和Scala重新实现像素程序直方图Apache,以获得更好的性能。 图像中的像素可以使用3种颜色表示:红色,绿色和蓝色,其中每种颜色强度都是0到255之间的整数。该项目有一个Spark-Scala程序,该程序可以为每种颜色得出直方图。 例如,对于红色,直方图将指示数据集中有多少像素的绿色值等于0,等于1等(256个值)。 像素文件是一个文本文件,每个像素有一个文本行。 例如,线23,140,45 代表红色= 23,绿色= 140和蓝色= 45的像素。 要编译并运行项目,请导航到给定目录并执行以下步骤: mvn安装〜/ spark-1.5.2-bin-hadoop2.6 / bin / spark-submit --class直方图目标/histogram.jar pixels-small.txt
【文件预览】:
Histogram_of_pixels_using_Apache_Spark-master
----pom.xml(2KB)
----histogram.local.run(370B)
----histogram.local.out(14KB)
----solution-large.txt(9KB)
----histogram.distr.out(62KB)
----src()
--------main()
----classes()
--------Histogram$$anonfun$1.class(2KB)
--------Histogram$.class(2KB)
--------Histogram$$anonfun$main$1.class(1KB)
--------Histogram$$anonfun$main$2.class(2KB)
--------Histogram.class(715B)
----histogram.distr.run(774B)
----pixels-small.txt(1KB)
----README.md(924B)
----histogram.build(291B)
----histogram.jar(5KB)
----solution-small.txt(2KB)