基于arm架构单片机的hadoop服务器尝试

时间:2024-02-25 21:41:08
 

之前听说了百度用arm服务器搭建了webserver和网盘之类的东西,然后又看到有人用android电视棒里面装ubuntu,于是就有了用arm尝试做hadoop服务器的想法。但是目前arm 64位的cpu还没有出货,所以这只是个前奏性质的尝试。

从淘宝上面买了一个arm的单片机,上面有一颗基于ARMv7架构的单核cpu,1G内存,4G存储。但是最主要的,是上面有网卡接口,虽然是100M的,但这让构建集群成为了一个可能。另外这个比树莓派更好的是,上面有sata硬盘的接口,这样,存储的问题也可以解决。虽然我现在手里没有sata 2.5寸的硬盘,但是起码给了个想象的空间。

 

很小的一块板子,表就是casio的ef339,去年博客大赛的奖品,也是我唯一的一块表,而且我不担任任何公职,也不是党员,不要平我祖坟。

 

关于操作系统方面,cubieboard本身内置android 4.0.4,连上HDMI在电视上刷微博很爽,40寸的大pad,谁有?但是android不是我们所需要的,可以用linaro系统,for arm的ubuntu。从网上找了一个国外网友自制的linaro server版,用工具烧进TF(microSD)卡。不比自己本身的android启动速度快,这个启动速度比较慢。不过要做好心理准备,TF卡一旦烧了操作系统img上去,就再也不能当存储用了。

昨天晚上在家通过网线用apt-get install 了openjdk6,也下载好了hadoop-1.0.4。今天在公司利用午休时间配置了单机的hadoop环境。并跑了一下pi任务,结果比我想象的要好,先看几张图吧,最后写上测试数据和对比测试数据。

 

开机启动图

因为公司绑定mac,所以没有联网,懒得去找ops做mac绑定了。

 

测试命令,启动10个map,每map投掷100次飞镖,计算pi值。因为主要是看cpu计算能力,sd卡当存储,肯定拼不过sata硬盘的速度。下图有cpu信息和操作系统的信息。

 

cpu信息大图

 

连线图,本身采用HDMI作为显示输出,还得去找HDMI转VGA的转换头。

 

 

arm hadoop服务器大小,比*略大。

 

最后让我们回到数据上来,琢磨这种方式其实我最关心的是性价比,主要看多少颗arm v7可以顶一颗intel cpu。因为除去这一点,硬盘,内存等等都是必不可少的开销,用哪种架构都是一样的。而性价比主要就集中在cpu单价和能耗上。

在64位arm没有出来以前,就拿arm v7说事吧。

用台式机里的intel做虚拟机单核1G内存做了个对比,Hadoop pi 任务对比数据如下。

首先intel和arm的hadoop配置相同,都是hadoop官网的单机,单复制块默认配置,HEAPSIZE均设置为128M。

午休时间有限,只做了pi的测试。而且没有服务器上的虚拟机,没法测试至强CPU的性能,台式机做个大概的参考好了。

 

测试命令:sudo -u hadoop hadoop jar hadoop-example-1.0.4.jar pi 10 100

  第一次 第二次 第三次
intel i3 2100 1core centos  82.064s  75.992s  81.971s
arm v7 1core ubuntu  173.46s  157.165s  168.397s

 读写存储的效率对比,分别顺序读写200M文件。

intel+机械硬盘 200M写,500M读

arm+sd卡 60M写,60M读,可见读写硬盘intel占大便宜了,不过因为没有外挂硬盘,所以也不知道arm读写效率如何。sd卡就别想了,太慢了,尽管这个SD卡已经算快的了。

 

且不论读写磁盘操作的差距,仅以这个作为计算能力的差距参考,可以看到,大概2-3颗arm v7可以抵的上intel i3 2100里面的一个核,那么大概12颗可以超越一颗i3 2100。i3 2100的功耗每小时大概在50-60瓦左右,而12颗arm v7的功耗每小时不到4瓦。

在我写这篇作文的时候,i3 2100 大约600多一颗,12颗arm v7大约40美元,折合起来不到300。所以无论从能耗还是价格上看,arm cpu还是具备一定优势的。只是现在64位cpu没出来,做hadoop服务器没有什么计算优势,但是拿来当webserver或者存储服务器还是绰绰有余的。

 

不过我个人觉得,未来用arm服务器做hadoop服务器还是极具诱惑的。无论从能耗还是采购成本上,arm都很低廉,至少在我来看,还是很性感的。