sparkR介绍及安装

SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应每一个RDD元素的运算。

sc <- sparkR.init("local")

lines <- textFile(sc, "hdfs://data.txt")

wordsPerLine <- lapply(lines, function(line) { length(unlist(strsplit(line, " "))) })

除了常见的RDD函数式算子reduce、reduceByKey、groupByKey和collect之外，SparkR也支持利用 lapplyWithPartition 对每个RDD的分区进行操作。 SparkR也支持常见的闭包（closure）功能：用户定义的函数中所引用到的变量会自动被发送到集群中其他的机器上。参见一下例子中用户闭包中引用的 initialWeights 会被自动发送到集群其他机器上。

lines <- textFile(sc, "hdfs://data.txt")

initialWeights <- runif(n=D, min = -1, max = 1)

createMatrix <- function(line) {

as.numeric(unlist(strsplit(line, " "))) %*% t(initialWeights)

}

# initialWeights is automatically serialized

matrixRDD <- lapply(lines, createMatrix)

用户还可以很容易的在已经安装了R开发包的集群上使用SparkR。includePackage 命令用于指示在每个集群上执行操作前读取开发包。以下是个例子：

generateSparse <- function(x) {

# Use sparseMatrix function from the Matrix package

sparseMatrix(i=c(1, 2, 3), j=c(1, 2, 3), x=c(1, 2, 3))

}

includePackage(sc, Matrix)

sparseMat <- lapplyPartition(rdd, generateSparse)

下面介绍如何安装SparkR　

第一步，安装R

参考http://www.myexception.cn/Linux-unix/680876.html

由于安装R依赖比较多，故利用iso文件创建本地yum源，见后【一】利用iso镜像文件创建本地yum源

1.1 安装依赖

yum install gcc

yum install gcc-c++

yum install gcc-gfortran

yum install pcre-devel

yum install tcl-devel

yum install zlib-devel

yum install bzip2-devel

yum install libX11-devel

yum install readline-devel #否则报”–with-readline=yes (default) and headers/libs are not available”错误

yum install libXt-devel #否则报”configure: error: –with-x=yes (default) and X11 headers/libs are not available”错误

yum install tk-devel

yum install tetex-latex

1.2 下载源码，编译安装R

下载http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.1.tar.gz

cd /softwares/R

tar -zxvf R-3.1.1.tar.gz

./configure --enable-R-shlib （如果使用rJava需要加上 --enable-R-shlib）

make && make install

第二步，安装rjava

参考 http://www.geedoo.info/page/3

在联网的情况下，可以进入R命令，安装rJava包：

1	`install.packages(“rJava”)`

如果待安装机器不能上网，可以将源文件下载到本地，然后通过shell命令R CMD INSTALL ‘package_name’来安装：

1	`R CMD INSTALL “rJava_0.9-5.tar.gz”`

下载 rJava_0.9-6.tar.gz http://cran.r-project.org/web/packages/rJava/

1 2	`cd /app/softwares/R` `R CMD INSTALL` `"rJava_0.9-6.tar.gz"`

第三步，安装sbt

下载 http://www.Scala-sbt.org/download.html

参考http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.html 进行安装

cd /softwares/sbt

unzip sbt-0.13.5.zip

cp sbt/sbt/bin/sbt-launch.jar ~/bin

vi2 ~/bin/sbt

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"

java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

chmod u+x ~/bin/sbt

[root@cnsz131016 ~]# mkdir -p /root/.ivy2/local/org.scala-sbt/sbt/0.13.5/jars/

[root@cnsz131016 ~]# cp /tmp/sbt.jar /root/.ivy2/local/org.scala-sbt/sbt/0.13.5/jars/

[root@cnsz131016 ~]# sbt

Getting org.scala-sbt sbt 0.13.5 ...

:: retrieving :: org.scala-sbt#boot-app

confs: [default]

1 artifacts copied, 0 already retrieved (20kB/69ms)

Error during sbt execution: No Scala version specified or detected

由于无法连接外网，所以没有安装成功。

第四步，安装 SparkR

下载 SparkR （http://amplab-extras.github.io/SparkR-pkg/）

mkdir SparkRInstall

cp amplab-extras-SparkR-pkg-e1f95b6.tar.gz SparkRInstall

cd SparkRInstall

tar -zxvf amplab-extras-SparkR-pkg-e1f95b6.tar.gz

cd amplab-extras-SparkR-pkg-e1f95b6

sh install-dev.sh

[root@cnsz031907 amplab-extras-SparkR-pkg-e1f95b6]# ./install-dev.sh

* installing *source* package ‘SparkR’ ...

** libs

** arch -

./sbt/sbt assembly

Attempting to fetch sbt

curl: (6) Couldn't resolve host 'typesafe.artifactoryonline.com'

curl: (6) Couldn't resolve host 'repo.typesafe.com'

Launching sbt from sbt/sbt-launch-0.12.4.jar

Error: Invalid or corrupt jarfile sbt/sbt-launch-0.12.4.jar

make: *** [target/scala-2.10/sparkr-assembly-0.1.jar] Error 1

ERROR: compilation failed for package ‘SparkR’

* removing ‘/app/SparkRInstall/amplab-extras-SparkR-pkg-e1f95b6/lib/SparkR’

由于连不上网，不能直接编译sparkR，故在能联网的机器上对SparkR进行编译，之后再上传使用sbt编译后的包。上传编译后的包之后，使用以下命令进行安装：

1	`sh install-dev.sh`

修改R权限，使所有人都可读

1	`chmod` `755` `-R /usr/local/lib64/R /usr/lib64/R /usr/local/bin/R`

执行示例：

[hadoop@cnsz031907 SparkR-pkg]$ ./sparkR examples/pi.R local

WARNING: ignoring environment value of R_HOME

Loading required package: methods

Loading required package: rJava

[SparkR] Initializing with classpath /app/SparkRInstall/SparkR-pkg/lib/SparkR/sparkr-assembly-0.1.jar

14/09/10 17:08:44 INFO Slf4jLogger: Slf4jLogger started

100000

Pi is roughly 3.13832

Num elements in RDD 200000

修改PATH和CLASSPATH，方便之后使用：

chmod 755 -R /app/SparkRInstall/

chown -R hadoop:hadoop /app/SparkRInstall/

ln -s /app/SparkRInstall/SparkR-pkg /app/sparkR

vi2 /etc/profile

export SPARKR_HOME=/app/sparkR

export PATH=$PATH:$SPARKR_HOME/

source /etc/profile

修改sparkR.profile的权限，因为该文件需要所有用户都可读写。

1	`chmod` `777` `/tmp/sparkR.profile`

【一】利用iso镜像文件创建本地yum源

1 2	`mkdir /app/iso` `mkdir /app/cdrom`

2. 将iso镜像文件上传到/app/iso文件夹下

3. 将/app/iso/下的iso文件挂载到/mnt/cdrom目录

1	`mount -o loop /app/iso/rhel-server-6.5-x86_64-dvd.iso /app/cdrom`

注：挂载完之后对其操作会提示设备繁忙，此时需要umount解开挂载才行

查看是否挂载成功： df -h <用来查看系统中所有挂载的，mount也可以

4.<最关键的一步>如果/etc/yum.repos/下面有其它的*.repo文件，先创建个文件夹，将这些*.repo先转移到文件夹中，自己写一个.repo的文件

1 2	`mkdir /etc/yum.repos.d/bak` `mv *.repo /etc/yum.repos.d/bak`

然后创建自己的.repo文件 vi myself.repo 内容如下：

[base]

name=RedHat

#注：这里的baseurl就是你挂载的目录，在这里是/mnt/cdrom

baseurl=file:///app/cdrom

#注：这里的值enabled一定要为1

enabled=1

gpgckeck的值无所谓

gpgckeck=0

#注：这个你cd /mnt/cdrom/可以看到这个key，这里仅仅是个例子

gpgkey=file:///app/cdrom/RPM-GPG-KEY-redhat-release

5. 测试：

1 2	`yum clean all` `yum install gcc-gfortran`

转自：http://www.cnblogs.com/Cherise/p/4342273.html

秒客网

sparkR介绍及安装

相关文章