前提你的集群机器已经安装好jdk1.7.0_79、hadoop-2.7.3;
配置中使用了master01、slave01、slave02、slave03;
文中的所有操作都是在之前的文章http://www.cnblogs.com/mmzs/p/8031129.html基础上建立的,重复操作已经简写;
一、虚拟机中操作(启动网卡)
sh /install/initNetwork.sh
ifup eth0
二、基础配置(主机名、IP配置、防火墙及selinux强制访问控制安全系统)
vi /etc/sysconfig/network (配置磁盘中主机名字)
vi /etc/hosts (配置映射,)
hostname 主机名 (修改内存中主机名)
然后,重新链接查看是否成功;
vi /etc/sysconfig/network-scripts/ifcfg-eth0
查看内容是否设置成功:cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 (设置需要重启的设备的名字)
TYPE=Ethernet(以太网)
ONBOOT=yes (设置为yes)
NM_CONTROLLED=yes
BOOTPROTO=static (设置为静态)
IPADDR=192.168.238.130 (本机IP地址)
NETMASK=255.255.255.0 (子网掩码)
GATEWAY=192.168.238.2 (网关)(查询本机网关:route -n)
DNS1=192.168.238.2
DNS2=8.8.8.8 (谷歌IP地址)
vi /etc/sysconfig/selinux
修改:SELINUX=disabled
去掉注释查看selinux内容:
grep -Ev '^#|^$' /etc/sysconfig/selinux
永久关闭防火墙:
service iptables stop
chkconfig iptables off
三、配置ssh免密登录(为root用户配置免s密码登录)
只需要master登录到salve各个节点即可,无需反向
[root@master01 ~]# ssh-keygen -t rsa 创建公匙
[root@master01 ~]# ssh-copy-id slave02 拷贝公匙
大数据学习交流群:217770236 让我我们一起学习大数据
四、安装scala
1、上传安装包到/install/目录
[hadoop@master01 install]$ ls
initNetwork.sh scala-2.11.8.tgz spark-2.1.1-bin-hadoop2.7.tgz
2、解压到/software/目录
[hadoop@master01 install]$ tar -zxvf scala-2.11.8.tgz -C /software/
3、配置系统环境
[root@master01 install]# vi /etc/profile
JAVA_HOME=/software/jdk1.7.0_79
HADOOP_HOME=/software/hadoop-2.7.3
HBASE_HOME=/software/hbase-1.2.6
SCALA_HOME=/software/scala-2.11.8
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/lib:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SCALA_HOME/bin
export PATH JAVA_HOME HADOOP_HOME HBASE_HOME SCALA_HOME
[root@master01 install]# source /etc/profile
4、验证是否安装成功
[root@master01 install]# scala -version
[root@master01 install]# scalac -version
[root@master01 install]# which scala
/software/scala-2.11.8/bin/scala
[root@master01 install]# which scalac
/software/scala-2.11.8/bin/scalac
5、修改Scala安装目录的宿主为root,如果已经是root则不用修改
[root@master01 software]# chown -R root:root scala-2.11.8
6、分发Scala的安装目录到各个Slave节点
[root@master01 software]# scp -r scala-2.11.8 slave01:/software/
[root@master01 software]# scp -r scala-2.11.8 slave02:/software/
[root@master01 software]# scp -r scala-2.11.8 slave03:/software/
7、分发系统环境配置文件到各个Scala节点
[root@master01 software]# scp -r /etc/profile slave01:/etc/
[root@master01 software]# scp -r /etc/profile slave02:/etc/
[root@master01 software]# scp -r /etc/profile slave03:/etc/
[root@slave01 software]# source /etc/profile
[root@slave02 software]# source /etc/profile
[root@slave03 software]# source /etc/profile
五、scala的基础使用
[root@master01 install]# scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79).
Type in expressions for evaluation. Or try :help. scala> :q
[root@master01 install]#
//定义变量
scala> var a=20;
a: Int = 20 scala> a
res0: Int = 20
//1、貌似和js有点像,但是不能像js那样省略变量类型
scala> b=30;
<console>:13: error: not found: value b
val $ires0 = b
^ <console>:11: error: not found: value b
b=30;
^
//变量值修改
scala> a=40;
a: Int = 40 scala> a
res1: Int = 40
//定义一个常量
scala> val k=100
k: Int = 100 scala> k=200
<console>:12: error: reassignment to val
k=200
^
//2、类型可以通过第一次赋值自动推断,后面的类型转换要遵循类型兼容原则
scala> a=50;
a: Int = 50 scala> a=55.55
<console>:12: error: type mismatch;
found : Double(55.55)
required: Int
a=55.55
^
//Int是作为一个和推断类型校验的作用
scala> var kk:Int=300
kk: Int = 300
//300.333推断出是double,但是和定义的Int校验不一样,所以出错
scala> var kk:Int=300.333
<console>:11: error: type mismatch;
found : Double(300.333)
required: Int
var kk:Int=300.333
^
//常量不能赋值修改,但是可以重新定义
scala> val cc=11;
cc: Int = 11 scala> cc=12
<console>:12: error: reassignment to val
cc=12
^ scala> val cc=12;
cc: Int = 12