文件名称：hadoop集群建立
文件大小：1.03MB
文件格式：PDF
更新时间：2016-10-06 17:14:29
hadoop 机群 分布式
hadoop集群建立，从准备工作到hadoop配置，再到hadoop的启动。。。 1. 准备工作 1.1. 准备机器： 一台(注意只有一台)master，若干台slave（slaves数量可变），配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访。 1.2. Linux所需软件: JavaTM1.5.x以上，必须安装，建议选择Sun公司发行的Java版本。 Ssh。必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置 作为一个安全通信协议，使用时需要密码，因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装 安装hadoop集群通常要将安装软件解压到集群内的所有机器上，并且安装路径要一致。 2.2. 配置 在配置阶段，主要编辑的配置文件有着六个在conf目录下，配置文件分别为：hadoop-env.sh，core-site.xml ，hdfs-site.xml，mapred-site.xml，master和slaves。并且安装路径要一致。 3. hadoop启动与关闭 在第一次配置好hadoop集群时，必须先格式化一个新的分布式文件系统。 在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。