吴超老师课程---Hadoop的伪分布安装

时间:2022-08-30 16:10:27

1.1 设置ip地址
    执行命令    service network restart
    验证:         ifconfig
1.2 关闭防火墙
    执行命令    service iptables stop
    验证:        service iptables status
1.3关闭防火墙的自动运行
    执行命令    chkconfig iptables off
    验证:        chkconfig --list | grep iptables
1.4 设置主机名
    执行命令    (1)hostname hadoop
                   (2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
    执行命令    vi /etc/hosts
    验证:        ping hadoop
1.6 设置ssh免密码登陆
    执行命令    (1)ssh-keygen -t rsa
                   (2)cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys
    验证:        ssh hadoop
1.7 安装jdk
    执行命令    (1)cd /usr/local
                   (2)chmod u+x jdk-6u24-linux-i586.bin
                   (3)./jdk-6u24-linux-i586.bin
                   (4)mv jdk-1.6.0_24  jdk
                   (5)vi /etc/profile 增加内容如下:
                      export JAVA_HOME=/usr/local/jdk
                      export PATH=.:$JAVA_HOME/bin:$PATH
                   (6)source /etc/profile
     验证:        java -version
1.8 安装hadoop
    执行命令  (1)tar -zxvf hadoop-1.1.2.tar.gz
            (2)mv hadoop-1.1.2 hadoop
            (3)vi /etc/profile 增加内容如下:
            export JAVA_HOME=/usr/local/jdk
            export HADOOP_HOME=/usr/local/hadoop
            export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
            (4)source /etc/profile
            (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

修改hadoop配置文件
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/
2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>
3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>
4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>
            (6)hadoop namenode -format
            (7)start-all.sh
    验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
           (2)在浏览器查看,http://hadoop:50070  http://hadoop:50030  
1.9 启动时没有NameNode的可能原因:
    (1)没有格式化
    (2)环境变量设置错误
    (3)ip与hostname绑定失败

吴超老师课程---Hadoop的伪分布安装的更多相关文章

  1. 吴超老师课程--HBASE的集群安装

    1.hbase的机群搭建过程(在原来的hadoop上的hbase伪分布基础上进行搭建)1.1 集群结构,主节点(hmaster)是hadoop,从节点(region server)是hadoop1和h ...

  2. 吴超老师课程---Hadoop的分布式集群安装

    1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode            从节点(2个,是 ...

  3. 吴超老师课程--Hive的介绍和安装

    1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据.  本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为 ...

  4. 吴超老师课程--Pig的介绍和安装

    1.Pig是基于hadoop的一个数据处理的框架.  MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行. 2.Pig的数据处理语言是数 ...

  5. 吴超老师课程--Hbase介绍和伪分布式安装

    1.HBase(NoSQL)的数据模型1.1 表(table),是存储管理数据的.1.2 行键(row key),类似于MySQL中的主键.     行键是HBase表天然自带的.1.3 列族(col ...

  6. 吴超老师课程--Sqoop的安装和介绍

    SQOOP是用于对数据进行导入导出的.    (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中    (2)把HDFS.Hive.HBase中的数据导出到MySQ ...

  7. 吴超老师课程--Hive的执行语句

    为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/sm ...

  8. 吴超老师课程--HBASE的Java&lowbar;API

    public static void main(String[] args) throws IOException { String tableName="hbase_tb"; S ...

  9. 吴超老师课程--Hbase Shell

    hbase提供了一个shell的终端给用户交互 名称 命令表达式 创建表 create '表名称', '列族名称1','列族名称2','列族名称N' 添加记录 put '表名称', '行名称', '列 ...

随机推荐

  1. LTE Module User Documentation(翻译13)——频率复用算法(Frequency Reuse Algorithms)

    LTE用户文档 (如有不当的地方,欢迎指正!)   19 Frequency Reuse Algorithms(频率复用算法)   本节我们将描述如何在 LTE 仿真中使用频率复用(FR)算法.共有两 ...

  2. JQuery操作HTML文档

    一.JQuery选择元素 1.$("p").click(function(){$(this).hide();} 点击HTML页面的任何p元素都会隐藏该p元素 2.$("# ...

  3. 将WSDL文件生成的Java文件

  4. android CMWAP&comma; CMNET有何差别

    什么是CMNET,什么是CMWAP? 答:CMWAP和CMNET仅仅是中国移动为其划分的两个GPRS接入方式.中国移动对CMWAP作了一定的限制,主要表如今CMWAP接入时仅仅能訪问GPRS网络内的I ...

  5. WPF Multi-Touch 开发:高级触屏操作(Manipulation)

    原文 WPF Multi-Touch 开发:高级触屏操作(Manipulation) 在上一篇中我们对基础触控操作有了初步了解,本篇将继续介绍触碰控制的高级操作(Manipulation),在高级操作 ...

  6. 史上最全前端面试题&lpar;含答案&rpar;-A篇

    HTML+CSS1.对WEB标准以及W3C的理解与认识标签闭合.标签小写.不乱嵌套.提高搜索机器人搜索几率.使用外 链css和js脚本.结构行为表现的分离.文件下载与页面速度更快.内容能被更多的用户所 ...

  7. WebSphere--部署Servlet

    在WebSphere应用服务器上部署 Servlet需要四个步骤:编译 Servlet 或 Web 应用程序.将类文件放到 WebSphere应用服务器上.将相关的 HTML.JSP 和 SHTML ...

  8. BI过程简述

    BI流程: 需求分析->维度设计->查询service->ETL倒数据->CDC监听数据库 需求分析:首先确定好的数据来源(多个数据库+excel文件+日志+...),需要的数 ...

  9. 用户控件 RadioButtonList

    public static MvcHtmlString RadioButtonList(this HtmlHelper htmlHelper, string name, string codeCate ...

  10. mysql表空间加密 keyring encryption

    从5.7.11开始,mysql开始支持物理表空间的加密,它使用两层加密架构.包括:master key 和 tablespace key master key用于加密tablespace key,加密 ...