2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

时间:2023-02-24 15:40:59

第6步:安装CDH和其他软件

2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console:

  1. 启动Cloudera Manager Server:
    • RHEL 7兼容:
      sudo systemctl start cloudera-scm-server
    • 兼容RHEL 6,Ubuntu,SLES:
      sudo service cloudera-scm-server start
  2. 等待几分钟,以启动Cloudera Manager Server。要观察启动过程,请在Cloudera Manager Server主机上运行以下命令:
    sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

    当您看到此日志条目时,Cloudera Manager管理控制台就绪:

    INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl:Started Jetty server。

    如果Cloudera Manager Server未启动,请参阅排除安装问题

  3. 在Web浏览器中,转到 http:// <server_host>:7180,其中<server_host> 是运行Cloudera Manager Server的主机的FQDN或IP地址。
  4. 登录Cloudera Manager Admin Console。默认凭据为:

    用户名: admin

    密码: admin

    注意: Cloudera Manager不支持更改admin已安装帐户的用户名。运行安装向导后,可以使用Cloudera Manager更改密码。虽然你无法改变admin用户名,您可以添加新用户,为新用户分配管理权限,然后删除默认用户 admin 帐户。

  5. 登录后,将显示“ 最终用户许可条款和条件”页面。阅读条款和条件,然后选中标记为是的框,我接受最终用户许可条款和条件以接受它们。单击“ 继续”,然后启动安装向导。

以下部分将指导您完成安装向导的每个步骤:

欢迎来到Cloudera Manager

在Welcome to Cloudera Manager页面中,您可以选择要安装的Cloudera Manager版本,也可以选择安装许可证:

  1. 选择要安装的版本
    • Cloudera Express,不需要许可证,但提供有限的功能。
    • Cloudera Enterprise Cloudera企业试用版,不需要许可证,但在60天后到期且无法续订。
    • 具有以下许可证类型之一的Cloudera Enterprise:
      • 基础版(Basic Edition)
      • Flex版 (Flex Edition)
      • Cloudera Enterprise。
 
 
管理许可证 Trial,则可以在以后升级许可证。有关更多信息,请参阅Cloudera EnterpriseCloudera Enterprise 或Cloudera Express如果选择
2. 如果选择Cloudera Enterprise,请安装许可证:
    1. 单击“ 选择许可证文件”文本字段。
    2. 浏览到许可证文件的位置,选择该文件,然后单击“ 打开”。
    3. 单击“上载”按钮。
3.将显示信息,指示CDH安装包含的内容。此时,您可以单击“ 支持” 下拉菜单以访问联机帮助或支持门户。
4. 单击“ 继续”继续安装。

感谢您选择Cloudera Manager和CDH

在感谢您选择的Cloudera Manager和CDH页列出了可供安装的软件。单击“ 继续”继续安装。

指定CDH群集安装的主机

选择将运行CDH和托管服务的主机

  1. 根据您是否使用Cloudera Manager安装软件,执行以下操作之一:
    • 如果您使用Cloudera Manager安装软件,请搜索并选择主机:
      1. 要使Cloudera Manager能够自动发现要安装CDH和托管服务的主机,请输入群集主机名或IP地址。您还可以指定主机名和IP地址范围。例如:
        范围定义 匹配主机
        10.1.1。[1-4] 10.1.1.1,10.1.1.2,10.1.1.3,10.1.1.4
        主机[1-3] .example.com的 host1.example.com,host2.example.com,host3.example.com
        主机[07-10] .example.com的 host07.example.com,host08.example.com,host09.example.com,host10.example.com

        注意:不合格的主机名(短名称)在Cloudera Manager实例中必须是唯一的。例如,您不能同时拥有由同一Cloudera Manager Server管理的host01.example.comhost01.standby.example.com

        您可以通过用逗号,分号,制表符或空格分隔多个地址和地址范围,或者将它们放在单独的行上来指定多个地址和地址范围。使用此技术可以进行更具体的搜索,而不是搜索范围过大的搜索。扫描结果将包括扫描的所有地址,但默认情况下,只会选择包含到达运行SSH的主机的扫描以包含在群集中。如果您不知道所有主机的IP地址,则可以输入跨越未使用地址的地址范围,然后在此过程中稍后清除不存在(并且未发现)的主机。但是,请记住,更宽的范围需要更多时间进行扫描。

      2. 单击搜索。Cloudera Manager可识别群集上的主机,以允许您为服务配置它们。如果群集中有大量主机,请稍等片刻以允许它们被发现并显示在向导中。如果搜索时间过长,您可以通过单击“ 中止扫描”来停止 扫描。要查找其他主机,请单击“ 新建搜索”,添加主机名或IP地址,然后单击“ 搜索” 再次。Cloudera Manager通过检查网络连接来扫描主机。如果某些主机要安装未在列表中显示的服务,请确保Cloudera Manager Server主机与这些主机之间具有网络连接。连接丢失的常见原因是防火墙和SELinux的干扰。
      3. 验证显示的主机数是否与要安装服务的主机数相匹配。清除不存在的主机条目,并清除不想安装服务的主机。
  2. 单击继续。
将显示“ 选择存储库”屏幕。
 

选择存储库

要点:您无法在同一群集中同时使用parcel和包安装软件。
  1. 选择要用于安装的存储库类型。在“ 选择方法”部分中,选择以下选项之一:
    • 使用包裹(推荐)

      parcel是包含程序文件的二进制分发格式,以及Cloudera Manager使用的其他元数据。滚动升级需要包裹。有关更多信息,请参阅包裹

    • 使用包

      包是标准的二进制分发格式,包含已编译的代码和元信息,例如包描述,版本和依赖性。使用操作系统软件包管理器安装软件包。

  2. 选择要安装的CDH版本。注意: Cloudera Manager仅显示它可以支持的CDH版本。如果可用的CDH版本对于Cloudera Manager版本而言太新,则不会显示。
    1. 如果选择了“ 使用地块(推荐)”,但未看到要安装的版本,请单击“ 更多选项” 按钮以添加适用于您的版本的存储库URL。CDH 5的存储库URL记录在CDH下载信息中。添加存储库后,单击“ 保存更改”并等待几秒钟以显示版本。如果Cloudera Manager主机使用HTTP代理,请单击“ 代理设置”按钮以配置代理。
    2. 如果选择了“ 使用包”,并且未列出要安装的版本,则可以选择“ 自定义存储库”以指定包含所需版本的存储库。CDH 5版本的存储库URL记录在CDH下载信息中
  3. 如果选择了“ 使用地块(推荐)”,请指定要安装的任何其他地块。
  4. 选择要在主机上安装的Cloudera Manager Agent的特定版本。您可以选择与当前使用的Cloudera Manager Server匹配的版本(推荐),也可以在自定义存储库中指定其他版本。如果您选择将自定义存储库用于安装文件,则可以提供适用于所有存储库的GPG密钥URL。存储库和GPG密钥URL记录在CDH下载信息中
  5. 单击继续。

将显示“ 接受JDK许可证”屏幕。

接受JDK许可

注意: Cloudera,Inc。根据Oracle二进制代码许可协议收购了Oracle JDK软件。根据Oracle二进制代码许可协议的补充许可条款的D(v)(a)项 ,JDK软件的使用受Oracle二进制代码许可协议条款的约束。安装JDK软件即表示您同意遵守这些条款。如果您不希望受这些术语的约束,请不要安装Oracle JDK。

要允许Cloudera Manager在群集主机上自动安装Oracle JDK,请阅读JDK许可证,如果接受这些条款,请选中标记为安装Oracle Java SE Development Kit(JDK 7)的复选框。如果您在步骤2:安装Java Development Kit中安装了自己的Oracle JDK版本,请不要选中此框。

如果允许Cloudera Manager安装JDK,则会出现第二个复选框,标记为Install Java Unlimited Strength Encryption Policy Files。这些策略文件是在JDK版本低于1.8u161时启用AES-256加密所必需的。JDK 1.8u161及更高版本默认启用无限强度加密,不需要策略文件。

阅读许可条款并选中相应的框后,单击继续。

将显示“ 单用户模式”页面。

单用户模式

在单用户模式页面,可以使单用户模式。大多数环境不建议使用单用户模式。如果需要启用单用户模式,请选中标记为启用单用户模式的复选框。否则,请取消选中该选项,然后单击“ 继续”。将显示“ 输入登录凭据”页面。

输入登录凭据

  1. 选择root作为根帐户,或选择其他用户并输入无密码帐户的用户名须藤 特权。
  2. 选择身份验证方法:
    • 如果选择密码验证,请输入并确认密码。
    • 如果选择公钥验证,请提供所需密钥文件的密码和路径。
  3. 如有必要,您可以修改默认SSH端口。

  4. 指定一次运行的最大主机安装数。默认值和建议值为10.您可以根据网络容量进行调整。
  5. 单击继续。

将显示“ 安装代理”页面。

安装代理

“ 安装代理”页面显示安装进度。您可以单击任何主机的“ 详细信息”链接以查看安装日志。如果安装停止,您可以单击“ 中止安装”按钮取消安装,然后查看安装日志以解决问题。

如果在任何主机上安装失败,您可以单击“ 重试失败的主机”以重试所有失败的主机,也可以单击特定主机上的“ 重试”链接。

在所有主机上安装Cloudera Manager Agent后,单击“ 继续”。

如果您使用的是宗地,则会显示“ 安装宗地”页面。如果选择使用软件包进行安装,则会显示“ 检查主机”页面。

安装包裹

如果为安装方法选择了宗地,则“ 安装宗地”页面将报告您之前选择的宗地的安装进度。下载宗地后,将显示代表每个群集主机的进度条。您可以单击单个进度条以获取有关该主机的详细信息。

安装完成后,单击“ 继续”。

该检查的正确性主机页面显示。

检查主机是否正确

该检查主机页面运行主机检查器来搜索常见的配置问题。查看结果并解决任何已发现的问题。单击“再次运行”按钮可在进行任何更改后更新结果。

解决发现的问题后,单击“ 完成”。

这样就完成了“ 群集安装”向导并启动了“ 群集设置”向导。

2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)的更多相关文章

  1. 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群

    本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...

  2. 1&period;5&period;7、CDH 搭建Hadoop在安装之前&lpar;定制安装解决方案---配置单用户模式&rpar;

    配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...

  3. 2、CDH 搭建Hadoop在安装&lpar;安装Cloudera Manager,CDH和托管服务&rpar;

    安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...

  4. 1&period;5、CDH 搭建Hadoop在安装之前&lpar;定制安装解决方案&rpar;

    Cloudera托管两种类型的软件存储库,您可以使用它们来安装诸如Cloudera Manager或CDH-parcel存储库和软件包存储库之类的产品. 在大多数情况下,这些存储库是有效的解决方案,但 ...

  5. CDH搭建Hadoop分布式服务器集群(java新手小白)

    1首先对于一个java还白的小白,先理解CDH与Hadoop的关系 一.Hadoop版本选择. Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop,考虑到Hadoop ...

  6. 2&period;2、CDH 搭建Hadoop在安装&lpar;安装Java Development Kit&rpar;

    第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...

  7. 1&period;4、CDH 搭建Hadoop在安装之前&lpar;推荐的群集主机和角色分配&rpar;

    推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配.您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件 ...

  8. 2&period;7、CDH 搭建Hadoop在安装&lpar;使用向导设置群集&rpar;

    步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...

  9. 2&period;5、CDH 搭建Hadoop在安装&lpar;设置Cloudera Manager数据库&rpar;

    步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...

随机推荐

  1. Linux&lowbar;Shell

    一.Shell 种类与归属 Unix与Linux常见的Shell脚本解释器有bash,sh,csh,ksh等(PS: bash 完全兼容sh) bash : linux 默认的shell sh : u ...

  2. 文字排版--粗体&lpar;font-weight&rpar;

    我们还可以使用css样式来改变文字的样式:粗体.斜体.下划线.删除线,可以使用下面代码实现设置文字以粗体样式显示出来. p span{font-weight:bold;} 在这里大家可以看到,如果想为 ...

  3. Unity UGUI——遮罩效果(Mask)

    Show Mask Graphic

  4. soapUI启动报错:The JVM could not be started&period; The maximum heap size &lpar;-Xmx&rpar; might be too large or an antivirus or firewall tool could block the execution&period;

    版本: soapUI-5.2.1 问题: 启动soapUI时报错:The JVM could not be started. The maximum heap size (-Xmx) might be ...

  5. JS中的toString方法

    JS中的所有对象都具有toString方法,它把一个变量隐式转换为字符串 Number类型的对象的toString()方法比较特殊,有默认模式和基模式两种 默认模式: 无论我们用什么表示法声明数字变量 ...

  6. Beta冲刺(3&sol;5)(麻瓜制造者)

    今日已完成 邓弘立:完成了登录功能的重构,完成了部分商品管理功能 符天愉:利用ci开始写队友写好的管理员界面,由于后*立开始使用一个仓库,所以晚上将alpha的版本更新到了git,并且添加了.git ...

  7. C&plus;&plus; code:剩余串排列

    方法一: 一种直观的解是,先对第一个字串排序,然后逐个字符在第二个字串中搜索,把搜索不到的字符输出,就是所要的结果. 然而,算法库中有一个集合差运算set_difference,而且要求两个集合容器是 ...

  8. POJ 2487

    #include<iostream> #include<stdio.h> using namespace std; int compare(void const * i,voi ...

  9. C&num; HmacSha512 与 java HmacSha512 加密

    C# HmacSha512 与 java HmacSha512 加密. /// <summary> /// HmacSha512 加密 /// </summary> /// & ...

  10. IntelliJ IDEA使用技巧整理

    1 .写代码时用 Alt-Insert ( Code|Generate… )可以创建类里面任何字段的 getter 与 setter 方法. 2 .右键点击断点标记(在文本的左边栏里)激活速查菜单,你 ...