1.5.1、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用内部包裹存储库)

时间：2021-08-23 15:15:44

使用内部包裹存储库

您可以通过托管内部存储库或手动将存储库文件复制到Cloudera Manager主机来为Cloudera Manager创建parcel存储库。

托管内部包裹存储库

要托管内部存储库，必须在Cloudera Manager主机可访问的内部主机上安装或使用现有Web服务器，然后将存储库文件下载到Web服务器主机。

安装Web服务器

存储库通常使用网络内主机上的HTTP进行托管。如果组织中已有Web服务器，则可以跳过下载和发布Parcel存储库。

要安装的简单Web服务器是Apache HTTP Server。

安装Apache HTTP Server

您可能需要响应某些提示以确认您要完成安装。
OS Command
RHEL compatible sudo yum install httpd
SLES sudo zypper install httpd
Ubuntu sudo apt-get install httpd

启动Apache HTTPD

OS Command
RHEL compatible sudo service httpd start
SLES sudo service apache2 start
Ubuntu
sudo service apache2 start
下载和发布Parcel存储库
下载包裹和manifest.json 您的操作系统分发的文件来自：
  • CDH 5： Impala，Kudu，Spark 1和Search包含在CDH包裹中。
    • CDH - https://archive.cloudera.com/cdh5/parcels/
    • Accumulo - - https://archive.cloudera.com/accumulo-c5/parcels/
    • GPL附加功能 - https://archive.cloudera.com/gplextras5/parcels/
  • 用于CDH 5的Apache Spark 2的Cloudera发行版：
    • 确切的宗地名称取决于操作系统。你可以找到所有的包裹https://archive.cloudera.com/spark2/parcels/。
  • Cloudera Navigator密钥受托服务器：
    • 转到Key Trustee Server 下载页面。从“ 包裹”或“包裹”下拉菜单中选择“ 地块”，然后单击“立即下载”。这将下载Key Trustee Server parcel和manifest.json 一个文件 名为.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
  • Cloudera Navigator Key Trustee KMS和HSM KMS :( Cloudera Navigator HSM KMS包含在Key Trustee KMS包裹中）。
    • 转到Key Trustee KMS 下载页面。从“ 包裹”或“包裹”下拉菜单中选择“ 地块”，然后单击“立即下载”。这将下载Key Trustee KMS parcels和的manifest.json 一个文件.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
  • Sqoop连接器：
    • https://archive.cloudera.com/sqoop-connectors/parcels/
  1. 移动 .parcel，  .sha1 和manifest.json文件到Web服务器目录，并修改文件权限。例如：
    sudo mkdir -p /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/
    sudo mv *.parcel* /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/
    sudo mv manifest.json /var/www/html/cloudera-parcels/cdh5/
    sudo chmod -R ugo+rX /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/

    用您的CDH版本 替换<cdh5_version>（例如，5.14.0）。移动文件并更改权限后，请访问http：// <web_server> / cloudera-parcels/cdh5/<cdh5_version>验证您是否可以访问包裹。如果您没有看到任何内容，则您的Web服务器可能已配置为不显示索引。

配置Cloudera Manager Server以使用托管存储库的宗地URL

  1. 使用以下方法之一打开宗地设置页面：
    • 导航栏
      1. 单击aaarticlea%2Fwebp;base64,UklGRqoBAABXRUJQVlA4TJ4BAAAvO0ANAN+ioG0bRj0b5vG%2FFBSkbcDQPc2TryBtA4buaZ78+VfYtg3SMe+O+gMMomToEc08JbJRQklu+hEnKImWbAAfUbL0ICcAZNs%2FrGeOPsCybTttc8NJmZm5YWZmZtb8J6KApBcXvyL6z8Bt20Z0e3v47hnsr5gZccvSw+XJ1VN+ztjUd67HznWS8PuedIABwEmlcAjozADuycSAg%2FQ0c84v1fF7e6x1ChSovABx%2FqT+NnjO+E0sAqSpBIHY4gWehdCiQQCoUxlbcL14QXGhumhwg31GFsfyr5np+D2LJ1d1sNOZ2LDV5C9Y4E8aHcMyosPswF6HjcGN2eQS+GSMcHUE7Naii8Ph9jFwOiV5XtlnX8rLoQFWI+4uYLABtmf7Uty5ucr8gCg5u7DIrcLsGtQhJy8p0dApbmKXl6DwTrlwbZRb3ORNXkpjPOImr%2FLSErwb5dOWF3nVR2EaeXGTpLxBXphhR9ykJS8jseMn3ElrnMptKa17k5fUund5iY3KUvDIGxrU6VryWMSkSu9lKulHAuvTqQpqBJvsnyw=" alt="" />顶部导航栏或单击“ 主机”，然后单击“ 地块”选项卡。
      2. 单击“ 配置”按钮。
    • 菜单
      1. 选择管理 > 设置。
      2. 选择类别 > 包裹。
  2. 在“ 远程包裹存储库URL”列表中，单击添加符号以打开另一行。
  3. 输入宗地的路径。例如：http：// <web_server> / cdh5 / <cdh5_version>
  4. 单击“ 保存更改”以提交更改。

使用本地包裹存储库

要使用本地parcel存储库，请完成以下步骤：
  1. 打开Cloudera Manager Web UI并导航到Parcels页面。
  2. 选择“ 配置”并验证是否已设置“ 本地包裹存储库”路径。默认情况下，目录是 /选择/ Cloudera的/包裹回购。
  3. 删除您未使用的任何远程包裹存储库URL，包括指向Cloudera存档的URL。
  4. 将要使用的parcel添加到指定的本地parcel存储库目录中。
  5. 在命令行中，导航到本地parcel存储库目录。
  6. 为您添加的parcel创建SHA1哈希，并将其保存到名为的文件中 <parcel_name> .parcel.sha1。
    例如，以下命令为parcel生成SHA1哈希 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel： 
    sha1sum CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel | awk'{print $ 1}'> CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
  7. 将宗地和哈希文件的所有权更改为 Cloudera的供应链管理： 
    sudo chown cloudera-scm：cloudera-scm * .parcel。*
  8. 在Cloudera Manager Web UI中，导航到Parcels页面。
  9. 单击“ 检查新包裹”。
  10. 出现新宗地时，下载，分发和激活宗地。

相关文章