Hive 01 概述、安装配置

时间：2024-07-25 15:07:02

概述

数据仓库：是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理。

数据仓库的结构和建立过程：

  • 数据源

  • 数据存储及管理

    ETL
Extract     提取
Transform   转换
Load        装载

    • 数据仓库引擎

  • 前端展示

    数据查询
数据报表
数据分析

1）产生背景

  • MapReduce编程的不便性
  • HDFS上的文件缺少schema

2）是什么

The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.

    • Facebook开源，最初用于海量结构化的日志数据统计问题
    • 构建在hadoop之上的数据仓库
    • hive定义了一种类SQL查询语言
    • 通常用于进行离线数据处理（采用MapReduce。。。）
    • 底层支持多种不同的执行引擎（MapReduce、tez、spark）

    • 支持多种不同的压缩格式、存储格式以及自定义函数

      压缩：GZIP LZO Snappy BZIP2
存储：TextFile SequenceFile RCFile ORC Parquet
UDF: 自定义函数

hive的元数据：

  • hive将元数据存储在数据库中。
  • hive中的元数据包括表的名字，表的列和分区及其属性，表的属性，表的数据所在目录等。

HQL的解析和执行过程：

1）HQL
select....
2）解析器
词法分析
3）编译器
生成HQL的执行计划
4）优化器
生成最佳的执行计划
5）执行

3）为什么要使用hive

  • 简单、易上手（sql语句）
  • 为超大数据集设计的计算/存储扩展能力（MR计算，HDFS存储）
  • 统一的元数据管理

4）体系架构 
Hive 01 概述、安装配置 
5）部署架构

测试环境 
Hive 01 概述、安装配置 
生产环境：只需要在一台机器上部署hive 
Hive 01 概述、安装配置

2 安装部署

2.1 下载

1）先要下载安装MySQL 
2）到官网下载hive

2.2 解压
2.3 配置

1）添加环境变量 
2）配置文件 hive-1.1.0-cdh5.7.0/conf/hive-env.sh

# 在最后添加：
export HADOOP_HOME=xxxx
export HIVE_HOME=xxxxx
export JAVA_HOME=xxxxx

3）配置文件 hive-1.1.0-cdh5.7.0/conf/hive-site.xml

<configuration>

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property> 

<property>
   <name>javax.jdo.option.ConnectionDriverName<www.yingka178.com/name>
   <value>com.mysql.www.thd540.com jdbc.Driver</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
</property>

<property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>rootroot</value>
</property>

4）将MySQL的java驱动包拷贝到 hive-1.1.0-cdh5.7.0/lib

3 基本使用

启动hive之前需要先启动MySQL，Hadoop。

0） 启动

/bin/hive

1 ）创建表

CREATE TABLE table_name [www.leyou2.net (col_name data_type)];
例：create table hive_wordcount(context string);

2 ）加载数据到hive表

LOAD DATA [LOCAL] INPATH 'filepath' INTO TABLE tablename;
ex: load data local inpath '/home/hadoop/data/hello.txt' into table hive_wordcount;

3 ）wordcount操作

select word,count(1) from hive_wordcount lateral view explode(split(context,www.jimeiyulept.com'\t')) wc as word group by word;
lateral view explode(): 把每行记录按照指定分隔符进行拆解

4）配置不使用MapReduce功能

// 方法一：在hive命令行中输入
set hive.fetch.task.conversion=more;
// 方法二：启动时加入参数
hive --hiveconf hive.fetch.task.conversion=more
// 方法三：修改hive-site.xml文件
<property>
    <name>hive.fetch.task.www.078881.cn conversion</name>
    <value>more</value>
</property>

相关文章