hadoop笔记之Hive的数据存储(内部表)

时间:2022-09-12 12:08:28

Hive的数据存储(内部表)

Hive的数据存储(内部表)

  • 基于HDFS

可使用hadoop给我们提供的web管理工具查看数据。打开管理工具localhost:9000–>Utilities下的Browse the file system–>/user/hive/warehouse就能看到表目录–>打开表目录能看到表文件–>点击表文件,会询问是否需要下载文件–>点击download,可以用编辑器查看文件

  • 没有专门的数据存储格式(因为来自不同的数据库)
  • 存储结构主要包括:数据库文件视图
  • 可以直接加载文本文件(.txt文件等)
  • 创建表时,指定Hive数据的列分隔符与行分隔符

表又分为;

  • Table 内部表
  • Partition 分区表
  • External Table 外部表
  • Bucket Table 桶表

而视图的概念,类似于表

内部表

  • 与数据库中的Table在概念上是类似
  • 每一个Table在Hive中都有一个相应的目录存储数据
  • 所有Table数据(不包括External Table)都保存在这个目录中
  • 删除表时,元数据与数据都会被删除

○如何创建一张内部表t1(第一列是id号(整数类型),第二列是名称(字符串),最后是年龄(整数类型))

create table t1
(tid int,tname string,age int);

将上述代码运行在hive当中,如果没有指定保存位置,则默认保存在/user/hive/warehouse下

当然我们也可以指定表的创建位置在/mytable/hive/t2

create table t2
(tid int,tname string,age int)
location '/mytable/hive/t2';

刚才我们创建两张表的时候没有指明列与列之间的分隔符,默认情况下hive中的表默认采用制表符作为分隔符。我们也可以在创建表的时候指明分隔符是什么。

create table t3
(tid int,tname string,age int)
row format delimited fields terminated by ',';

row format是说行的格式是什么。这里采用,号进行分割

我们在创建上面三张表的时候是没有任何数据的,那么可不可以创建的同时加入数据呢?当然是可以的。

这里有一张表

hadoop笔记之Hive的数据存储(内部表)

create table t4
as
select * from sample_data;

这样就可以查询语句的集合来创建t4表

hadoop笔记之Hive的数据存储(内部表)

注意我们在创建t4表的时候是没有指明分隔符的,所以t4表是没有分隔符的。如若要分隔符,如下:

create table t5
row format delimited fields terminated by ','
as
select * from sample_data;

hadoop笔记之Hive的数据存储(内部表)

当然我们还可以对表的结构进行一定修改

例如我们想在t1表上添加一个新的列

alter table t1 add columns(english int);

删除一张表

drop table t1;

在删除一张表的时候,就将该表移入hdfs的回收站中

hadoop笔记之Hive的数据存储(内部表)的更多相关文章

  1. hadoop笔记之Hive的数据存储(外部表)

    Hive的数据存储(外部表) Hive的数据存储(外部表) 外部表 指向已经在HDFS中存在的数据,可以创建Partition 它和内部表在元数据的组织上是相同的,而实际数据的存储则有较大的差异 外部 ...

  2. hadoop笔记之Hive的数据存储(桶表)

    Hive的数据存储(桶表) Hive的数据存储(桶表) 桶表 桶表是对数据进行哈希取值,然后放到不同文件中存储. 比如说,创建三个桶,而创建桶的原则可以按照左边表中学生的名字来创建对应的桶.这样子把左 ...

  3. hadoop笔记之Hive的数据存储(视图)

    Hive的数据存储(视图) Hive的数据存储(视图) 视图(view) 视图是一种虚表,是一个逻辑概念:可以跨越多张表 既然视图是一种虚表,那么也就是说用操作表的方式也可以操作视图 但是视图是建立在 ...

  4. hadoop笔记之Hive的数据存储(分区表)

    Hive的数据存储(分区表) Hive的数据存储(分区表) 分区表 Partition对应于数据库的Partition列的密集索引 在Hive中,表中的一个Partition对应于表下的一个目录,所有 ...

  5. Hive 表操作(HIVE的数据存储、数据库、表、分区、分桶)

    1.Hive的数据存储 Hive的数据存储基于Hadoop HDFS Hive没有专门的数据存储格式 存储结构主要包括:数据库.文件.表.试图 Hive默认可以直接加载文本文件(TextFile),还 ...

  6. 大数据软件安装之Hadoop(Apache)(数据存储及计算)

    大数据软件安装之Hadoop(Apache)(数据存储及计算) 一.生产环境准备 1.修改主机名 vim /etc/sysconfig/network 2.修改静态ip vim /etc/udev/r ...

  7. 一文彻底搞懂Hive的数据存储与压缩

    目录 行存储与列存储 行存储的特点 列存储的特点 常见的数据格式 TextFile SequenceFile RCfile ORCfile 格式 数据访问 Parquet 测试 准备测试数据 存储空间 ...

  8. hadoop笔记之Hive入门(Hive的体系结构)

    Hive入门(二) Hive入门(二) Hive的体系结构 ○ Hive的元数据 Hive将元数据存储在数据库中(metastore),支持mysql.derby.oracle等数据库,Hive默认是 ...

  9. hadoop笔记之Hive入门(什么是Hive)

    Hive入门(一) Hive入门(一) 什么是Hive? Hive是个数据仓库,数据仓库就是数据库,但又与一般意义上的数据库有点区别 实际上,Hive是构建在hadoop HDFS上的一个数据仓库. ...

随机推荐

  1. Bootstrap<基础十六> 导航元素

    Bootstrap 提供的用于定义导航元素的一些选项.它们使用相同的标记和基类 .nav.Bootstrap 也提供了一个用于共享标记和状态的帮助器类.改变修饰的 class,可以在不同的样式间进行切 ...

  2. WPF学习之路(十二)控件(HeaderedContent控件)

    GroupBox 用来组织多种控件的常见控件,因为是内容空间,只能直接包含一项,需要使用面板一类的中间空间. Header和Content可以是任意元素 <GroupBox> <Gr ...

  3. Cocos2dx集成于windows桌面窗口程序的步骤

    2D游戏需要做编辑器,而编辑器总是希望可以复用游戏中的逻辑来运行场景试看效果. 对于cocos2dx开发的程序,这个需求可以描述为: 实现一种方法,在桌面窗口程序中的某个控件上显示cocos2dx的场 ...

  4. 两个实用的Python的装饰器

    两个实用的Python的装饰器 超时函数 这个函数的作用在于可以给任意可能会hang住的函数添加超时功能,这个功能在编写外部API调用 .网络爬虫.数据库查询的时候特别有用 timeout装饰器的代码 ...

  5. 《C&plus;&plus;Primer》复习——with C&plus;&plus;11 &lbrack;2&rsqb;

    1.数组引用形参,C++允许将变量定义成数组的引用,给予同样的道理,形参也可以是数组的引用,此时引用形参绑定到对应的实参上,也就是绑定到数组上 ]) { for (auto elem : arr) c ...

  6. TCP&sol;IP详解学习笔记&lpar;9&rpar;-TCP协议概述

    终于看到了TCP协议,这是TCP/IP详解里面最重要也是最精彩的部分,要花大力气来读.前面的TFTP和BOOTP都是一些简单的协议,就不写笔记了,写起来也没啥东西. TCP和UDP处在同一层---运输 ...

  7. 数往知来C&num;面向对象准备〈二〉

    面向对象(OOP→Object-Oriented Programming) 1.什么是面向对象? 一种分析问题的方式. 2.面向对象三大特征: 封装(隐蔽代码实现/复用/修改方便).继承.多态. 3. ...

  8. Airbnb&sol;Apache Superset – the open source dashboards and visualization tool – first impressions and link to a demo

    https://assemblinganalytics.com/post/airbnbapache-superset-first-impressions-and-link-to-a-demo/ Tod ...

  9. 记一次自己在Linux上倒腾Nginx的经历

    自己装了个CenterOS7.5,还装了个.NET Sdk,又装了个nginx...学会几个命令 su root rm - rf helloCore 删除文件夹及文件 输入命令行: ps -ef | ...

  10. Confluence 6 在你用户宏中使用参数

    你可以为你的用户宏指定参数.这样的话,用户可以使用参数来决定 Confluence 页面的显示情况. 如何在 Confluence 页面中使用你的宏参数 当添加一个宏到 Confluence 页面中的 ...