您现在的位置是:首页 > 正文

Hive 常用存储、压缩格式

2024-02-01 05:08:18阅读 3

1. Hive常用的存储格式

TEXTFI
textfile为默认存储格式
存储方式:行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive 无法进行合拆分

SEQUENCEFILE
sequencefile二进制文件,以<key,value>的形式序列到文件中
存储方式:行存储
可以分割、压缩
一般选择block压缩
优势是和Hadoop api中的mapfile相互兼容的

RCFILE
存储方式:数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group的头部定义
读取全量数据的操作 性能可能比sequence没有明显的优势

ORC
存储方式:数据按行分块,每块按照列存储
压缩快 压缩按照列存取
效率比rcfile高,是rcfile的改良版本

Apache ORC
ORC(OptimizedRC File)存储源自于RC(RecordColumnar File)这种存储格式,RC是一种列式存储引擎,
对schema演化(修改schema需要重新生成数据)支持较差,而ORC是对RC改进,但它仍对
schema演化支持较差,
主要是在压缩编码,查询性能方面做了优化。RC/ORC最初是在Hive中得到使用,最后发展势头不错,独立成一个单独的项目。

PARQUET

Apache Parquet
源自于google Dremel系统(可下载论文参阅),Parquet相当于Google Dremel中的数据存储引擎,
而Apache顶级开源项目Drill正是Dremel的开源实现。
Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer,thrift,json等,将这类数据存储成列式格式,
以方便对其高效压缩和编码,且使用更少的IO操作取出需要的数据,
这也是Parquet相比于ORC的优势,
它能够透明地将Protobuf和thrift类型的数据进行列式存储,在Protobuf和thrift被广泛使用的今天,与parquet进行集成,
是一件非容易和自然的事情。 
除了上述优势外,相比于ORC, Parquet没有太多其他可圈可点的地方,
比如它不支持update操作(数据写成后不可修改),不支持ACID等。

Avro格式
自定义格式

2. Hive压缩算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网站文章

  • 一篇文章解析所有C语言里字符串的操作

    @函数名称: strtok 函数原型: char *strtok(char *s1, const char *s2) 函数功能: 分解s1字符串为用特定分隔符分隔的多个字符串(一般用于将英文句分解为单词) 函数返回: 字符串s1中首次出现s2中的字符前的子字符串指针 参数说明: s2一般设置为s1中的分隔字符 规定进行子调用时(即分割

    2024-02-01 05:08:10
  • Ubuntu的8080端口被占用

    Ubuntu的8080端口被占用

    因为最近学习web建站技术,弄了好多环境,今天开机启动服务的时候报了如下错误: 意思就是我的8080端口已经被别的进程占用了,导致服务启动异常。解决办法so easy, 找到占用8080端口的进程,直接kill掉就好啦。百度一下,第一步使用 netstat -ntl | grep 8080 查看8080端口的占用情况: 再使用命令 lsof -i:8080 就可以列出占用80...

    2024-02-01 05:07:41
  • Redis快速入门(基本操作 一)

    Redis快速入门(基本操作 一)

    Redis简介: Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 Nosql 泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系...

    2024-02-01 05:07:34
  • 华为工程师终于把困扰我多年的「操作系统和计算机网络」讲明白了

    华为工程师终于把困扰我多年的「操作系统和计算机网络」讲明白了

    计算机网络、计算机操作系统这两个“兄弟”是所有开发岗位都需要“结拜”的,不管你是 Java、C++还是测试。对于后端开发的童鞋来说,计算机网络的重要性不亚于语言基础,毕竟平时开发经常会和网络打交道,比如:抓个包等等。所以对这一块知识点的准备还是要抱着敬畏之心,不要放过任何一个漏网之题。

    2024-02-01 05:07:26
  • 跟着小刘一起入门一下Sharding jdbc

    跟着小刘一起入门一下Sharding jdbc

    文章目录sharding jdbc -缘起分库分表的出现小结分库分表带来问题Sharding JDBC 介绍快速入门 sharding jdbc -缘起 前段时间,在工作接手了一个新的项目,我问Bos...

    2024-02-01 05:07:18
  • SQL数据库

    SQL数据库

    SQL简介

    2024-02-01 05:06:48
  • Spring AOP 中的两种动态代理

    Spring AOP 中的两种动态代理

    Spring AOP 主要用到的 动态代理,在spring aop的实现中,采用了两种方式,一种是基于接口的动态代理,另外一种是基于类的动态代理。在谈动态代理前,先谈下设计模式中的代理模式:代理模式:为另一对象提供一个替身或占位符以控制对这个对象的访问。类图如下:1,基于接口的动态代理必须首先要定义接口:代码如下:package co...

    2024-02-01 05:06:41
  • NotNull、NotBlank、NotEmpty的使用

    NotNull:校验对象不为nullNotBlank:校验字符串是否为null、或者空字符串,去除空格NotEmpty:校验集合是否为null、或者长度是否为0

    2024-02-01 05:06:33
  • access数据类型转换

    Access数据类型转换  (2012-02-09 20:51:31)转载▼标签: 杂谈分类: 数据库每个函数都可以将表达式 (表达式:算术或逻辑运算符、常数、函数和字段名称、控件和属性的任意组合,计算结果为单个值。表达式可执行计算、操作字符或测试数据。)强制转换为特定的数据类型 (数据类型:决定字段可拥有的数据类型的字段特征。数据类

    2024-02-01 05:06:03
  • 初中计算机授课教案模板,初中课程教案模板

    第二课哭泣的自然《环境被破环》说课教案一、教材的地位与作用《环境被破坏》是教科版八年级下册第一单元第二课第二部分的内容。本单元主要对学生进行环境科学教育,贯穿着“正确认识自然和人类的关系”这一思想。整...

    2024-02-01 05:05:57