随笔分类 -  Hive

【转载】Hive优化（整理版）
摘要：1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe 阅读全文
posted @ 2023-03-06 10:11 莲藕淹 阅读(125) 评论(0) 推荐(0) 编辑
Hive详解(06) - Hive调优实战
摘要：Hive详解(06) - Hive调优实战 执行计划（Explain） 执行计划（Explain） 基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 案例实操 （1）查看下面这条语句的执行计划 没有生成MR任务的 hive (def 阅读全文
posted @ 2022-01-14 18:07 莲藕淹 阅读(302) 评论(0) 推荐(0) 编辑
Hive详解(05) - 压缩和存储
摘要：Hive详解(05) - 压缩和存储 Hadoop压缩配置 MR支持的压缩编码 压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否 压缩格式 算法 文 阅读全文
posted @ 2022-01-14 18:06 莲藕淹 阅读(237) 评论(0) 推荐(0) 编辑
Hive详解(04) - hive函数的使用
摘要：Hive详解(04) - hive函数的使用 系统内置函数 查看系统自带的函数 hive> show functions; 显示自带的函数的用法 hive> desc function upper; 详细显示自带的函数的用法 hive> desc function extended upper; 常 阅读全文
posted @ 2022-01-14 18:05 莲藕淹 阅读(393) 评论(0) 推荐(0) 编辑
Hive详解(03) - hive基础使用
摘要：Hive详解(03) - hive基础使用 Hive数据类型 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 集合数据类型 数据类型：STRUCT： 描述：和c语言中的s 阅读全文
posted @ 2022-01-14 18:02 莲藕淹 阅读(89) 评论(0) 推荐(0) 编辑
Hive详解(02) - Hive 3.1.2安装
摘要：Hive详解(02) - Hive 3.1.2安装 安装准备 Hive下载地址 Hive官网地址：http://hive.apache.org/ 官方文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 安装包下 阅读全文
posted @ 2022-01-14 17:57 莲藕淹 阅读(1927) 评论(0) 推荐(0) 编辑
Hive详解(01) - 概念
摘要：Hive详解(01) - 概念 hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在H 阅读全文
posted @ 2022-01-14 17:54 莲藕淹 阅读(88) 评论(0) 推荐(0) 编辑