秋华 - 博客园

2020年12月4日

Hive基础（11）：元数据（二）分析Hive表和分区的统计信息(Statistics)

摘要： http://lxw1234.com/archives/2015/07/413.htm 类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最阅读全文

posted @ 2020-12-04 15:21 秋华阅读(1660) 评论(0) 推荐(0) 编辑

Hive基础（10）：元数据（一）Hive的元数据表结构详解

摘要： https://blog.csdn.net/yu0_zhang0/article/details/80697913 1 概述我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东阅读全文

posted @ 2020-12-04 15:09 秋华阅读(2930) 评论(0) 推荐(0) 编辑

2020年12月1日

Hadoop基础（五十六）：MapReduce 过程详解 (用WordCount作为例子)

摘要：本文转自 http://www.cnblogs.com/npumenglei/ .... 先创建两个文本文件，作为我们例子的输入： File 1 内容： My name is Tony My company is pivotal File 2 内容： My name is Lisa My comp 阅读全文

posted @ 2020-12-01 00:01 秋华阅读(293) 评论(0) 推荐(0) 编辑

2020年11月30日

Hive面试题（8）：Hive 执行过程实例分析

摘要：一、Hive 执行过程概述 1、概述（1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等（2）操作符 Operator 是 Hive 的最小处理单元（3）每个操作符代表一个 HDFS 操作或者 MapReduc 阅读全文

posted @ 2020-11-30 19:04 秋华阅读(261) 评论(0) 推荐(0) 编辑

2020年11月29日

Flink实例（九十六）: flink 作业提交（六）Runtime 核心机制剖析

该文被密码保护。阅读全文

posted @ 2020-11-29 17:29 秋华阅读(275) 评论(0) 推荐(0) 编辑

Flink实例（九十五）: flink 作业提交（五）开发环境搭建和应用的配置、部署及运行

该文被密码保护。阅读全文

posted @ 2020-11-29 17:26 秋华阅读(309) 评论(0) 推荐(0) 编辑

Flink实例（九十四）：状态管理（十三）Checkpoint 的应用实践

该文被密码保护。阅读全文

posted @ 2020-11-29 17:17 秋华阅读(361) 评论(0) 推荐(0) 编辑

Flink实战（九十三）：数据倾斜（二）keyby 窗口数据倾斜的优化