许新浩的博客

摘要： 博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/17792469.html 前言 Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL。Apache Celeborn 是一个Remote Shuffle Serv 阅读全文

摘要： 博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/15545264.html 上图来自官方文档中对于watermark的描述。 刚开始以为只要数据的event_time大于watermark时间，就会被处理，小于watermark就不会被处理。实际测试发现并 阅读全文

摘要： 博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/15247833.html 原因：CDH 5.13.3默认的hive是 1.1.0版本，过于陈旧，不利于其他相关组件的升级，例如spark。CDH内进行hive版本升级，可以利用CDH进行hive日常运维。 阅读全文

摘要： 删除hdfs ha namenode的正常方式是先禁用高可用，今天想试试直接删除其中一个namenode，于是开始操作，结果剩下的NN无法启动。 cm页面报错：“Nameservice testCluster has no SecondaryNameNode or High-Availability 阅读全文

摘要： 博客园首发，转帖请注明地址：https://www.cnblogs.com/tzxxh/p/10267202.html 图一 图1未做cache，直接过滤expression列的 null 和空字符串，可以看到结果符合预期。 图二 图2做了cache，再过滤expression列的 null 和空字 阅读全文

摘要： es部署：es只能用普通用户启动 博客园首发，转载请注明出处：https://www.cnblogs.com/tzxxh/p/9435318.html 一、环境准备： 安装jdk1.8、创建普通用户 二、安装： 方法一：tar包的形式 1.登陆普通用户 2.下载elasticsearch tar包 阅读全文

摘要： 博客园首发，转载请注明出处：https://www.cnblogs.com/tzxxh/p/9123231.html 一、准备 1、关闭cdh中的服务 hdfs、yarn等所有服务；关闭 cm-server、cm-agent；备份cm元数据库。 2、下载 http://archive.clouder 阅读全文

摘要： 博客园首发，转载请注明出处https://www.cnblogs.com/tzxxh/p/9120020.html 一、准备工作（下面的内容括号内写master的表示仅在master节点执行，all代表所有节点都执行） 1、文件下载： http://archive.cloudera.com/cdh5 阅读全文