摘要：
1.背景 采用华为的DGC+MRS套件，目前两套系统没有彻底打通，所以对SQL资源占用情况不够详细，无法清晰知道哪段脚本（或者表）长时间占用大量计算资源。所以需要搞一个中间系统把DGC和MRS关联起来。 2.方法 计划采用HiveHook的方式把所有的SQL提交内容记录下来存储到HDFS，尤其是qu 阅读全文
摘要：
1.背景 mysql密码久了没用，不清楚维护到哪里了，但是navicat里面还有链接信息，所以可尝试从navicat把密码取出来。 2.操作步骤 选择文件，然后导出连接，选择下图需要导出的连接。 查看文件里面存储的密码，密码是加密的，后面需要解密。 拿到密码进行解密，访问https://tool.l 阅读全文
摘要：
运维哥哥为了获取每个表的访问时间，开启了Hive钩子，在集群参数里面配置了hive.exec.pre.hooks= org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec，结果导致在使用图1的sql时报找不到虚拟表的错误(如 阅读全文
摘要：
直接操作mysql数据然后插入另一个表，报了一个截断错误，猜测是数据被指定为signed,但是数据出现了非整数，所以报如下图1错误；但是奇怪的是查询不写入表是没问题的，写入表就会报图1错误。 图 1 然后看数据又全是整数或者为空，理论上应该没问题。 图2 核对了数据确实没问题，就简单粗暴的通过忽略错 阅读全文
摘要：
Flink读取kafka数据写入hdfs,生成了带下划线的文件名，创建hive表指定该路径，发现数据读取不出来。 查阅源码，原来是会忽悠带下划线和.的文件。 阅读全文
摘要：
1.背景 最近在整理以往写的项目，需要把所有做过的项目全部放到一个git地址上，整理过程中，准备再测试一下Flink程序，结果程序无法启动，就只有跟着报错一个一个的踩坑。 2.实施步骤 （1）报无法加载主类，查阅代码以往有些代码和jar包是注释掉的，这次整理代码把注释干掉了，导致很多包引用进来，猜测 阅读全文
摘要：
1.数据库引擎初识 数据引擎大致包含数据结构、存储形式、数据关系、数据更新方式、高效增删改查、日志，围绕这几个方面进行相应权重处理，得到不一样的效果，内容可以整理为如下图： 2.Hudi了解 Hudi提供两种读写方式，一种读时合并，另一种是写时复制，简单的说就是充分利用顺序写，然后加上相关索引等机制 阅读全文
摘要：
一.背景 最近发现一个大坑，一个分区事实表（天分区）关联一个时间表用于对时间范围内的分区数据进行统计，结果速度超慢，通过explain分析需要在where条件后面加上对分区的大致筛选范围才会有速度提升，看来Tez引擎并没有按照我们想象的那样根据join的表来筛选数据范围。 二.分析 1.查看没有wh 阅读全文
摘要：
今天重温一下快速排序,快速排序主要是通过从右向左和从左向右扫描，当左边的扫描标记到比基准值大的停下，右边的扫描标记标记到比基准值小的停下，然后交换左右标记处的值,每一轮当左右扫描标记相遇则本轮结束，每一轮扫描主要是把基准值放到正确的位置上，把比基准值小的放到基准值的左边，比基准值大的放到右边。 直接 阅读全文
摘要：
win10系统安装xgboost确实坑多，最初直接安装python3.7和pycharm的方式一直未成功，后面想着使用anaconda来进行相关python包管理。 踩坑步骤如下： 1.使用anaconda prompt进行进行xgboost安装。 图1 2.执行命令pip install xgbo 阅读全文