摘要：
需求：kill 掉yarn上超时的任务，实现不同队列不同超时时间的kill机制，并带有任务名的白名单功能 此为python脚本，可配置crontab使用 阅读全文
|
摘要：
需求：kill 掉yarn上超时的任务，实现不同队列不同超时时间的kill机制，并带有任务名的白名单功能 此为python脚本，可配置crontab使用 阅读全文
摘要：
背景 hive 用的 1.1.0版本（其实这个版本bug挺多，包括执行计划串列的等等问题吧，建议大家如果选1.x版本用1.2.2吧），一下提到的代码部分如无特殊说明都是hive 1.1.0版本。 前段时间写一个hive sql 预估资源的服务（根据sql返回其读取的行数及所读文件（表）的大小，在运行 阅读全文
摘要：
该目录以及该目录的子目录下普通文件个数： ls l 查询该目录下的所有文件 R 包含子目录，其实就是递归查看 grep '^ ' 表示过滤掉(以“d” “l”等开头)即以“ ”(文件)开头的行(一行一个文件) wc l 统计行数（也就相当于文件数） 阅读全文
摘要：
本文大量参考阮一峰大神博客，整理笔记 解决inode爆满问题 一般inode爆满情况就较为严重了，程序运维会有问题，会报磁盘无空间 No space left on device。所以做好监控非常重要。 线上服务器inode爆满但是磁盘空间还有很大是什么原因呢?其实就是小文件太多了，占用了所在磁盘的 阅读全文
摘要：
笔者使用的hive版本是hive 1.1.0 hive 1.1.0动态分区的默认实现是只有map没有reduce,通过执行计划就可以看出来。（执行计划如下） hive 默认的动态分区实现，不需要shuffle 那么hive如何通过map就实现了动态分区了呢，stage1根据FileInputSpli 阅读全文
摘要：
jhat简介 把本机的java内存映像导出到heap.dmp中,其中PID为java进程的ID号。 导出后的映像文件可以用jhat来进行分析， J是向java虚拟机传一个参数，如 mx768m是指定虚拟机可用最大的内存为768M。如果映像文件很大，你要指定一个很大的值，否则在分析过程中就会有OutO 阅读全文
摘要：
博文目标 1. 如何停止一个线程 2. 线程池相关知识 java concurrent包下 3. 锁相关知识，如 hive complie 方法在hive 2.0.0后用了重入锁 4. log4j2的配置文件简单讲解 ~~如何利用hive源码自己实现explain 及资源预估，引出driver 的执 阅读全文
摘要：
hive 元数据修复命令 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表，但是网又没有连通，你需要如何操作呢？ 大功告成！！！ 阅读全文
摘要：
一.spark 分区 partition的理解： spark中是以vcore级别调度task的。 二.coalesce 与 repartition的区别（我们下面说的coalesce都默认shuffle参数为false的情况） 我们还拿上面的例子说: PS： 三.实例： 四.总结： 我们常认为coa 阅读全文
摘要：
以下是保留两位的例子 输出结果 先把d放大100倍取整（其实就是想保留放大一百倍后的两位数也就是12），然后再缩小100倍就被12保留下来了。 阅读全文
|