摘要：
5. 有用的一行命令这一小节给出若干在定位性能问题的命令，用于快速定位。1）查看系统当前网络连接数 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 2）查看堆内对象的分布 Top 50（定位内存泄漏） jmap 阅读全文
摘要：
https://www.liuzhanwu.cn/29909.html 阅读全文
摘要：
1.hive表迁移 #!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do 阅读全文
摘要：
使用sqoop进行抽取的时候 报错信息如下： Error: java.io.IOException: SQLException in nextKeyValue 问题原因：由于mysql的驱动包导致的 解决方案：将sqoop里面的mysql驱动包中的mysql8.0 修改为mysql5.+ 2.sqo 阅读全文
摘要：
Hive 自定义udf --ip地址解析出归属地 1.问题背景：现在我们的流量表里存有用户的IP地址，有需求需要将ip地址的归属地解析出来。结构是 国家-省份-城市-运营商 2.目前使用的是开源的ip库，调用三方接口不太适合hive udf使用并且都是收费的。 3.开源数据库调研了纯真数据库 发现i 阅读全文
摘要：
1.问题背景：流量表数据添加字段解析，需要对数据进行重跑，就是进行 insert overwrite ，hive的引擎是 tez。不过插入后发现查询特别的慢，经排查发现是由于重新插入数据导致了很多小文件，从而导致数据查询特别慢。 2.问题解决：可以添加参数进行小文件合并 #动态分区 SET hive 阅读全文