monkey66

2021年8月10日

摘要： --effective_date 可以是当前日期，也可以是数据中中数据的创建日期 --计算年龄 , if( datediff(ui.effective_date , CONCAT(substr(ui.effective_date , 0, 4), substr(uip.user_birthday, 阅读全文

posted @ 2021-08-10 17:55 monkey66 阅读(1182) 评论(0) 推荐(0) 编辑

hive 7天内连续3天

摘要： --buyStart 是 t_id在一段连续时间内的起始购买时间--buyEnd 是 t_id在一段连续时间内的最后购买时间select t_id , date_add(max_date, min_rk) as t_buyStart , date_add(min_date, max_rk) as t 阅读全文

posted @ 2021-08-10 14:00 monkey66 阅读(268) 评论(0) 推荐(0) 编辑

2021年8月5日

hive正则模糊匹配

摘要： SELECT count(1), count(DISTINCT xx)from xxx.xxxwhere dt = '2020-10-11' and length(regexp_extract(goods_tag_name, '易方达蓝筹|张坤|蔡徐坤', 0)) > 0; 阅读全文

posted @ 2021-08-05 15:11 monkey66 阅读(516) 评论(0) 推荐(0) 编辑

2021年8月3日

springboot 线程池

摘要： @Configurationpublic class MyThreadPoolTaskExecutor { @Bean("bdpThreadPoolTaskExecutor") public ThreadPoolTaskExecutor taskExecutor() { ThreadPoolTask 阅读全文

posted @ 2021-08-03 14:55 monkey66 阅读(106) 评论(0) 推荐(0) 编辑

2021年7月24日

java程序分析命令

摘要： 5. 有用的一行命令这一小节给出若干在定位性能问题的命令，用于快速定位。1）查看系统当前网络连接数 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 2）查看堆内对象的分布 Top 50（定位内存泄漏） jmap 阅读全文

posted @ 2021-07-24 15:04 monkey66 阅读(112) 评论(0) 推荐(0) 编辑

centos6无法使用yum

摘要： https://www.liuzhanwu.cn/29909.html 阅读全文

posted @ 2021-07-24 15:00 monkey66 阅读(12) 评论(0) 推荐(0) 编辑

乱七八糟的BUG

摘要：使用sqoop进行抽取的时候报错信息如下： Error: java.io.IOException: SQLException in nextKeyValue 问题原因：由于mysql的驱动包导致的解决方案：将sqoop里面的mysql驱动包中的mysql8.0 修改为mysql5.+ 2.sqo 阅读全文

posted @ 2021-07-24 14:49 monkey66 阅读(224) 评论(0) 推荐(0) 编辑

hive 表迁移

摘要： 1.hive表迁移 #!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do 阅读全文

posted @ 2021-07-24 14:49 monkey66 阅读(295) 评论(0) 推荐(0) 编辑

hive ip解析

摘要： Hive 自定义udf --ip地址解析出归属地 1.问题背景：现在我们的流量表里存有用户的IP地址，有需求需要将ip地址的归属地解析出来。结构是国家-省份-城市-运营商 2.目前使用的是开源的ip库，调用三方接口不太适合hive udf使用并且都是收费的。 3.开源数据库调研了纯真数据库发现i 阅读全文

posted @ 2021-07-24 14:38 monkey66 阅读(1123) 评论(0) 推荐(0) 编辑

hive小文件问题

摘要： 1.问题背景：流量表数据添加字段解析，需要对数据进行重跑，就是进行 insert overwrite ，hive的引擎是 tez。不过插入后发现查询特别的慢，经排查发现是由于重新插入数据导致了很多小文件，从而导致数据查询特别慢。 2.问题解决：可以添加参数进行小文件合并 #动态分区 SET hive 阅读全文

posted @ 2021-07-24 14:36 monkey66 阅读(153) 评论(0) 推荐(0) 编辑

公告