05 2020 档案

摘要：一 jstat 命令操作 -class 监视类装载,卸载数量,总空间及类装载所耗费时间。 -gc 监视java堆状况，包括eden区，2个survivor区、老年代、永久代等的容量、已用空间、GC时间合计等信息 -gccapacity 监视内容与-gc基本相同，但输出主要关注java 堆各个区域使用 阅读全文

摘要：一 背景 公司的hive节点,spark节点,livy节点数过多,使用spark,livy访问hive数据库无可避免涉及到hive udf更新发布。 二 example 1. 新建udf maven项目。pom.xml添加依赖 <dependency> <groupId>org.apache.hiv 阅读全文

摘要：使用 apache livy时，进行高并发任务压测出现错误 pool-1-thread-111 start run xx.xx.xxx.xx [亲，你的任务正在节点 xx.xx.xxx.xx 的LivyServer 上飞, job history id: null] [Run Sql error: 阅读全文

摘要：spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码 修改完毕后重新执行 观察livy session中的sql。 果然乱码没了,执行结果集跟spar 阅读全文

摘要：sql样例 select * from open.dws_openmall_item_inc_d a where a.log_date = '日期' and business = 'mall' and a.item_id=10022085 hive 执行有两条数据 spark执行有一条数据,经过排查 阅读全文