摘要： 任务一直报错 现象比较奇怪，部分任务可以正常跑，部分问题报错 报错信息如下： yarn报错，任务不能访问jobhistory，启动historyserver就行 阅读全文

摘要： spring boot 实现mybatis拦截器 项目是个报表系统，服务端是简单的Java web架构，直接在请求参数里面加了个query id参数，就是mybatis mapper的query id，刚好对接接口的请求参数，没有使用接口模式。 基于这种特性，分页使用了PageHelper插件，但是 阅读全文

摘要： 上篇： Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop，配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 阅读全文

摘要： 发生了一件辣眼睛的操作，一个现场应用升级，由于跨度很大，不敢直接动，就把现场的数据库dump拿回来，在公司做写升级测试。 于是，联系现场的工程师把数据库dump导出来，放到网盘弄回来。 一个星期后 现场的工程师说，dump文件太大，拿不了 回想起，去年去哪个现场的时候，看到的数据表空间截图： 700 阅读全文

摘要： 接上篇：使用Hadoop API 压缩HDFS文件 压缩完了，当然需要解压缩了。 直接上代码： 打包执行： 文件大小： 249.4 M ，解压后大小：1.4 G，执行时间 39 s，很不错 项目地址：码云 阅读全文

摘要： 下篇解压缩：使用Hadoop API 解压缩 HDFS文件 起因： 集群磁盘剩余空间不足。 删除了存储在HDFS上的，一定时间之前的中间结果，发现并不能释放太多空间，查看计算业务，发现，每天的日志存在数量竟然是10份。/惊恐 /a/log=20180101 #每日原始日志 /b/log=201801 阅读全文

摘要： 前段时间，一个客户现场的Hadoop看起来很不正常，有的机器的存储占用达到95%，有的机器只有40%左右，刚好前任的负责人走了，这边还没有明确接班人的时候。 我负责的大数据计算部分，又要依赖Hadoop的基础平台，要是Hadoop死了，我的报表也跑不出来（专业背锅）。 做下balance，让各个节点 阅读全文

摘要： 找不到DNS服务器。 解决办法： 配置/etc/resolv.conf 加入如下内容： 重新执行。搞定 阅读全文

摘要： hive UDTF函数 阅读全文

摘要： hive udf函数 阅读全文