04 2016 档案
摘要：1.用于打开运行中的jvm进程的gc 监控日志以及查看相关参数设置：jinfo 2.其它工具如：jps、jstack、jstat、jmap
阅读全文
摘要：起因： hive premanent udf 发布成功，但是hue 无法加载使用(但是cli 是可用的) ,处理半天，依然不可用！后来发现重启hiveserver2 就可以了 具体步骤如下： a. 将jar 放到hdfs上 hdfs:///tmp/hive-udf-1.0-SNAPSHOT.jar
阅读全文
摘要：1.首先官方下载源码，然后安装（./configure,make all,make install,make clean,make distclean） 注意：需要先安装zlib-devel,openssl-devel,这个在之后安装pip时需要，否则之后需要重新编译安装python2.7.11 另
阅读全文
摘要：小文件导致任务执行缓慢的原因： 1.很容易想到的是map task 任务启动太多，而每个文件的实际输入量很小，所以导致了任务缓慢 这个可以通过 CombineTextInputFormat，解决，主要需要设置 mapreduce.input.fileinputformat.split.maxsize
阅读全文
摘要：Caravel 是 Airbnb （知名在线房屋短租公司）开源的数据探查与可视化平台（曾用名Panoramix），该工具在可视化、易用性和交互性上非常有特色，用户可以轻松对数据进行可视化分析。 核心功能： 快速创建数据可视化互动仪表盘 丰富的可视化图表模板，灵活可扩展 细粒度高可扩展性的安全访问模型
阅读全文
摘要：最近CDH集群频繁告警，原因是某些host频繁swapping，极大影响了集群的性能。 后来发现有个设置（/proc/sys/vm/swappiness）需要修改，默认值60 Setting the vm.swappiness Linux Kernel Parameter vm.swappiness
阅读全文
摘要：之前只他调整过dfs 的存储目录到最大配额的目录，其它没有处理（就是在默认的/ 目录下，而这个目录的存储配额只有50G） 运行一周的时间不到，集群开始告警，查看是目录/ 的存储占用超过了60% 再查看具体目录情况，主要占用的目录有四个，分别是： /yarn 11G /var 9.6G /opt 4.
阅读全文
