摘要：
在spark bin下面load-spark-env.sh脚本里，有以下语句： 对set -a不是很了解，所以做了以下小试验。 有两个shell脚本，test.sh如下： test2.sh如下： 运行test.sh结果如下： 可以看到set -a中的SPARK_HOME能够在另外一个bash中访问。 阅读全文
摘要：
碰到相同的问题，纠结了好几个小时。后台通过将java环境切换到1.7解决了。特此转载，记录下：http://www.jianshu.com/p/f4996b1ccf2f 问题 本地使用maven编译和运行时一切都正常，但是通过ci的方式，编译、打包、发布到部署环境，运行时抛出了一条一眼便知是关于JD 阅读全文
摘要：
刚接触scala，做练习的时候碰到一个问题，顺便mark一下。 先看下面一段代码： 上面的代码运行以后报错如下： Error:(1, 1) expected class or object definitiondef sum(args:Int*) = {^ 可下面的代码却能顺利跑出结果 阅读全文
摘要：
1，前言 想要深入的了解hbase，看hbase源码是必须的。以下描述了搭建hbase本地调试环境的经历 2，安装步骤 2.1，启动hbase 1，安装java和IDE IntelliJ，下载源码等。步骤这里不再描述。 2，从HMaster以standalone模式启动hbase，配置如下： 主要是 阅读全文
摘要：
1，现象 写的一个storm应用，主要是通过mysql的binlog来同步表到hbase。运行一段时间后发现，经常会出现cpu使用率飙升到200%以上，然后各种消息堆积报警等等出现各种问题 2，调研过程 cpu使用率很高，所以首先找到该进程，通过top命令，监控该进程的使用率，然后通过H，查看各个线 阅读全文
摘要：
目录： 1，背景 2，GC 3，hbase cache 4，compaction 5，其他 1，背景 项目组中，hbase主要用来备份mysql数据库中的表。主要通过接入mysql binlog，经storm存储到hbase。由于是实时接入binlog写入，写的压力不是很大，主要是晚上离线计算的时候 阅读全文