java -cp
摘要：
java -cp /home/hdp/log4jTest/log4j-1.2.17.jar:/home/hdp/log4jTest/testLog.jar:/home/hdp/log4jTest/conf: test.TestLog 要执行test.TestLog类。 test是包名。 test.T 阅读全文
posted @ 2016-11-17 18:03 饭随笔 阅读(245) 评论(0) 推荐(0) 编辑
2016年11月17日 #
2016年11月15日 #
HBase预分区
摘要：
seq 0 7 | awk '{printf("\\x%02x\\x%02x\n", $1/256, $1%256);}' | sort -R |head -3 create 'msgbox', '0', {SPLITS_FILE => 'splits.txt'} create 't', {NAME 阅读全文
posted @ 2016-11-15 16:54 饭随笔 阅读(253) 评论(0) 推荐(0) 编辑
2015年6月25日 #
hbase hbck修复集群状态
摘要：
http://blackproof.iteye.com/blog/2052898 阅读全文
posted @ 2015-06-25 12:07 饭随笔 阅读(530) 评论(0) 推荐(0) 编辑
2015年5月20日 #
zookeeper集群管理配置优化总结
摘要：
1：默认jvm没有配置Xmx、Xms等信息，可以在conf目录下创建java.env文件export JVMFLAGS="-Xms512m -Xmx512m $JVMFLAGS"2：log4j配置，由于zk是通过nohup启动的，会有一个zookeeper.out日志文件，该文件中记录的是输出到... 阅读全文
posted @ 2015-05-20 14:04 饭随笔 阅读(7117) 评论(0) 推荐(0) 编辑
2015年4月29日 #
spark优化
摘要：
spark.shuffle.consolidateFiles=false 默认是false，shuffle阶段不进行文件的合并，1000个map和1000个reduce将产生1000 000个文件。设置为true减少shuffle阶段产生的文件数量。storageLevel的选择，根据自己的业务进行... 阅读全文
posted @ 2015-04-29 14:53 饭随笔 阅读(192) 评论(0) 推荐(0) 编辑
2015年3月30日 #
spark配置lzo
摘要：
spark1.0版本 spark-env.sh中export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-... 阅读全文
posted @ 2015-03-30 09:24 饭随笔 阅读(925) 评论(0) 推荐(0) 编辑
hadoop-2.2.0 的编译安装及HA配置
摘要：
准备工作中要求有 1.centOs 6.4，添加hadoop用户，配置集群内的/etc/hosts文件。 2.安装hadoop用户的ssh，并打通集群内所有机器，（ha执行fencing时会用到）。 3.下载社区版hadoop-2.2.0源码。 （编译hadoop 2.2.0所需要的软件可在此处下载 阅读全文
posted @ 2015-03-30 09:22 饭随笔 阅读(293) 评论(0) 推荐(0) 编辑
2015年3月24日 #
dscp hftp
摘要：
http://blog.163.com/caipeipei_love@126/blog/static/25966032201142712856862/ 阅读全文
posted @ 2015-03-24 15:38 饭随笔 阅读(136) 评论(0) 推荐(0) 编辑
2014年11月19日 #
bind9+mysql dlz(Dynamically Loadable Zones)
摘要：
yum install openssl openssl-develgroupadd mysqluseradd -g mysql -s /sbin/nologin -M mysqlchown -R mysql:mysql /usr/local/mysql./configure --prefix=/us... 阅读全文
posted @ 2014-11-19 16:58 饭随笔 阅读(1424) 评论(0) 推荐(0) 编辑
2014年11月17日 #