08 2016 档案
摘要：t = '19:16:30' mt = re.match(r'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$', t) print mt.groups() ip = '255.1...
阅读全文
摘要：Flume线上日志采集【模板】 预装软件 Java HDFS Lzo/Lzop 系统版本 Flume 1.5.0-cdh5.4.0 系统流程图 flume-env.sh配置文件 export JAVA_HOME=/usr/local/jdk1.7.0_55 export JAVA_OPTS="-Xm
阅读全文
摘要：什么叫大数据？什么叫O2O?什么叫蓝海？什么叫红海？什么叫互联网思维？什么叫众筹？接下来一个段子统统告诉你，就是这么简单粗暴！ 什么叫众筹 天冷了，想吃火锅，又懒得出去，咋办呢？首先邀请5个人。给第1个电话：“顺路买点菜来，就差蔬菜了。”接着第2个：“顺路买点羊肉，就差肉了。” 然后第3个：“顺路买
阅读全文
摘要：使用LZO过程会发现它有两种压缩编码可以使用，即LzoCodec和LzopCodec，下面说说它们区别： 【转自】http://heipark.iteye.com/blog/1579494
阅读全文
摘要：bash-1中启动如下进程while [ "true" ] ; do date >> test.log; sleep 1 ; done; bash-2中,tail -f test.log bash-3中，tail -F test.log bash-4中,rm test.log;或者mv test.l
阅读全文
摘要：如果已经有了lzo文件，可以采用如下方法添加索引： bin/yarn jar /module/cloudera/parcels/GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.4.0.jar com.had
阅读全文
摘要：【参考】http://blog.csdn.net/a19881029/article/details/18262671
阅读全文
摘要：【参考】http://blog.csdn.net/a19881029/article/details/18262671
阅读全文
摘要：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解Hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效
阅读全文
摘要：一、概述 在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。 星型架构
阅读全文
摘要：带limit的hivesql排序 select requestdomain,count(1) as cnt from ods_cndns_real_log where dt = 20160707 group by requestdomain order by cnt desc limit 1000;
阅读全文
