摘要：
无论是采用GDB调试impala或者尝试修改impala源码，前提都是需要本地环境编译impala，这篇文章详细的分享一下impala编译方法以及编译过程遇到的棘手的问题：前言：impala官方的git上其实是有impala编译的步骤的，但是在后来的git版本迭代中，被藏在了一个诡异的地方，http... 阅读全文
摘要：
（前人写的不错，很实用，负责任转发）转自：http://www.crazyant.net/1197.html Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st 阅读全文
摘要：
因为属于公司的数据部门，所以会接到一些产品，或者数据策略组 同事的数据需求， 其中一个需求如下：为了评估一批词的如果加入黑名单会造成的收入损失，采用模糊匹配参照其过去一段时间的收入来作为考量指标。 原始需求：模糊命中 附件中XXX多个词的 关键词的消费数据，取消费数据中过去一周的数据。 最终输出所有 阅读全文
摘要：
shell 中，经常有定时任务， 这时候shell脚本中一般会对时间进行一些判断，或者相关逻辑的操作 这时候，如果你获取的小时或者分钟是08,09，如果要再对其进行运算符或者比较的话，就会报标题的错误。 原因： shell 默认认为0开始是个八进制，而八进制不可能出现8,9，所以报错。 解决方法： 阅读全文
摘要：
shell 空格很敏感，被线上代码坑了，占个位，回头好好整理一下 阅读全文
摘要：
打开的文件过多，一般来说是由于应用程序对资源使用不当造成，比如没有及时关闭Socket或数据库连接等。但也可能应用确实需要打开比较多的文件句柄，而系统本身的设置限制了这一数量。 异常 1 java.net.SocketException: Too many open files at java.ne 阅读全文
摘要：
global和local变量虽然简单，但是还是记录一下，主要是转载转载自：http://blog.sina.com.cn/s/blog_436992740102ux8z.html先看一段代码：可见 old_price 是个全局变量， final_price 是局部变量运行结果是：局部变量拿到外面来如... 阅读全文
摘要：
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，... 阅读全文
摘要：
来自前人的分享和总结：转自：http://blog.csdn.net/chenfei_5201213/article/details/9633525先说说函数定义，我们都知道，下面的代码定义了一个函数funcAdef funcA(): pass显然，函数funcA没有参数（同时啥也不干:D）。下面这... 阅读全文
摘要：
转自：http://blog.csdn.net/scelong/article/details/6977867Python两个内置函数——locals 和globals这两个函数主要提供，基于字典的访问局部和全局变量的方式。在理解这两个函数时，首先来理解一下python中的名字空间概念。Python... 阅读全文
摘要：
感谢原创，文章很有帮助。转自：http://www.cnblogs.com/chengmo/archive/2010/10/02/1841355.html一、判断读取字符串值表达式含义${var}变量var的值, 与$var相同${var-DEFAULT}如果var没有被声明, 那么就以$DEFAU... 阅读全文