吹胡子爷爷

摘要： 单机跑一个脚本做数据处理，但是由于输入数据实在太大，处理过程中占用大量内存经常被系统杀死，所以考虑放在hive中做数据聚合。借此机会研究下UDAF怎么写，把踏坑的经验写出来，希望可以帮助大家少走弯路！嗯。。。就酱紫。 经常听UDF，那么UDAF是什么鬼？ 就是聚合功能的UDF啦~ 比如hive内置的 阅读全文

摘要： 在使用局部敏感哈希算法的过程中，发现python有相关实现，但是在下载时报错，很让人抓狂！ 百度了很久找不到方法，后来谷歌找到了解决方法（参见https://github.com/kayzhu/LSHash/pull/18）。 简单来说就是，lshash 0.0.4dev 版本的包基于旧版本pyth 阅读全文

摘要： 今天又发现一个Linux shell 命令——paste，之前没有用过，在此记录一下。 Linux paste命令用于合并文件的列。 paste指令会把每个文件以列对列的方式，一列列地加以合并。 语法 参数： -d<间隔字符>或--delimiters=<间隔字符> 用指定的间隔字符取代跳格字符。 阅读全文