05 2016 档案

hive streaming 使用shell脚本
摘要：一。HIVE streaming 在Hive中，需要实现Hive中的函数无法实现的功能时，就可以用Streaming来实现。其原理可以理解成：用HQL语句之外的语言，如Python、Shell来实现这些功能，同时配合HQL语句，以实现特殊的功能。 二。 实例 1. 日志文件的格式 2. 处理的目的 阅读全文
posted @ 2016-05-07 13:15 Amei1314 阅读(653) 评论(0) 推荐(0) 编辑
简单的Flume和hive的结合
摘要：1. 日志格式 2. 建立的对应的hive表： 3. flume配置文件 阅读全文
posted @ 2016-05-03 11:03 Amei1314 阅读(1581) 评论(0) 推荐(0) 编辑
Flume interceptor 使用注意事项
摘要：1. 在使用 Regex Filtering Interceptor的时候一个属性是excludeEvents 当它的值为true 的时候，过滤掉匹配到当前正则表达式的一行 当它的值为false的时候，就接受匹配到正则表达式的一行 2. flume interceptors的其它属性 Flume h 阅读全文
posted @ 2016-05-01 10:25 Amei1314 阅读(2489) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示