2013年12月26日
摘要: 工作上每天的日志数据和结果数据有很多,如果不及时清理服务器很快就爆掉了。之前都是在各个任务自己的程序中清理,项目多了之后感觉配置复杂而且很多重复的工作,况且清理数据工作本身比较相似、独立,于是就把这部分工作集中一起处理。工具由shell脚本和配置文件实现,主要功能特点有:1. 支持删除本地数据,包括文件夹和文件,支持通配符2. 支持删除hadoop hdfs数据,包括文件夹和文件,支持通配符,支持跨集群3. 支持hive删除分区,使用drop partition语句实现,支持跨集群4. 单项数据保留时间可配置5. 一个配置文件,集中管理配置文件格式:"#注释内容file (可带通配符 阅读全文
posted @ 2013-12-26 18:59 山君 阅读(710) 评论(0) 推荐(0) 编辑