摘要：hive中删除列时没有与mysql语句alter table drop column 对应的语句。然而依然可以完成此功能：使用ALTER TABLE log_messages REPLACE COLUMNS ()，具体语法请参见《Programing Hive》中“Deleting or Replacing Columns”小节。注：分区列不能出现在中，在hive v0.7.1中是这样，其他版本不详。 阅读全文

摘要：工作上每天的日志数据和结果数据有很多，如果不及时清理服务器很快就爆掉了。之前都是在各个任务自己的程序中清理，项目多了之后感觉配置复杂而且很多重复的工作，况且清理数据工作本身比较相似、独立，于是就把这部分工作集中一起处理。工具由shell脚本和配置文件实现，主要功能特点有：1. 支持删除本地数据，包括文件夹和文件，支持通配符2. 支持删除hadoop hdfs数据，包括文件夹和文件，支持通配符，支持跨集群3. 支持hive删除分区，使用drop partition语句实现，支持跨集群4. 单项数据保留时间可配置5. 一个配置文件，集中管理配置文件格式："#注释内容file (可带通配符 阅读全文