man子烦高

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2016年4月27日

摘要: cloudera oozie默认时区是UTC,在开发oozie任务时必须在期望执行的时间上减去8小时,很不习惯。记录下修改时区的配置操作。 1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie S 阅读全文
posted @ 2016-04-27 15:58 艺术家烦高 阅读(591) 评论(0) 推荐(0) 编辑

摘要: 假设workflow里有两个action节点,shell和hive,hive需要用到shell节点里的值,shell脚本如下 hive节点需传入day这个参数。需要用到shell节点里<capture-output/>这个属性,如下 阅读全文
posted @ 2016-04-27 15:53 艺术家烦高 阅读(665) 评论(0) 推荐(0) 编辑

2015年12月11日

摘要: 在分区表里增加字段后,向分区表插入数据有两种情况: 1.分区在修改表结构前存在 2.分区在修改表结构前不存在 对于第二种情况,bug不存在 针对第一种情形, 执行alter table denglg add columns(c3 string); 查分区数据新增字段值为空, 需再执行alter ta 阅读全文
posted @ 2015-12-11 15:34 艺术家烦高 阅读(14794) 评论(0) 推荐(0) 编辑

摘要: 向hive表对应hdfs中新建目录,put数据后,在hive命令行查询,查不到put进分区的数据,下面记录处理方法:分区既然是HDFS目录,那就可以通过hdfsput命令直接向HDFS添加分区。然而,元存储拥有所有表的元数据,它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCKR... 阅读全文
posted @ 2015-12-11 11:48 艺术家烦高 阅读(1329) 评论(0) 推荐(0) 编辑