hive 分配map数过少导致任务执行慢
摘要：
数据表大概150M，但是只有几个字段，导致行数特别多，当使用正则表达式去匹配时执行较慢。解决思路：增大map数; //设置reduce数为150，将原表分成150份，map数无法直接设置，因为和输入文件数和文件大小等几个参数决定set mapred.reduce.tasks = 150;//在map... 阅读全文
posted @ 2014-08-24 14:00 a_badegg 阅读(2827) 评论(0) 推荐(0) 编辑
