Sqoop-MySQL导入hive时id为文本解决
摘要：
错误如下 解决 修改命令如下 阅读全文
posted @ 2019-05-27 15:37 嘣嘣嚓 阅读(552) 评论(0) 推荐(0) 编辑
Hive-多分隔符
摘要：
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="*#&&&&#*") 多分隔符的实现。 CREATE TABLE test_ 阅读全文
posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(275) 评论(0) 推荐(0) 编辑
Hive-java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
摘要：
Task with the most failures(4): Task ID: task_1555476136794_8201_m_000000 URL: http://hadoop1:8088/taskdetails.jsp?jobid=job_1555476136794_8201&tipid= 阅读全文
posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(3520) 评论(0) 推荐(0) 编辑
Hive-生成一个大文件（小文件合并）
摘要：
set hive.execution.engine=mr; --在 map-reduce 作业结束时合并小文件。如启用，将创建 map-only 作业以合并目标表/分区中的文件。 set hive.merge.mapredfiles=true; set hive.merge.rcfile.block.level=true; --合并后所需的文件大小。应大于 h... 阅读全文
posted @ 2019-05-27 14:14 嘣嘣嚓 阅读(1447) 评论(0) 推荐(0) 编辑
