2019年4月9日
大数据的压缩格式
摘要： 为什么map端用snappy压缩格式；而reduce用gzip或者bzip2的压缩格式呢？为什么每个reduce端压缩后的数据不要超过一个block的大小呢？ 检查Hadoop版本的压缩格式是否可用【我在Hadoop cdh 5.7版本中查看Hadoop压缩格式】 一、在解答上述问题以前，我们先说一 阅读全文
posted @ 2019-04-09 17:00 任重而道远的小蜗牛 阅读(1267) 评论(0) 推荐(0) 编辑
hadoop运行案例
摘要： 运行一个example [hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10 运行的过程中报错 然后去查看jobhisto 阅读全文
posted @ 2019-04-09 14:13 任重而道远的小蜗牛 阅读(1287) 评论(0) 推荐(0) 编辑