2020年6月29日
内核源码分析——shuffle
摘要： 中华石衫版本 1——每个shuffleMapTask都会为每个ResultTask创建一份bucket缓存，以及对应的shuffleBlockFile磁盘文件； 2——shuffleMapTask的输出，会作为MapStatus，发送到DAGScheduler的MapOutputTrackerMas 阅读全文
posted @ 2020-06-29 20:20 muyue123 阅读(169) 评论(0) 推荐(0) 编辑
问题
摘要： 1:使用count(*)显示为0，但select操作时发现表有中数据。 因为执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回(至于为什么不自动更新，尚不清楚)。 解决方案： 1——使用ANALYZE命令手动更新表统计信息：ANAL 阅读全文
posted @ 2020-06-29 17:42 muyue123 阅读(102) 评论(0) 推荐(0) 编辑
函数参数
摘要： 请看廖雪峰。 https://www.liaoxuefeng.com/wiki/1016959663602400/1017261630425888 阅读全文
posted @ 2020-06-29 16:58 muyue123 阅读(98) 评论(0) 推荐(0) 编辑