摘要:
数据倾斜产生的原因 数据倾斜就是分布式计算过程中,数据分配不均匀,导致最终任务花费的时间很长或失败。不管是hive还是spark, 数据倾斜基本都发生在执行join count distinct、group by等会触发Shuffle操作时,如果key值分布过于集中,相同key的值就会被拉到一个节点 阅读全文
摘要:
Tip:word文件与Markdwon转换往往是可逆的。无论使用哪种方式,要想完美转换,必须要预先处理掉markdown与word不兼容的格式,如word文件对象,带边框的代码块等等 方法一:借助pandoc 或者结合Writage pandoc: Windows/Mac安装 下载地址https:/ 阅读全文