摘要：
PASS spark中repartition什么分区最合适1.节点*每台核数2.hdfs块数/1283.goal文件切片那边 分区数接近2000，写2000 如果核数少，task数用2到3倍，文件朵的更碎，有效利用核资源2 300 ~ 1000 节点*每台核数太大了，>2000，写2000 阅读全文
摘要：
PASS https://www.cnblogs.com/coco2015/p/11240677.html 阅读全文
摘要：
PASS Pycharm setting -> interpretor -> pyspark 3.0.1 --trusted-host pypi.douban.com 阅读全文
摘要：
一、关于读取/写入kfk https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk，而sparkstreaming比较通用 2.两种读取方法：1.director 效率高 2.receiver 3.写入方法： 阅读全文
摘要：
一、通用脚本 当运行streaming任务时,可能会因为某些原因比如代码的bug,以及其他的因素导致streaming程序停止(FINISHED,KILLED,FAILED),虽然我们可以再手动重启一次程序, 但是这样还是比较麻烦的,接下来要做的就是让linux自动监控streaming程序是否停止 阅读全文