RICH-ATONE

2021年9月26日 #

Spark中的Driver和Executor详解及相关调优

摘要： Driver： ①、driver进程就是应用的main()函数并且构建sparkContext对象，当我们提交了应用之后，便会启动一个对应的driver进程，driver本身会根据我们设置的参数占有一定的资源（主要指cpu core和memory）。②、driver可以运行在master上，也可以运 阅读全文

posted @ 2021-09-26 16:44 RICH-ATONE 阅读(6724) 评论(0) 推荐(0) 编辑

Linux查看物理CPU个数、核数、逻辑CPU个数

摘要： 直接top，再按1 可查看总核数或者使用如下命令： # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort 阅读全文

posted @ 2021-09-26 16:29 RICH-ATONE 阅读(233) 评论(0) 推荐(0) 编辑

shell命令查看进程id，并杀死进程，停止脚本

摘要： shell命令查看进程id，并杀死进程，停止脚本 阅读全文

posted @ 2021-09-26 11:34 RICH-ATONE 阅读(336) 评论(0) 推荐(0) 编辑

导航