2024年4月25日
spark standalone同时运行pyspark和spark-shell
摘要： 需要限制资源数量，使用 spark.cores.max 或 --total-executor-cores 来指定最大核数。 假设集群一共4c5.6g pyspark（使用2c2g） from pyspark.sql import SparkSession spark = SparkSession.b 阅读全文
posted @ 2024-04-25 12:45 aminor 阅读(11) 评论(0) 推荐(0) 编辑
/**/ /**/