随笔分类 -  Spark

Anaconda中配置Pyspark的Spark开发环境
摘要:http://www.cnblogs.com/jackchen-Net/p/6667205.html 如果notebook里没有输出则考虑是否端口被占用(默认8888) jupyter notebook --port=8889 https://geonet.esri.com/thread/18782 阅读全文

posted @ 2017-06-13 13:33 大大的橙子 阅读(1960) 评论(0) 推荐(0) 编辑

Spark Mllib
摘要:http://blog.csdn.net/xiaomuworld/article/details/51946672 初始化操作 spark shell: bin/pyspark 每个spark应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作,驱动器程序包含应用的mai 阅读全文

posted @ 2017-06-12 16:46 大大的橙子 阅读(509) 评论(0) 推荐(0) 编辑

pyspark
摘要:http://www.aboutyun.com/thread-18150-1-1.html 阅读全文

posted @ 2017-05-25 17:47 大大的橙子 阅读(99) 评论(0) 推荐(0) 编辑

error when start pyspark
摘要:ERROR spark.SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max 阅读全文

posted @ 2017-05-19 13:08 大大的橙子 阅读(360) 评论(0) 推荐(0) 编辑

python spark
摘要:http://blog.jobbole.com/86232/ 1. 安装lib 材料: spark : http://spark.apache.org/downloads.html hadoop : http://hadoop.apache.org/releases.html jdk: http:/ 阅读全文

posted @ 2017-04-27 15:15 大大的橙子 阅读(267) 评论(0) 推荐(0) 编辑

导航