2015年5月18日
PySpark调用自定义jar包
摘要： 在开发PySpark程序时通常会需要用到Java的对象，而PySpark本身也是建立在Java API之上，通过Py4j来创建JavaSparkContext。这里有几点是需要注意的1.Py4j只运行在driver也就是说worker目前来说引入不了第三方的jar包。因为worker结点的PySpa... 阅读全文
posted @ 2015-05-18 10:38 errdev 阅读(3665) 评论(0) 推荐(0) 编辑