2017年7月26日
Spark集群 Python Package管理
摘要： 具体问题： 针对问题2的一个解决办法是将Python依赖库打包成*.egg文件，在运行pyspark或者spark-submit时使用–py-files加载egg文件。此解决方案的问题在于许多Python库都包含native code，编译时对平台依赖，并且对于一些复杂依赖的库（如Pandas） 阅读全文
posted @ 2017-07-26 23:10 乐乐章 阅读(890) 评论(0) 推荐(0) 编辑