Exception: Python in worker has different version 2.6 than that in driver 2.7, PySpark cannot run

Python版本不一致导致的,设置下环境变量即可。

Exception: Python in worker has different version 2.6 than that in driver 2.7, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

python --version 发现是2.6

echo $PYSPARK_PYTHON 值为空

echo $PYSPARK_DRIVER_PYTHON 值是ipython

which ipython发现路径是

/home/work/envs/python_2.7.13/bin/ipython

设置环境变量,问题解决:

export PYSPARK_PYTHON=/home/work/envs/python_2.7.13/bin/ipython

 

 

posted @   船长博客  阅读(1258)  评论(0编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
· 三行代码完成国际化适配,妙~啊~
永远相信美好的事情即将发生!
点击右上角即可分享
微信分享提示