随笔- 59 文章- 0 评论- 1 阅读- 43235

04 2021 档案

摘要：背景在实际的项目中，遇到了一个场景: spark启动后，在执行部分java/scala算法后需要调用python实现的算法。python和java算法预先不能部署到服务器，因为客户可能随时扩展算子方案：动态调用java算法方案不赘述。大致思路就是部署一个web容器，该容器内实现一个主驱动类en 阅读全文

posted @ 2021-04-28 18:13 周周周文阳阅读(647) 评论(0) 推荐(1) 编辑

【spark】spark2升级到spark3，spark3中的包变动记录

摘要：背景: spark3新增动态裁剪。现尝试将spark2升级到spark3 当前版本：spark 2.4.1，scala 2.11.12 目标版本：spark 3.1.1, scala 2.12.13 异常记录: 异常1 java.lang.NoClassDefFoundError: org/apac 阅读全文

posted @ 2021-04-13 18:01 周周周文阳阅读(2388) 评论(0) 推荐(0) 编辑