会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
博客园
首页
新随笔
联系
订阅
管理
2021年8月24日
pyspark实现:关于python的算法程序,如何做成分布式处理,并解决环境的冲突等问题的记录
摘要: 背景: 一个切词、一个自然语言处理 原算法程序情况: 切词程序.py :每次读取数据,需要从数仓把数据文件拉取出来,然后手动导给算法同学处理 , 然后算法同学本地笔记本跑数据,得到切词数据 自然语言处理.py : 依赖上一个切词程序的结果数据,然后做情感分析。得到结果后,在手动导入数仓 问题: 1)
阅读全文
posted @ 2021-08-24 11:38 niutao
阅读(997)
评论(0)
推荐(0)
编辑