05 2022 档案

摘要：https://pythontutor.com/ 代码执行过程可视化，拯救了我的脑细胞！ - 知乎 (zhihu.com) 阅读全文

posted @ 2022-05-22 14:57 cup_leo 阅读(109) 评论(0) 推荐(0) 编辑

摘要：(21条消息) python partition by函数_Spark Python API函数学习：pyspark API(4)_张景淇的博客-CSDN博客阅读全文

posted @ 2022-05-22 09:59 cup_leo 阅读(73) 评论(0) 推荐(0) 编辑

摘要：import datetime def create_assist_date(datestart = None,dateend = None): # 创建日期辅助表 if datestart is None: datestart = '2022-04-25' if dateend is None: 阅读全文

posted @ 2022-05-19 20:40 cup_leo 阅读(921) 评论(0) 推荐(1) 编辑

类别特征处理分类特征编码

摘要：类别特征处理 Kaggle知识点：类别特征处理 - 知乎 (zhihu.com) 阅读全文

posted @ 2022-05-12 10:13 cup_leo 阅读(12) 评论(0) 推荐(0) 编辑

pyspark 常用rdd函数例子

摘要：## mapPartions def model_pred(partitionData): updatedData = [] for row in partitionData: pred_value = model.value.predict([row[2:]])[0] pred_value = f 阅读全文

posted @ 2022-05-10 21:25 cup_leo 阅读(89) 评论(0) 推荐(0) 编辑

pyspark读取hdfs 二进制文件 pickle 模型文件 model

摘要：pyspark读取hdfs 二进制文件 pickle 模型文件 model 我们在python环境训练的机器学习、深度学习模型二进制文件，比如pickle 如果需要提交到spark-submit上，需要先把文件上传到hdfs目录下，然后读取 hadoop fs -put 模型文件 hdfs目录如阅读全文

posted @ 2022-05-09 13:29 cup_leo 阅读(1106) 评论(0) 推荐(0) 编辑

pyspark基于python虚拟环境运行 linux 搭建 pyspark

摘要：linux 搭建 pyspark (21条消息) Linux服务器下PySpark环境安装_Viva Python的博客-CSDN博客_pyspark安装 pyspark基于python虚拟环境运行 - 倪平凡 - 博客园 (cnblogs.com) (21条消息) pyspark使用anacond 阅读全文

posted @ 2022-05-06 20:06 cup_leo 阅读(416) 评论(0) 推荐(0) 编辑