2020年9月19日
pyspark提交集群任务
摘要： 1.打包python环境 建议使用conda conda克隆环境 conda create -n prod_env --clone base 进入conda的miniconda3/envs # 打包python环境 zip -r prod_env.zip prod_env 2.提交任务 sh脚本 e 阅读全文
posted @ 2020-09-19 21:36 一支小白 阅读(2515) 评论(0) 推荐(0) 编辑
无法打开hadoop的UI页面
摘要： 假如没有配置name和data的路径。会默认放到.tmp下重启就会消失。 hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 阅读全文
posted @ 2020-09-19 18:00 一支小白 阅读(772) 评论(0) 推荐(0) 编辑