code -ss

摘要： 相比于pandas，pyspark的dataframe的接口和sql类似，比较容易上手。 搭建python3环境 建议使用miniconda3 下载地址：https://mirrors.bfsu.edu.cn/anaconda/miniconda/ 选择py37版本 conda镜像配置：https: 阅读全文

摘要： 下载地址 https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_vmware_181205.ovavmware导入即可，网络使用桥接，不然可能无法打开。 文档 https://www.cloudera.com/tutoria 阅读全文

摘要： 1.打包python环境 建议使用conda conda克隆环境 conda create -n prod_env --clone base 进入conda的miniconda3/envs # 打包python环境 zip -r prod_env.zip prod_env 2.提交任务 sh脚本 e 阅读全文

摘要： 假如没有配置name和data的路径。会默认放到.tmp下重启就会消失。 hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 阅读全文

摘要： import time from gevent import monkey import gevent from gevent.pool import Pool monkey.patch_all() # 保证放在上面 import requests def f(_url: str): print(' 阅读全文

摘要： https ca + key + password session = requests.Session() session.mount('https://', SSLAdapter(certfile, keyfile, password)) session.get(url) http auth认证 阅读全文

摘要： cd /etc/sysconfig/network-scripts/TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV 阅读全文

摘要： https://www.runoob.com/w3cnote/es6-map-set.html 阅读全文

摘要： 安装docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun sudo mkdir -p /etc/docker echo '{"registry-mirrors":["https://reg-mirror.q 阅读全文

摘要： 阅读全文