2.Spark 2.x 集群部署和测试
摘要：配置免密度登录 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车， 生成的密钥对 id_rsa， id_rsa.pub，默认存储在~/.ssh 目录下 现在给slave1节点设置公钥 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车， 生成的密钥对 i
阅读全文
posted @ 2019-12-31 17:58
12 2019 档案
airflow安装rest api插件发现airflow webserver服务不能启动的解决办法
摘要：安装插件airflow-rest-api 1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugins文件夹下的内容放入airflow/plugins/下，若不存在则新
阅读全文
posted @ 2019-12-19 18:50
27.Spark中transformation的介绍
摘要：Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD； 而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Driver程序。 例如，map就是一种transfo
阅读全文
posted @ 2019-12-15 17:59
1.Cloudera Manager安装
摘要：安装环境采用2台虚拟机进行，一台master, 一台slave1 先安装好centos 6.5 两台，并设置静态ip 怎么安装可以参考地址：https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html 关闭防火墙 设置成disable
阅读全文
posted @ 2019-12-11 15:54
win10系统不能ping通vmware虚假机解决办法
摘要：在使用vmware安装虚拟机后，在虚拟机里面可以上网，但就是不能在宿主机通过远程连接工具连接 同时也不能ping通虚拟机 检查网络配置 查看网关 在宿主机打开 ip地址填写刚刚查看的网关，同时把子网掩码填上 试ping 一下 可以看到Ping通了虚拟机了
阅读全文
posted @ 2019-12-09 20:59
在airflow的BashOperator中执行docker容器中的脚本容易忽略的问题
摘要：dag模板 在调度的时候日志报这样的错误 其实问题就出在这 用定时任务执行docker命令的脚本的时候报错如上标题,tty(终端设备的统称): tty一词源于Teletypes,或teletypewriters。 这个的意思是说后台linux执行的时候没有终端设备。我们一般执行docker里的命令时
阅读全文
posted @ 2019-12-05 10:30
AirFlow后台运行调度程序
摘要：nohup airflow scheduler>>$AIRFLOW_HOME/airflow-scheduler.log 2>&1 &
阅读全文
posted @ 2019-12-04 15:42
Airflow怎么删除系统自带的DAG任务
摘要：点击这个按钮 找到dag文件所在路径，并进入路径将其文件删除即可
阅读全文
posted @ 2019-12-04 14:10
