airflow删除dag不在页面显示
摘要：当我们需要把dag删除的时候，遇到了删除了相应的dag文件，但页面还是显示 这个时候需要重启airflow 的webserver
阅读全文
posted @ 2019-11-21 10:40
11 2019 档案
26.Spark创建RDD集合
摘要：打开eclipse创建maven项目 pom.xml文件 创建一个WordCountLocal.java文件 运行一下 集群执行wordcount程序 创建一个WordCountCluster.java文件 // 如果要在spark集群上运行，需要修改的，只有两个地方 // 第一，将SparkCon
阅读全文
posted @ 2019-11-10 15:47
25.Spark下载源码和安装和使用
摘要：安装scala 上传安装包 解压 配置scala相关的环境变量 验证scala安装是否成功 把scala分发给node2 node3 node4 分别给node2 node3 node4配置scala的环境变量，并使其生效 spark安装包下载地址：https://archive.apache.or
阅读全文
posted @ 2019-11-09 18:00
