AirFlow功能展示个人笔记
摘要：DAGs 查看您可以一目了然地查看成功、失败及当前正在运行的任务数量。 选中其中一个DAG 树视图 跨越时间的 DAG 的树表示。如果 pipeline（管道）延迟了，您可以很快地看到哪里出现了错误的步骤并且辨别出堵塞的进程。 图表视图 图形视图可能是最全面的一种表现形式了。它可以可视化您的 DAG
阅读全文
posted @ 2019-08-29 18:04
08 2019 档案
23.安装php和echarts进行结合展示图表
摘要：数据展示 http://echarts.baidu.com/index.html 是一个图像展示 可以到官方实例中选择各种图 通过下载例子 新建echartdome.php 通过浏览器打开 但是我们必须通过phpstudy来运行，不能直接这样打开网页 先把echartdome.php改成index.
阅读全文
posted @ 2019-08-29 00:11
22.把hive表中数据导入到mysql中
摘要：先通过可视化工具链接mysql，在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存，输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 可以看到mysql的数据
阅读全文
posted @ 2019-08-26 23:08
21.根据hive绑定数据统计计算保存到hive表中
摘要：创建upflow表 将表access里面的内容导入到upflow表中
阅读全文
posted @ 2019-08-25 17:50
20.采集项目流程篇之清洗数据绑定到hive表中
摘要：先启动hive 在mydb2这个数据库中创建表； 把清洗后的数据导入到刚刚创建的hive表中
阅读全文
posted @ 2019-08-25 16:46
airflow 安装配置celery+rabbitmq celery+redis
摘要：AirFlow的安装可以参考：https://www.cnblogs.com/braveym/p/11378851.html 这里介绍的是AirFlow 安装配置celery+rabbitmq 和 celery+redis 一、airflow 安装配置celery+rabbitmq 1、安装cele
阅读全文
posted @ 2019-08-21 15:11
Centos7 安装部署 Airflow
摘要：本人在centos7 的环境下部署，怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述， centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.co
阅读全文
posted @ 2019-08-20 17:58
19.通过MAPREDUCE 把收集数据进行清洗
摘要：在eclipse软件里创建一个maven项目 jdk要换成本地安装的1.8版本的 加载pom.xml文件 在加载依赖包的时候如果出现错误，在仓库里找不到1.8jdk.tools 在这个地方改成本地的jdk绝对路径，再重新加载一次maven的依赖包 我这里修改成 在项目下新建AccessLogPreP
阅读全文
posted @ 2019-08-20 00:35
SpringBoot整合MyBatis完成用户查询
摘要：接上面工程代码，可以参考：https://www.cnblogs.com/braveym/p/11349409.html 1 、在 mapper 接口中以及映射配置文件中添加相关代码 修改UserMapper接口 修改UsersMapper.xml文件 2 、在业务层中添加查询方法 在UserSer
阅读全文
posted @ 2019-08-16 01:02
SpringBoot整合MyBatis完成添加用户
摘要：怎么创建项目就不说了，可以参考:https://www.cnblogs.com/braveym/p/11321559.html 打开本地的mysql数据库，创建表 在项目里面新建Users.java类 创建 mapper 接口以及映射配置文件 接口 映射文件 创建业务层 创建 Controller
阅读全文
posted @ 2019-08-13 23:57
SpringBoot整合Thymeleaf
摘要：1、先创建项目 在pom文件里添加依赖 pom.xml 目录位置： src/main/resources/templatestemplates： 该目录是安全的。 意味着该目录下的内容是不允许外界直接访问的。 2. Thymeleaf 的基本使用2.1Thymeleaf 特点：Thymelaef 是
阅读全文
posted @ 2019-08-11 22:45
SpringBoot整合Freemarker
摘要：创建新项目 在pom,xml文件添加依赖 接下来大打开Hbuilder这个软件 打开项目所在位置 新建userList.ftl文件 userList.ftl 创建Controller 创建Users.java类 创建启动器 运行启动器 在浏览器打开
阅读全文
posted @ 2019-08-07 16:57
SpringBoot整合jsp
摘要：新建项目 给pom文件添加这两个依赖 pom.xml文件 创建 springBoot 的全局配置文件， application.properties 新建controller包 在这个包下新建UserController类 新建pojo包和User类 新建以下目录 创建userList.jsp文件
阅读全文
posted @ 2019-08-07 15:55
springBoot文件上传
摘要：新建项目 在static目录下创建upload.html 新建controller包 在这个包下新建FileUploadController.java类 新建一个启动类 运行启动类 在流量器输入 选择一个本地的文件进行上传 通过配置aplication.properties文件 现在就可以上传300
阅读全文
posted @ 2019-08-05 17:11
springBoot访问静态资源
摘要：新建项目 我们把一张图片放在static的目录下 编写App.java启动类 App.java 运行启动类 在浏览器访问 新建一个index.html 启动App.java 打开浏览器访问 新建images包，并把java.jpg放进去 在index.html中添加一下语句 启动App.java类
阅读全文
posted @ 2019-08-05 15:34
springBoot整合Listener
摘要：新建项目 这个是pom文件 新建FirstListener类 新建App.java启动类 App.java 运行启动类 SpringBoot 整合 Listener 方式二 新建SecondListener类 SecondListener.java 编写启动类App2.java App2.java
阅读全文
posted @ 2019-08-05 13:54
springboot整合filter
摘要：新建一个项目 新建Firstfilter类 Firstfliter.java 新建servlet包，同时在包内新建FirstServlet类 FirstServlet.java类 新建一个App.java启动类 App.java类 运行启动类 在浏览器运行 在终端打印出 现在用第二种方式整合filt
阅读全文
posted @ 2019-08-04 17:10
springboot整合servlet
摘要：在idea新建项目 这个是pom.xml文件需要添加的依赖包 新建一个servlet包 在这个包下面新建FirstServlet类 FirstServlet.java 类 编写启动类 App.java类 运行App.java 在浏览器输入 终端打印 下面介绍servlet的第二种整合方式 新建Sec
阅读全文
posted @ 2019-08-04 15:26
