摘要：
Kettle的使用还是比较简单，但使用过程中会遇到一些问题： 1.mysql8以上版本连接数据库的时候汇报如下错误： 解决方法：参考链接：https://www.cnblogs.com/wuzaipei/p/11294214.html 通过创建修改配置文件jdbc.properties来定义连接信息 阅读全文
摘要：
为了掌握大数据采集技术，自学习了datax的使用 简介： DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 首先下载datax.tar.g 阅读全文
摘要：
软件质量的属性 可修改性 可修改性：软件质量属性中的可修改性是指容易修改的能力，其包括修正，改进和用户需求的变化。 可修改性战术：其目标是控制实现、测试和部署变更的时间和成本。即为根据相关战术在时间和成本允许的范围内完成系统的相关变更。 可修改性战术分类： 1.局部化变更：目标是减少有某个变更直接影 阅读全文
摘要：
2020.02.29 本周主要内容：通过项目河北创新项目年报平台系统，其需要同一规范填报单位所在行政区划，解：通过调用百度地图API，来获取已知地域的所属行政区，例如 北京市环境卫生设计科学研究所 其所定位为：北京市朝阳区 其思路为首先通过百度api来获取该地域的经度和纬度，再根据经度纬度来识别其所 阅读全文
摘要：
软件质量的属性 可修改性 可修改性：软件质量属性中的可修改性是指容易修改的能力，其包括修正，改进和用户需求的变化。包括易分析，易修改，易测试性，稳定性。 什么可以改变？ 系统任何部分：功能、平台、环境、质量、容量 可修改性战术：其目标是控制实现、测试和部署变更的时间和成本。即为根据相关战术在时间和成 阅读全文
摘要：
软件六大质量属性：可用性、可修改性、性能、安全性、可测试性、易用性。 淘宝网中涉及到软件质量属性的场景分析： 可用性：可用修通常指系统故障发生的频率，出现故障时发生的状况，系统可持续运行多久，已经发生故障后的措施。淘宝网每年的双十一活动都会有亿单位的用户进行点击购物，而同时用户点击过多会导致服务器崩 阅读全文
摘要：
2020.02.22 利用echarts中的中国地图，并将各省疫情相关数据显示在图上，此问题主要为地图的显示和数据的传输 下面代码为该地图的显示，其利用了各个省的现成json数据来显示，并将疫情数据通过ajax异步传输给前端。 <%@ page language="java" contentType 阅读全文
摘要：
4.使用 Flume 作为 Spark Streaming 数据源 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flume 把消息汇集 阅读全文
摘要：
今天继续进行实验6的第三部分， 3. 使用 netcat 数据源测试 Flume 请对 Flume 的相关配置文件进行设置，从而可以实现如下功能：在一个 Linux 终端（这 里称为“Flume 终端”）中，启动 Flume，在另一个终端（这里称为“Telnet 终端”）中， 输入命令“telnet 阅读全文
摘要：
今天学习spark实验6 Spark Streaming编程初级实践 首先实验内容要求安装Flume，在网上找资料学习初步了解Flume（百度百科）。 Flume 是 Cloudera 提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量 日志数据进行高效收集、聚合、移动，最后存储到一个中心 阅读全文