哈萨K

摘要： 学习了python爬虫的一些内容，和Javawebmagic的相关内容。新的学期面临的学业压力很重，加上要考研，感觉很难分配课程和复习之间的时间。不管怎么样，奥利给！干就完了。 阅读全文

摘要： 在看了王概凯作者的架构漫谈之后，感触颇多，在这里就软件架构师如何工作进行一些讨论。 王概凯作者的网址：https://www.infoq.cn/profile/1279517/publish 在生活中经常会谈及或者听说架构师这个职位，那么什么是架构师呢？架构师并不只是做架构工作的那么简单。如果一个人 阅读全文

摘要： 今天完成了信访的可视化。安装上了pycharm。也遇到了很多的问题。 1、在ubuntu下开放3306端口，并对外开放，实现从本地连接ubuntu中的mysql。 原文地址：https://blog.csdn.net/freezingxu/article/details/77088506 2、pyc 阅读全文

摘要： 今天信访的数据全爬出来了，但是由于之前安装scala和maven插件的时候eclipse崩掉了，重新安装了一次，导致可视化的时候遇到问题，导入某些包的时候会报错，然后保存的时候也报错什么空指针。各种问题。希望明天能够解决。 在使用sqoop从hive中导入数据到mysql中的时候出现了报错Class 阅读全文

摘要： today爬虫失败，学习了webmagic和htmlunit的相关知识，but爬虫失败，信访爬取总是把一页爬取好多遍，正在解决中，解决完再贴代码。奥利给 阅读全文

摘要： 今天进行了爬虫的进一步的学习，总感觉有个坎在卡着自己，导致信访案例没有头绪。明天尽量把数据爬出来。 阅读全文

摘要： 今天完成了实验六，并学习了爬虫的相关知识。明天进行学习构建北京市政百姓信件分析实战案例。 爬虫架构 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、 阅读全文

摘要： 今天完成了实验六的了解了Flume 的相关内容，但是在使用 Flume 作为 Spark Streaming 数据源中出现了点小问题，在下载spark-streaming-flume.jar的时候没有spark为3.0.0-preview2版本，导致版本冲突，打算卸载之前的版本重新安装。明天把实验都 阅读全文

摘要： 今天完成了实验五第三问，实验六也进行了一点。明天继续进行实验六。 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据； 表 1 employee 表原有数据 (2) 配置Spark通过 阅读全文

摘要： 今天完成了实验五第二问，因为自己一开始不会，搜索了相关知识后稍微了解了，然后跟着网上的思路解决了，出现了点问题，还是完成了。明天完成第三问，进行实验六。 编程实现将 RDD 转换为 DataFrame 源文件内容如下（包含 id,name,age）： 1,Ella,36 2,Bob,29 3,Jac 阅读全文