摘要:
架构,每当我听到这个词,总是不自禁的认为,架构就是项目的结构,一行行代码如何拼接成为一个完整的项目,直到阅读了架构漫谈的九篇博客后,我才对架构有了更深入的了解。 架构,可以说就是一个整体可以分为许多块,每一块各司其职,完成自己的工作,然后块与块之间相互连接沟通,从而构成一个整体,这个整体可以完成所需 阅读全文
摘要:
今天见是park基础实验四的剩余部分完成了,但还是有些懵懂,同时将之前的实验又进行了二次理解。 阅读全文
摘要:
今天继续学习python基础知识——多线程 多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待 阅读全文
摘要:
今天完成了疫情爬取,爬取的是截止今日的全国各省份的疫情情况,效果图如下: 阅读全文
摘要:
今天转战python了,学习了python如何使用pip导入库(pip install 库),并使用python连接了mysql数据库,对其进行了增删改查操作。 1 import pymysql 2 3 # 打开连接 4 5 6 def open_conn(dbname): 7 db = pymys 阅读全文
摘要:
今天又重拾起了当初没完成的eclipse中编写spark,继续解决当初的问题。 阅读全文
摘要:
今天学习了RDD被创建好以后,在后续使用过程中一般会发生两种操作: 转换(Transformation): 基于现有的数据集创建一个新的数据集。 行动(Action):在数据集上进行运算,返回计算值。 进行转换操作时,并不会立即进行计算,只有进行行动操作时,才会进行计算。下面列出一些常见的转换操作( 阅读全文
摘要:
__init__(self) 相当于构造函数,初定义时要参数对应。 公有类型与私有类型: 在变量前加上“__”则为私有变量,不加为公有变量。 想要获取私有变量的值的方法: ①:在类中添加get()函数。 ②:变为私有变量添加"__"其实在后面是将 “__变量” 变为了 “_类名__变量”,所以我们还 阅读全文
摘要:
今天首先下载了可以编写scala的Eclipse,并使用 Eclipse 来开发 scala 程序(使用Maven工具)。 然后按照教程编写一个wordCount项目,但是在使用Run AS–>Maven build对pom。xml进行编译时却报错了,一直找不到解决方法。 之后开始进行spark基础 阅读全文