MD5加密算法
摘要：今天建民老师讲解了系统的安全性问题，涉及了MD5加密算法，之前只是使用过几次，没有特别了解，我上网查询了相关的资料，做一下总结。 MD5的作用 ①一致性检验。 ②数字签名。 ③安全访问认证，这个就是平时系统设计的问题了。 在用户注册时，会将密码进行md5加密，存到数据库中。这样可以防止那些可以看到数
阅读全文
posted @ 2020-02-27 16:46
02 2020 档案
python从入门到放弃自学笔记3-爬取北京市信访信件数据实战(抓包实现)
摘要：这次学会了一点抓包的内容，总结一下如何爬取ajax链接中的内容，如果抓包的时候看到有http请求其他的url(text/html) ，很可能就是ajax请求，一般用来获取动态数据，在页面中显示。发出ajax请求的时候 http请求头部一般有这个字段：X-Requested-With:XMLHttpR
阅读全文
posted @ 2020-02-26 21:16
python从入门到放弃自学笔记2-scrapy框架中的parse()方法工作机制及应用
摘要：1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。3. scrapy
阅读全文
posted @ 2020-02-23 23:02
描绘六个质量属性的应用场景
摘要：1.可用性 刺激源：用户 刺激：用户访问数量过多，导致系统崩溃或反应缓慢 制品：服务器 环境：正常模式 响应：系统检测到访问量过大，记录情况并通知用户 响应度量：短时间内恢复系统正常运行 2.可修改性 刺激源：开发人员 刺激：希望修改功能 制品：淘宝网站 环境：设计时 响应：查找需要修改的位置，进行
阅读全文
posted @ 2020-02-23 20:43
python从入门到放弃自学笔记1-scrapy框架的简单实例
摘要：最近做的爬取比较多，查看网上的代码很多都用到了scrapy框架。下面是一个简单的scrapy爬取实例（环境为python3.8+pycharm）： （1）右击项目目录->open in terminal输入下面代码创建Scapy初始化项目： scrapy startproject qsbk （2）建
阅读全文
posted @ 2020-02-23 14:56
软件架构师是如何工作的
摘要：最近阅读了王概凯的架构漫谈，下面是我对一名软件架构师的权利与义务的理解 所谓软件架构师，是软件行业中一种新兴行业，工作职责是在一个软件项目开发过程中，将客户的需求转换为规范的开发计划及文本，并制定这个项目的总体架构，指导整个开发团队完成这个计划，是主导系统全局分析设计和实施、负责软件构架和关键技术决
阅读全文
posted @ 2020-02-18 18:53
Linux系统中mysql常用的命令
摘要：1.终端启动MySQL：/etc/init.d/mysql start； 2.登录MySQL：mysql -uroot -p (用root账户登录),然后输入密码； 3.查看所有的数据库名字：show databases; 4.选择一个数据库操作： use database_name; 5.查看当前
阅读全文
posted @ 2020-02-16 22:39
Spark SQL 编程初级实践2- 编程实现利用 DataFrame 读写 MySQL 的数据
摘要：编程实现利用 DataFrame 读写 MySQL 的数据 （1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含如表 6-2 所示的两行数据。 表 6-2 employee 表原有数据 （2）配置 Spark 通过 JDBC 连接数据库 MySQL，编程实现
阅读全文
posted @ 2020-02-16 22:10
Spark SQL 编程初级实践1-Spark SQL 基本操作
摘要：Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 }{ "id":2, "name":"Bob","age":29 }{ "id":3 , "name
阅读全文
posted @ 2020-02-16 11:17
spark创建DataFrame的几种方式
摘要：package com.hollysys.spark import java.util import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SQLContext, SparkSession} /** * Crea
阅读全文
posted @ 2020-02-16 00:23
python-with open() as file相关参数以及常用打开方式
摘要：with open() as file是由open()函数引申而来 fp = open("./aa.txt", "w+") fp.write("This is a text file.") fp.close() 上面是一个open()函数的例子，在用完之后必须关闭文件，否则就造成了系统资源的长期占用
阅读全文
posted @ 2020-02-15 23:08
RDD编程实践2-编写独立应用程序实现数据去重，实现求平均值问题
摘要：（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf =
阅读全文
posted @ 2020-02-14 19:19
spark中常用转换操作keys 、values和mapValues
摘要：1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke
阅读全文
posted @ 2020-02-14 17:36
RDD编程实践1-spark-shell交互式编程
摘要：spark-shell交互式编程： 根据某大学计算机系的成绩数据，完成编程，数据格式如下 1.该系共有多少个学生： 首先新建RDD 通过map函数与分割函数得到第一列数据作为新的RDD RDD去重 行数 2.该系共开设多少课程： 3.求Tom同学的平均分： 通过filter函数进行筛选 计算总数 求
阅读全文
posted @ 2020-02-14 16:22
scala打包工具-sbt的安装与使用
摘要：（1）下载sbt https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar （2）新建目录并将sbt复制到目录下 （3）编辑sbt文本文件加入以下内容： #!/bin
阅读全文
posted @ 2020-02-13 20:02
实验3-HDFS 常用操作，Spark 读取文件系统的数据
摘要：HDFS 常用操作 使用 Hadoop 提供的 Shell 命令完成如下操作： （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中随便输入
阅读全文
posted @ 2020-02-13 16:55
scala中case用法
摘要：class之前添加case可以自动生成equal、hashcode、toString、copy方法 和他的半生对象，并且为半生对象生成apply、unapply方法。 import scala.language.postfixOps case class ForFun(name:String) ob
阅读全文
posted @ 2020-02-12 20:17
spark学习进度10-beautifulsoup库的几个常用方法及正则表达式
摘要：BeautifulSoup库通俗来说是【解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库 】一个简单的使用BeautifulSoup库的demo： # coding:utf-8 from bs4 import BeautifulSoup import requests ur
阅读全文
posted @ 2020-02-10 19:48
spark学习进度9
摘要：今天准备安装了pyecharts，官网下载速度太慢了，下了半天还没有下载完成，简单了解了一下用pyecharts库画图的方法，继续配置eclipse的环境，因为停电的原因进度太慢了，明天继续努力。
阅读全文
posted @ 2020-02-09 22:55
spark学习进度8-scrapy框架的安装与使用
摘要：今天安装并简单了解了scrapy框架，并且安装了scrapy及其所依靠的pywin32,lxml等等，相关教程链接：https://blog.csdn.net/lwx356481/article/details/81224667 安装scrapy速度较慢时，可以将pip install scrapy
阅读全文
posted @ 2020-02-08 22:26
spark学习进度7-Python爬取大学排名实例
摘要：利用pc编写python爬取大学排名的数据，如图： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.rais
阅读全文
posted @ 2020-02-07 21:55
spark学习进度6-Python爬取数据的四个简单实例
摘要：今天本来想把昨天安装的intellij配置好，但是一直显示没有网络，网上查了相关资料也没有查出来解决办法。 然后暂停了intellij的配置，开始做了几个Python爬取简单数据的实例，先做了几个最简单的，以后再加大难度（用idle编码）： （1）京东商品页面爬取： 链接：https://item.
阅读全文
posted @ 2020-02-06 23:52
spark学习进度5-利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+Maven）
摘要：安装好了IntelliJ IDEA，但是很多东西还没有配置好，明天再更新。 下载IntelliJ IDEA并解压； 运行bin目录下的idea.sh文件； 勾选同意； 勾选不发送； 勾选免费试用版；
阅读全文
posted @ 2020-02-05 22:40
Scala官网下载不下来问题-已解决
摘要：在官网下载Scala的时候，下载了很多次都下载失败，后来发现在浏览器种输入http://downloads.typesafe.com/scala/2.11.7/scala-2.11.7.msi就可以很快的下载下来了。版本号都可以更改。
阅读全文
posted @ 2020-02-05 09:10
spark学习进度4
摘要：今天安装好了Scala和eclipse，并在eclipse中安装了maven和Scala的插件，完成了一部分的实验2的内容，明天继续做实验。
阅读全文
posted @ 2020-02-04 22:40
spark学习进度3：Scala中变量，常量，数据类型，运算符，表达式，循环，方法，函数的基本使用
摘要：scala中定义变量：（1）var 变量名 = 初始化值（2）var 变量名：数据类型 = 初始化值如：var a = 1注意：（1）定义变量的时候需要初始化（2）定义变量的时候可以不指定变量的数据类型，这时系统会根据变量的初始化值推断变量的数据类型 定义常量：（1）val 常量名 = 初始化值（2
阅读全文
posted @ 2020-02-03 19:58
spark学习进度2
摘要：今天先安装好了spark，利用spark里自带的Scala运行了几个简单的Scala程序，看教学视频了解了点儿简单的语法，截图如下： 接着安装scala ide for eclipse，安装在了usr/local目录下，本以为他会正常的替代原来的eclipse，因为我之前有这样直接解压到里面直接就替
阅读全文
posted @ 2020-02-02 23:22
spark学习进度1
摘要：简单了解了spark，scala语言等，并尝试配置相关环境，安装Scala，spark和支持Scala语言的eclipse：scala ide for eclipse（安装scala ide for eclipse可以省下很多工夫去不用安装maven和scala类似的相关插件） Spark最初的设计
阅读全文
posted @ 2020-02-01 22:11
