摘要: 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整 阅读全文
posted @ 2020-05-30 22:05 forever_fortunate 阅读(279) 评论(0) 推荐(0) 编辑
摘要: 本篇博文的目录: 一:Http协议的优点与缺点 二:Https协议的特点 三:Https协议采用的加密技术 四:Https的安全通信机制 五:为什么还有很多网站不使用Https 六:总结 一:Http协议的优点与缺点 1.1:http协议的优点 1.1.:效率高 限制每个连接只有一个请求的无连接状态 阅读全文
posted @ 2020-05-30 20:48 forever_fortunate 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 数据分析就是仔细推敲证据 了解问题-确定问题-分解问题(数据)-评估(做出结论)-决策(建议,结论整合) 角色:解决问题和建议决策 了解客户,了解信息 数据分析总的来说就是认清问题继而解决 探索性数据分析:找到一些值得进行测试的假设条件 优秀的数据分析师帮助客户思考问题,不会等着客户告诉该做什么,改 阅读全文
posted @ 2020-05-25 04:54 forever_fortunate 阅读(687) 评论(0) 推荐(0) 编辑
摘要: 给定一个Weather表,编写一个SQL查询来查找与之前(昨天的)日期相比温度更高的所有日期的id。 创建表和数据: 解法: 1.思路简单。表自连接,找出温度比前一天高的行。 问题的关键是确定日期的前一天。 日期函数: DATEDIFF(date1,date2) ,返回date1与date2之间相差 阅读全文
posted @ 2019-10-22 23:18 forever_fortunate 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 编写一个SQL查询来删除Person表中所有重复的电子邮件,在重复的邮件中只保留Id最小的邮件。 创建表和数据: 解法: 1.按email分组,找到每组id最小的行。 从原表中DELETE掉不在表2中的行。 注意:DELETE与FROM之间,只放置了P1。说明只删除P1中的行,不删除P2中的行。 F 阅读全文
posted @ 2019-10-22 23:09 forever_fortunate 阅读(162) 评论(0) 推荐(0) 编辑
摘要: Employee 表包含所有员工信息,每个员工有对应的 Id,此外还有一列部门 Id。 创建表和数据: 解法: 1.判断每个人A是不是在这三批人中的一个。找出同一部门种比A薪水高的薪水种数N。用子查询完成。如果N<3,那么A属于这三批人。 2.先找出每个部门薪水第三高的薪水A。每个人的薪水只要大于等 阅读全文
posted @ 2019-10-22 22:55 forever_fortunate 阅读(344) 评论(0) 推荐(0) 编辑
摘要: Employee表有所有员工。每个员工有 Id,salary 和 department Id 信息。 创建表和数据: 解法: 1.先找出每个部门的最高薪水。 连接员工表和部门表,group by对部门分组,再求每组的最高薪水。用子查询得出临时表F(id,name,m)。 再次,连接员工表和临时表F, 阅读全文
posted @ 2019-10-22 22:28 forever_fortunate 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 假设一个网站包含两个表,Customers 表和 Orders 表。编写一个SQL语句找出所有从不订购任何东西的客户。 创建表和数据: 解法: 1.顾客表的id和订单表的customerid关联,得出的是买了的东西的顾客。用left join,没买东西的顾客,其对应的订单为空。这是一种求集合差的方法 阅读全文
posted @ 2019-10-22 22:16 forever_fortunate 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 编写一个 SQL查询,来查找名为 Person 的表中的所有重复电子邮件。 创建表和数据: 解法: 1.如果一个字段的值在表中重复了,那么含有重复值的行数一定超过1。 group by 对Email分组,那么Email重复的行个数大于1。 having 筛选出这些行。 2.假设表中的字段Id是唯一的 阅读全文
posted @ 2019-10-22 22:09 forever_fortunate 阅读(187) 评论(0) 推荐(0) 编辑
摘要: Employee表包含所有员工,包括他们的经理。每个员工都有一个 Id,此外还有一列对应的经理Id。 创建表和数据: 解法: 1.通过表的自连接,找出每个员工的经理,筛选出薪水比经理薪水高的员工。 阅读全文
posted @ 2019-10-22 21:46 forever_fortunate 阅读(158) 评论(0) 推荐(0) 编辑