摘要：
一、两个Error：HTTPError、URLError （1）HTTPError包含URLError （2）HTTPError： 当URL地址为：网站存在，但是具体的网页不存在时，返回404，报错HTTPError （3）URLError： 当URL地址为：完全没有这个网站时，就会报URLErro 阅读全文
摘要：
主要内容： 付费IP的使用方式 Auth认证 cookie登录验证 requests模块 一、付费IP使用方式： 1.1 无论是免费IP还是付费IP，在使用之前，都需要测试一下，如果好使，再去使用IP爬取数据。 1.2 IP池：列表套字典 eg：[{"https": "IP1:端口1"}, {"ht 阅读全文
摘要：
介绍了2种反爬的方式： 请求头 代理IP 一、反爬手段1——向请求头中添加User-Agent： 请求头、响应头： 1.响应头：response_header 响应头response_header，可以通过response对象.headers，获取得到。 response.headers，得到的是响 阅读全文
摘要：
理论部分： 一、爬虫的本质：使用代码，模拟用户，批量地发送网络请求，批量地获取数据。 网络请求：当用户在浏览器的地址栏中，输入网址，发送请求。 二、HTTP超文本传输协议：规定如何发送和接收网络请求。 参考《HTTP与HTTPS图解》 流程： 三、HTTP发送请求的方式： 3.1 get： （1）可 阅读全文
摘要：
pep8介绍： PEP8是针对python代码格式而编订的风格指南，采用一致的编码风格可以令代码更加易懂易读！ （1）空白： python中空白会影响代码的含义及其代码的清晰程度 使用space(空格)进行缩进，不采用tab 每一层缩进都用4个空格表示 每行字符数不超过79 占据多行的长表达式，每一 阅读全文
摘要：
一、数据库基础知识： 1. 数据库（database）：保存有组织的数据的容器（通常是一个或者一组文件） 2. 数据库管理系统（DBMS）：数据库软件，外界通过DBMS来创建和操纵数据库，具体是什么，因数据库不同而不一样。 3. 关系型数据库：一个关系型数据库就是由二维表及其之间的联系所组成的一个数 阅读全文
摘要：
https://leetcode-cn.com/problems/container-with-most-water/ 题目：盛水最多的容器 给定 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, a 阅读全文
摘要：
任务二：删除排序数组中的重复项 原文链接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-array/ 最开始的解决思路： 遍历2次数组； 第一次，遍历整个数组，放置标记index1 第二次，从每一个第一次遍历的元素ind 阅读全文
摘要：
任务一：有效的括号 题目链接：https://leetcode-cn.com/problems/valid-parentheses/ 自己的答案： 官方答案： 阅读全文
摘要：
（以下内容，均基于python3） 最近在看python函数部分，讲到了python的作用域问题，然后又讲了Python的闭包问题。 在做作业的时候，我遇到了几个问题，下面先来看作业。 一、 作业1： 代码A： 代码B： 代码A结果：3 代码B的结果：UnboundLocalError: local 阅读全文