摘要: re正则: json的使用: 爬取多网页: 阅读全文
posted @ 2019-08-28 19:41 black__star 阅读(78) 评论(0) 推荐(0) 编辑
摘要: [TOC] 爬虫原理: 发送数据 解析数据 保存数据 精髓: 分析网站的通信流程 分心查找数据从何而来 分析目标网站的反爬策略 根据目标网站的反扒策略,编写攻击手段。获取数据 request库的使用: 阅读全文
posted @ 2019-08-28 19:33 black__star 阅读(143) 评论(0) 推荐(0) 编辑
摘要: [TOC] for语句: for循环的循环次数受限于容器类型的长度,而while循环的循环次数需要自己控制。for循环也可以按照索引取值。 for + break: for + contiune: for循环嵌套: for + else: for循环实现loading: 阅读全文
posted @ 2019-08-28 13:33 black__star 阅读(178) 评论(0) 推荐(0) 编辑
摘要: [TOC] 程序: input 输入 定义变量 process 处理 变量不断变化 output 输出 结果 if语句: if ....else: python if...else表示if成立代码成立会干什么,else不成立会干什么。 cls = 'human' gender = 'female' 阅读全文
posted @ 2019-08-28 13:32 black__star 阅读(155) 评论(0) 推荐(0) 编辑
摘要: [TOC] urllib2和urllib3: urllib2模块中的所有方法更侧重于对于 Http 请求的服务 urllib 侧重于 url 基本的请求构造,urllib2侧重于 http 协议请求的处理,而 urllib3是服务于升级的http 1.1标准,且拥有高效 http连接池管理及 htt 阅读全文
posted @ 2019-08-28 09:13 black__star 阅读(128) 评论(0) 推荐(0) 编辑
摘要: [TOC] 文件修改: 文件的数据是存放于硬盘上的,因而只存在覆盖、不存在修改这么一说,我们平时看到的修改文件,都是模拟出来的效果,具体的说有两种实现方式 方法一: 将硬盘存放的该文件的内容全部加载到内存,在内存中是可以修改的,修改完毕后,再由内存覆盖到硬盘(word,vim,nodpad++等编辑 阅读全文
posted @ 2019-08-28 09:11 black__star 阅读(159) 评论(0) 推荐(0) 编辑
摘要: [TOC] 打开文件: 打开某个具体的文件,open()方法内写入文件路径。 read模式打开文件 读取文件内容,向操作系统发起读请求,会被操作系统转成具体的硬盘操作,将内容由硬盘读入内存 由于Python的垃圾回收机制只回收引用计数为0的变量,但是打开文件还占用操作系统的资源,所以我们需要回收操作 阅读全文
posted @ 2019-08-28 09:10 black__star 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 文件操作的基础模式有三种(默认的操作模式为r模式): r模式为read w模式为write a模式为append 文件读写内容的格式有两种(默认的读写内容的模式为b模式): t模式为text b模式为bytes(二进制) 注意的是:t、b这两种模式均不能单独使用,都需要与r/w/a之一连用 b模式是 阅读全文
posted @ 2019-08-28 09:09 black__star 阅读(165) 评论(0) 推荐(0) 编辑