摘要: 对于requests的爬虫库,我们已经学到了尾声。 我们在这儿可以挖掘出更多的requests的使用小技巧。 一.cookie对象与字典的转换 在爬取目标cookie的时候,我们可以将cookie信息进行简化处理。 现在做一个简单的代码验证看看,使用百度的cookies: import reques 阅读全文
posted @ 2019-01-12 23:54 Master跑跑 阅读(827) 评论(0) 推荐(0) 编辑
摘要: 我们在今后的爬虫学习过程中,要爬许许多多的网站。 唯有掌握如何对不同网站寻找到正确的post地址,才是任务之重。 比如,我访问了一个别的网站,这儿用人人网做例子。 在人人网登陆界面,使用F12进入开发者模式,找到整个登陆界面的源码: 所以,我们可以看到关键的登录模块源码有一个关键的参数,这个参数是a 阅读全文
posted @ 2019-01-12 17:50 Master跑跑 阅读(1230) 评论(0) 推荐(0) 编辑