摘要: 原文地址:http://www.csuldw.com/2016/11/10/2016-11-10-simulate-sina-login/ 上一篇文章 小试牛刀:使用Python模拟登录知乎 介绍了如何模拟知乎登录,虽然用到了验证码信息,但请求的参数都是原封不动的传递,刚开始接触的时候,觉得难度适中 阅读全文
posted @ 2016-12-19 10:31 JessieSun 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 爬虫例程就不整个叙述了,百度一下超多的,贴上一篇经过验证可以爬取的例程的网址 http://blog.csdn.net/u012150179/article/details/32911511 下面是我在运行时中出现的错误 错误ImportError: No module named w3school 阅读全文
posted @ 2016-12-17 09:42 JessieSun 阅读(536) 评论(0) 推荐(0) 编辑
摘要: 在运行scrapy爬虫程序的时候出现UnicodeDecodeError 贴上错误 原因与注册表有关,可能与某些国产软件对注册表的改写的gbk格式导致python无法进行第三方库的安装操作。 解决方法:打开C:\Python27\Lib下的 mimetypes.py 文件,找到大概256行(你可以用 阅读全文
posted @ 2016-12-17 09:30 JessieSun 阅读(719) 评论(0) 推荐(0) 编辑
摘要: 运行结果: 方法一: 方法二: 极客课程--定向爬虫:简单的模拟登录 http://www.jikexueyuan.com/course/995.html 核心内容: 1.Fiddler 的介绍和使用 2.Fiddler 抓取分析数据包 3.已知 Cookies 登录新浪微博 4.Requests 阅读全文
posted @ 2016-12-12 20:13 JessieSun 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 在爬取weibo.com等动态网站时,pycharm在运行时会提出SNIMissingWarning和InsecurePlatformWarning警告 详细警告内容如下: D:\Python2.7.6\lib\site-packages\requests\packages\urllib3\util 阅读全文
posted @ 2016-12-11 23:10 JessieSun 阅读(1163) 评论(0) 推荐(0) 编辑
摘要: 之前也百度了一下如何获取新浪微博cookie,附上其中出现频率最高的教程的网址 https://www.douban.com/note/264976536/?start=0#32893498 自己按照上面的步骤试了一下,然后发现找不到weibo.com,然后就试了一下其他用移动端微博就可以 www. 阅读全文
posted @ 2016-12-10 20:12 JessieSun 阅读(17937) 评论(0) 推荐(0) 编辑