2016 年 6月 17 日随笔档案 - soloate

2016年6月17日

摘要：爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP；在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3 阅读全文

posted @ 2016-06-17 17:16 soloate 阅读(305) 评论(0) 推荐(0) 编辑

HTMLTestRunner修改Python3的版本

摘要：在拜读虫师大神的Selenium2+Python2.7时，发现生成HTMLTestRunner的测试报告使用的HTMLTestRunner的模块是用的Python2的语法。而我本人比较习惯与Python3。而且自己也是用的Python3.4的环境，在网上找了很多资料，修改了下HTMLTestRunn 阅读全文

posted @ 2016-06-17 16:06 soloate 阅读(2756) 评论(0) 推荐(0) 编辑

Python3 之 requests库

该文被密码保护。阅读全文

posted @ 2016-06-17 14:43 soloate 阅读(2) 评论(0) 推荐(0) 编辑

Python3 urllib Post方式获取数据

该文被密码保护。阅读全文

posted @ 2016-06-17 14:01 soloate 阅读(1) 评论(0) 推荐(0) 编辑

Python3 urllib GET方式获取数据

该文被密码保护。阅读全文

posted @ 2016-06-17 12:03 soloate 阅读(0) 评论(0) 推荐(0) 编辑

python3 urllib抓取指定的url内容

该文被密码保护。阅读全文

posted @ 2016-06-17 11:59 soloate 阅读(1) 评论(0) 推荐(0) 编辑

soloate

公告