2018年1月17日
requests库的post请求
摘要： requests库的post请求 阅读全文
posted @ 2018-01-17 23:57 安迪9468 阅读(235) 评论(0) 推荐(0) 编辑
requests库的get请求（加上head，加上get参数请求）
摘要： 带headers的请求 带get传参的请求 get带有代理的请求： 阅读全文
posted @ 2018-01-17 23:13 安迪9468 阅读(1390) 评论(0) 推荐(0) 编辑
pycharm中python模板代码自动生成
摘要： 现在新建*.py文件试试效果 阅读全文
posted @ 2018-01-17 14:28 安迪9468 阅读(465) 评论(0) 推荐(0) 编辑
在scrapy中使用mongodb管道
摘要： pipelines.py settings.py 阅读全文
posted @ 2018-01-17 01:59 安迪9468 阅读(202) 评论(0) 推荐(0) 编辑
crawlspider爬虫：定义url规则
摘要： spider爬虫，适合meta传参的爬虫（列表页，详情页都有数据要爬取的时候） crawlspider爬虫，适合不用meta传参的爬虫 scrapy genspider -t crawl it it.com 链接提取器的使用 scrapy shell http://hr.tencent.com/po 阅读全文
posted @ 2018-01-17 01:49 安迪9468 阅读(285) 评论(0) 推荐(0) 编辑
scrapy的post登录：renren
摘要： scrapy 如何发送post请求。代码如上。 方法二：针对从首页重定向到登录页面的post登录 阅读全文
posted @ 2018-01-17 00:29 安迪9468 阅读(211) 评论(0) 推荐(0) 编辑