2018年8月6日
[python爬虫]Requests-BeautifulSoup-Re库方案--robots协议与Requests库实战
摘要： 根据嵩天老师慕课课程编写。介绍了网络爬虫可能会造成的危害与robots协议的相关知识。实现了4个使用Requests库完成的小例子，分别是：淘宝商品页面信息的获取、搜索引擎关键字的提交、图片的抓取和IP地址的查询。其中涉及到Requests库get()方法参数的相关知识，在13种参数中，使用headers、params等参数可以实现一定功能，以更好地完成爬取任务。 阅读全文
posted @ 2018-08-06 00:30 wangmengdx 阅读(829) 评论(0) 推荐(1) 编辑