摘要: 前言 其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。 其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。 基本环境配置 python 版本:2.7 IDE :pycharm 相关模块 完整代码 阅读全文
posted @ 2019-08-06 20:21 嗨学编程 阅读(784) 评论(0) 推荐(0) 编辑
摘要: 1.抓取索引页内容 利用requests请求目标站点,得到索引网页HTML代码,返回结果。 2.抓取详情页内容 解析返回结果,得到详情页的链接,并进一步抓取详情页的信息。 获取页面网址: 单个页面代码: 图片地址 3.下载图片与保存数据库 将图片下载到本地,并把页面信息及图片URL保存到MongDB 阅读全文
posted @ 2019-08-06 14:41 嗨学编程 阅读(437) 评论(0) 推荐(1) 编辑