初次接触scrapy框架
初次接触这个框架,先订个小目标,抓取QQ首页,然后存入记事本。
安装框架(http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html)
创建一个项目,项目根目录输入
scrapy startproject tutorial
在spiders文件夹下面新建一个qq_spider.py,写入内容如下:
import scrapy class DmozSpider(scrapy.Spider): name = "dmoz" allowed_domains = ["qq.com"] start_urls = [ "http://www.qq.com/" ] def parse(self, response): filename = response.url.split("/")[-2] with open(filename + ".txt", 'wb') as f: f.write(response.body)
项目根目录输入命令:
scrapy crawl dmoz
抓取到的QQ首页的页面:
低调求发展,潜心习安全。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步