scrapy框架安装及使用
安装scrapy
安装命令
pip install wheel
pip install twisted
pip install pywin32
pip install scrapy
测试
在终端里录入scrapy指令，没有报错即表示安装成功！
创建项目
创建工程命令
scrapy startproject xxxPro
进入项目
cd xxxPro
在spiders子目录中创建一个爬虫文件
scrapy genspider spiderName www.xxx.com
执行工程命令
scrapy crawl spiderName
应用
项目使用介绍
工程创建完成后项目目录如下
spiderName为爬虫原文件唯一标识
相关处理代码放在spiderName文件中
请求头需要标识的 修改settings配置
实战
我们用太屋网房源网站进行数据分析实战
打印出来的结果是一个Selector对象
我们需要进行处理
我们可以看到现在取出了data值
还有一种写法
总结
