scrapy框架的安装和运行
第一步:安装scrapy模块
pip install scrapy
第二步:在需要创建的文件夹内打开cmd窗口输入
scrapy startproject myfirstscrapy
会看到下面的命令:
You can start your first spider with:
cd myfirstscrapy
scrapy genspider example example.com
第三步:根据命令提示输入创建爬虫项目即可
cd myfirstscrapy
scrapy genspider example(项目名) example.com(网站地址)
运行方式:
scrapy crawl 爬虫名字
# scrapy crawl cnblogs
# scrapy crawl cnblogs --nolog
创建run.py的运行方式
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'cnblogs', '--nolog'])