scrapy框架的安装和运行

第一步：安装scrapy模块

pip install scrapy

---

第二步：在需要创建的文件夹内打开cmd窗口输入

scrapy startproject myfirstscrapy

会看到下面的命令：

You can start your first spider with:
    cd myfirstscrapy
    scrapy genspider example example.com

---

第三步：根据命令提示输入创建爬虫项目即可

cd myfirstscrapy

scrapy genspider example(项目名) example.com(网站地址)

---

运行方式：

scrapy crawl 爬虫名字

# scrapy crawl cnblogs
# scrapy crawl cnblogs --nolog

---

创建run.py的运行方式

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', 'cnblogs', '--nolog'])

——写入以上代码，右键运行即可

---