scrapy使用流程

安装：通过pip install scrapy即可安装

在ubuntu上安装scrapy之前，需要先安装以下依赖：
sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev，然后再通过pip install scrapy安装

如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32

---

创建项目

scrapy startproject [项目名称]

创建 爬虫

scrapy genspider baidu www.baidu.com

 

 

 

---

scrapy3在python2,python3共存下的使用

因为安装了PYTHON2,PYTHON3，之前的SCRAPY 在PYTHON2下是可以的，但在3下运行失败，关联的还是2，原来要在PYTHON3运行的时候，要用全路径：
执行scrapy命令(假设要执行scrapy startproject projectname)的时候不直接键入scrapy, 而是加上scrapy的绝对路径,
windows上: C:\python3\Scripts\scrapy startproject projectname
————————————————
版权声明：本文为CSDN博主「jackyrongvip」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/jackyrongvip/article/details/84913092

 

---