如何在vscode中调试python scrapy爬虫
本文环境为 Win10 64bit+VS Code+Python3.6，步骤简单罗列下，此方法可以不用单独建一个Py入口来调用命令行
- 安装Python，从官网下载，过程略，这里主要注意将python目录加入环境变量 Path中 "D:\Python36\" "D:\Python36\Scripts"
- 安装Vs code,过程略， 在vscode扩展中安装Python插件
- 建立你的Scrapy爬虫项目或者拷贝过来 用VSC打开，如果应用了chromedriver/ phantomjs一定要拷贝.exe到Python36目录或单独加环境变量
- 将根目录添加到工作区
- 开始准备调试，在debug这里选择添加配置，选择python中的scrapy
- VSC会自动带入默认的配置如图
- 这里注意 args就是你的参数： crawl 关键字爬取保留， specs是爬虫名字 换成你自己的，后面两个参数可根据scrapy实际情况增减
- 此时按F5调试， 如果报“Unknown command: crawl”错误，则需要在launch.json的scrapy中增加 "cwd"参数， 设置路径为爬虫项目名目录，一般都在scrapy下的一级
- 此时再按F5 即可调试到你在spider里的断点了。
Unhandled error in Deferred
如果调试代码出现以上错误，并且没有详细错误信息，可以考虑重新安装正确的 pywin32,Twisted，也可以单步调试找出出错地点，具体问题具体分析
package版本大全：https://www.lfd.uci.edu/~gohlke/pythonlibs/
参考：http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscode
