scrapy的安装与环境配置
本人系统是win10 64位电脑 ide使用的是pycharm
此次学习内容源自慕课网大壮老师的《Python最火爬虫框架scrapy入门》
由于大壮老师使用的linux 所以有些东西需要自己查找
说实话在pycharm上安装和用命令直接安装比linux来得方便的多
首先输入pip3 install scrapy安装scrapy
安装完之后要在pycharm上加载scrapy
进入pycharm在文件/默认设置打开
在project interpreter中已经有了很多的配置文件 此时截图的我已经完成了scrapy的配置
在project interpreter右边的一个加号点开 然后输入scrapy
点击install package
此时必定会出现一个问题 它会提示twisted没有安装
如上述方法先去安装Twisted(Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议)
此时我遇到了一个问题
Visual C++ 14.0 is required
不过不用紧张 这种网上查一下就好了 我这里放了链接地址(https://go.microsoft.com/fwlink/?LinkId=691126)
表面只有3mb 实际上又将近4个G 就按默认安装 安装完毕后再继续上述的步骤
当安装完成后在cmd中输入scrapy看到如下就表示成功了