自己的Scrapy框架学习之路
开始自己的Scrapy 框架学习之路。
一、Scrapy安装介绍
参考网上资料,先进行安装
使用pip来安装Scrapy
在开始菜单打开cmd命令行窗口执行如下命令即可
pip install Scrapy
安装过程可能会因为环境等问题出现终止,此时可以查看命令行显示提示信息,根据提示分析原因,从而解决问题。‘
pip版本低的时候会提示无法安装
执行 python -m pip install --upgrade pip
执行完成后再执行
pip install Scrapy
WIN10遇到的问题
如上图提示:error:信息,发现安装前需要有Visual C++,而且他们也提供了下载地址,可以复制粘贴到地址栏,进行下载,并安装。
如果地址栏输入链接跳转后提示404错误,可自己百度搜索 Microsoft Visual c++14.0 is required,进行下载安装;
再次安装,如下图即可成功
二、Scrapy入门教程
1、在cmd中创建Scrapy项目工程。
我的是在c:\Users\lucky\PycharmProjects\
在命令行,切换的自己的项目代码的工作空间下,执行如下命令
scrapy startproject ScrapyTest
有如下提示则表示创建成功
2、 对应项目文件中新生成如下文件
解析scrapy框架结构:
scrapy.cfg
: 项目的配置文件。tutorial/
: 该项目的python模块。之后您将在此加入代码。tutorial/items.py
: 项目中的item文件。tutorial/pipelines.py
: 项目中的pipelines文件。tutorial/settings.py
: 项目的设置文件。tutorial/spiders/
: 放置spider代码的目录。
我的win10没有scrapy.cfg项目配置文件