【Python3爬虫】Scrapy入门教程
Python版本:3.5 系统:Windows
一、准备工作
需要先安装几个库(pip,lxml,pywin32,Twisted,pyOpenSSL),这些都比较容易,如果使用的是Pycharm,就可以更方便的安装模块,在settings里可以选择版本进行下载。
如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件,先确保自己在环境变量中配置E:\Python3.5\Scripts,如果环境变量配置没有问题,但还是出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件,可以在命令行模式下输入python -m pip install --upgrade pip,这步操作之后应该就没问题了。
二、安装scrapy库
在E盘新建一个Scrapy文件夹,然后进入文件夹,shift+鼠标右键,然后打开命令窗口。
在命令行窗口里输入pip install scrapy,就会安装scrapy的最新版本,安装好了之后输入scrapy -h查看相应信息。
三、创建项目
在开始爬取之前,我们必须创建一个新的Scrapy项目。 进入我们打算存储代码的目录中,运行下列命令::
scrapy startproject Test
该命令将会创建包含下列内容的Test 目录:
Test/
Test/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
这些文件分别是:
Test/
: 该项目的python模块。之后您将在此加入代码。
Test/items.py
: 项目中的item文件.
Test/pipelines.py
: 项目中的pipelines文件.
Test/settings.py
: 项目的设置文件.
Test/spiders/
: 放置spider代码的目录.
做完上述准备工作之后,就可以开始写我们的第一个scrapy项目了。(n_n)