scrapy 框架的安装与启动
scrapy 框架的安装
安装的详细过程:https://cuiqingcai.com/5421.html
Windows平台
如果 pip3 install scrapy 安装不上,则执行下列步骤安装
1、pip3 install wheel #安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs 3、pip3 install lxml 4、pip3 install pyopenssl 5、下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/ 6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl 8、pip3 install scrapy
mac、Linux平台
pip3 install scrapy
注意:安装完成后,python的scripts文件夹中会有scrapy可执行文件
启动程序与爬虫
创建scrapy项目:
scrapy startproject 项目名 (django创建项目)
创建爬虫:
scrapy genspider 爬虫名 要爬取的网站地址 # 可以创建多个爬虫
启动爬虫:
命令行启动
scrapy crawl 爬虫名字
scrapy crawl 爬虫名字 --nolog
scrapy在pycharm配置启动(无需命令行启动)
# 在项目路径下创建一个run.py(名字随意),右键执行即可 from scrapy.cmdline import execute # execute(['scrapy','crawl','爬虫名','--nolog']) execute(['scrapy','crawl','爬虫名'])