scrapy安装及基本使用

scrapy基本使用

• 环境安装：
  • linux和mac操作系统：
    • pip install scrapy
  • windows系统：
    • pip install wheel
    • 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    • 安装twisted：pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl
    • pip install pywin32
    • pip install scrapy
      测试：在终端里录入scrapy指令，没有报错即表示安装成功！
• scrapy使用流程：
  • 创建工程：
    • scrapy startproject ProName
  • 进入工程目录：
    • cd ProName
  • 创建爬虫文件：
    • scrapy genspider spiderName www.xxx.com
  • 编写相关操作代码
  • 执行工程：
    • scrapy crawl spiderName