爬虫-windows下安装Scrapy及scrapy模块介绍

一:安装wheel

   wheel介绍 

二:安装twisted

  twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用。Twisted介绍  

三:创建scrapy文件

   使用命令窗口进入目标目录后 使用命令 

 scrapy startproject  project_name

    工程目录结构如图

  

 

  

     四:启动爬虫程序

  

scrapy crawl first --nolog #启动时,不输出日志文件
scrapy crawl first #带有日志的输出

 

  

  

  

posted @ 2019-01-27 22:25  忙碌的虫子  阅读(256)  评论(0编辑  收藏  举报