Scrapy: 初识Scrapy

1.初识Scrapy

Scrapy是为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或者存储历史数据等一系列的程序中。

 

2.选择一个网站

当需要从某个网站获取信息时,但该网站未提供API或者能通过程序获取信息的机制时,Scapy可以助你一臂之力。

 

3.定义想抓去的数据

在Scrapy中,通过Scrapy Items来完成的

        import scrapy

   class Torrent(scrapy.Item):

    url=scrapy.Field()

    name=scrapy.Field()

    description=scrapy.Field()

    size=scrapy.Field()

 

4.编写提取数据的Spider

编写一个spider来定义初始URL,针对后续链接的规则以及从页面中提取数据的规则

使用XPath来从页面的HTML源码中选择需要提取的数据

结合自己的内容给出spider代码,eg:

 

5.执行spider,获取数据

运行spider来获取网站的数据,并以JSON格式存入到文件中:

scrapy crawl mininova -o scraped_data.json

命令中使用了feed导出 来导出JSON文件,可以修改到处格式或者存储后端,同时也可以编写管道将item存储到数据库中。

 

6.查看提取到数据

执行结束后,查看scraped_data.json,将看到提取到的item

 

7.还有什么?

  • Scrapy提供了很多强大的特性来使得爬取更为简单高效,例如:
  • HTML,XML源数据选择及提取的内置支持
  • 提供了一系列的spider之间共享的可复用的过滤器,对智能处理爬取数据提供了内置支持
  • 通过feed导出提供了多格式(JSON,CSV,XML),多存储后端(FTP,S3,本地文件系统)的内置支持
  • 提供了media pipeline,可以自动下载爬取到的数据中的图片(或者其他资源)
  • 高扩展性,可以通过使用signals,设计好的API(中间件,exetensions,pipelines)来定制实现您的功能。
  • 内置的中间件及扩展为下列功能提供了支持:
  1. cookies and session处理
  2. HTTP压缩
  3. HTTP认证
  4. HTTP缓存
  5. user-agent模拟
  6. robots.txt
  7. 爬取深度限制
  8. 其他
  • 针对非英语系统中不标准或者错误的编码声明,提供了自动检测及健壮的编码支持
  • 支持根据模板生成爬虫。在加速爬虫创建的同时,保持在大型项目中的代码更为一致
  • 针对多爬虫性能评估,失败检测,提供了可扩展的状态收集工具
  • 提供交互式shell终端,为测试XPath表达式,编写和调试爬虫提供了极大的方便
  • 提供System service,简化在生产环境的部署及运行
  • 内置Telnet终端,通过在Scrapy进程中钩入Python终端,可以查看并调试爬虫
  • Logging在爬虫过程中捕捉错误提供了方便
  • 支持Sitemaps爬取
  • 具有缓存的DNS解析器

 

posted @ 2018-03-21 11:38  筱筱的春天  阅读(202)  评论(0编辑  收藏  举报