BeautifulSoup 与 scrapy 的区别是什么?

  Scrapy 是一个框架。scrapy是一个web网站抓取框架,你可以给scrapy一个网站的网址,然后他就会帮你采集数据,并且你可以指定网址的数量来进行采集。scrapy是一个完整的Web抓取框架或者说是爬虫框架。

  BeautifulSoup 是一个数据解析库。并且从网址中获取数据同样可以做的很好。最重要的是如果你从中提取数据的话也会异常方便(很适合新手入门)。但是该模块只是把你给他的网址采集下来,然后停止采集。该模块不会帮你一直采集数据,除非你手动指定,或者写一个循环来自己实现这个功能。

  简而言之,你可以用BeautifulSoup 建立一个类似于scrapy的框架,scrapy是更加完善的爬虫框架,而scrapy只是数据解析库。

 

posted @ 2019-07-12 18:05  菜鸟SSS  阅读(3448)  评论(1编辑  收藏  举报