BeautifulSoup 与 scrapy 的区别是什么?
Scrapy 是一个框架。scrapy是一个web网站抓取框架,你可以给scrapy一个网站的网址,然后他就会帮你采集数据,并且你可以指定网址的数量来进行采集。scrapy是一个完整的Web抓取框架或者说是爬虫框架。
BeautifulSoup 是一个数据解析库。并且从网址中获取数据同样可以做的很好。最重要的是如果你从中提取数据的话也会异常方便(很适合新手入门)。但是该模块只是把你给他的网址采集下来,然后停止采集。该模块不会帮你一直采集数据,除非你手动指定,或者写一个循环来自己实现这个功能。
简而言之,你可以用BeautifulSoup 建立一个类似于scrapy的框架,scrapy是更加完善的爬虫框架,而scrapy只是数据解析库。