python爬虫工具

一直都听说python写爬虫工具非常方便，为了获取数据，我也要写点爬虫，但是python太灵活了，不知道python爬虫要哪些框架，要了解，比如beatiful soup，scrapy，

爬虫的额主要工作大概在解析html文件

scrapy接触之后发现其是一个爬虫框架。就像spring boot一样，用户只需写几个模块，定制自己的需求，就可以成为一个爬虫了，其原理可以从其架构来看。