使用Beautiful Soup编写一个爬虫 系列随笔汇总

这几篇博文只是为了记录学习Beautiful Soup的过程，不仅方便自己以后查看，也许能帮到同样在学习这个技术的朋友。通过学习Beautiful Soup基础知识 完成了一个简单的爬虫服务：从allitebooks.com抓取书籍的书名和每本书对应的ISBN码，然后通过ISBN码去amazon.com抓取对应的价格。

 

第一部分 Beautiful Soup的基础知识

Beautiful Soup的安装和查找、浏览的方法。

• 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(1): 基础知识Beautiful Soup

 

第二部分 爬虫服务的实现过程

讲解了如何创建Beautiful Soup的项目，如何分析一个网站的HTML结构并编写查找代码。

• 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码
• 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(3): 抓取amazon.com价格

 

完整代码请移步github： https://github.com/backslash112/book_scraper_python

我们处于大数据时代，对数据处理感兴趣的朋友欢迎查看另一个系列随笔： 利用Python进行数据分析 基础系列随笔汇总

 

接下来打算学习Scrapy库，Scrapy是一个采集工具，它可以帮你大幅降低网页查找和识别工作，轻松采集一个或多个域名的信息。有兴趣的朋友欢迎关注本博客，也欢迎大家留言进行讨论。