摘要：
BeautifulSoup 是一个非常优秀的Python扩展库，可以用来从HTML或XML文件中提取我们感兴趣的数据，并且允许指定使用不同的解析器。 使用 pip install BeaufifulSoup4 直接进行模块的安装。安装之后应使用 from bs4 import BeautifulSo 阅读全文
摘要：
scrapy是一个非常好用的Web爬虫框架，非常适合抓取Web站点从网页中提取结构化的数据，并且支持自定义的需求。在使用scrapy爬取网页数据时，除了熟悉HTML标签，还需要了解目标网页的数据组织结构，确定要爬取什么信息，这样才能针对性地编写爬虫程序。 使用pip命令安装好scrapy扩展库。在安 阅读全文
摘要：
网页爬虫常用来在互联网上爬取感兴趣的页面或文件，结合数据处理与分析技术可以得到更深层次的信息。下面的代码实现了网页爬虫，可以抓取指定网页中的所有链接，并且可以指定关键字和抓取深度。 阅读全文