摘要： 一、编写第一个网络爬虫 为了抓取网站，我们需要下载含有感兴趣的网页，该过程一般被称为爬取（crawling）。爬取一个网站有多种方法，而选择哪种方法更加合适，则取决于目标网站的结构。 首先探讨如何安全的下载网页，让后介绍3中爬去网站的常见方法： -- 爬取网站地图； -- 遍历每个网页的数据库 ID 阅读全文

摘要： 一、识别网站所用技术 构建网站所使用的技术类型也会对我们如何爬取产生影响。有一个十分有用的工具可以检查网站构建的技术类型 builtwith模块。该模块的安装如下 该模块将url作为参数，下载该 url 并其进行分析，返回该网站的技术。 从上面返回的结果可以看出，使用的框架是java 的 Twitt 阅读全文

摘要： 简单来说互联网是由一个个站点和网络组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前： 一、爬虫是什么？ 如果我们把互联网比作是一张蜘蛛网，数据便是存放在蜘蛛网的各个节点，而爬虫就是一直小蜘蛛， 沿着网络抓取自 阅读全文