摘要： 今天看了一下网络爬虫。看了很多博主的博文教程，自己也跟着教程走了一遍。参考的是http://kylen314.blog.com/2013/10/01/scrrapy_note1/ 这个博主的博文。内容通俗易懂，但是首先要先在电脑上安装一个scrapy。根据网上介绍，它是一个很流弊的爬虫框架，在网上有... 阅读全文

摘要： 最近在浏览网页的时候，无意中看到一个词“爬虫”。最简单的就是将网页页面直接保存下来，这时候得到的是一个html文件。聚焦爬虫工作原理网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过... 阅读全文