摘要：我才知道爬虫还可以这样—火车采集器的使用说在前面额。。。好吧，我这一个三毛钱的屌丝也开始步入实习阶段了，在北京其实也挺好的，虽说压力大，但是今后就业机会也相对而言大一些。好了，说回今天的主题，之前学习Python爬虫的时候一直以为今后工作的话进行爬虫需要自己写源代码然后再一直爬呀爬呀爬，但是不是这样... 阅读全文

摘要：爬虫学习一系列：urllib2抓取网页内容所谓网页抓取，就是把URL地址中指定的网络资源从网络中读取出来，保存到本地。我们平时在浏览器中通过网址浏览网页，只不过我们看到的是解析过的页面效果，而通过程序获取的则是程序源代码。我们通过使用Python中urllib2来获取网页的URL资源，最简单方法就是... 阅读全文

摘要：前言考虑到上次的网络爬虫总结一文对基础的知识还没有介绍完整，所以今天花一点时间来补充上次的网络爬虫基础知识。这次给大家总结了两个方面的内容：暗网抓取和分布式爬虫。希望对阅读本文的博友们有所收获。暗网抓取物理学研究表明，在目前宇宙所有物质的总体质量中，星系等可见物质占其中的20%，不可探测的暗物质占据... 阅读全文

摘要：网络爬虫基础前言通用搜索引擎的处理对象就是互联网网页，目前网页数量以百亿计，所以搜索引擎首先面临的问题就是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫即起此作用，它是搜索引擎系统中很关键也很基础的构建。本次总结以及接下来的几次总结主要给大... 阅读全文