摘要：
对于linux高手看似简单的网络配置问题，也许要说出所以然来也并不轻松，因此仍然有太多的初学者徘徊在门外就不奇怪了，这里，老男孩老师花了一些时间总结了这个文档小结，也还不够完善，欢迎大家补充，交流。谢谢大家！20120827补充：http://oldboy.blog.51cto.com/256141 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7215617.html 爬取的思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7211253.html 关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好说的特别清楚，所以整理这样一篇文章， 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7198407.html 这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给s 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7196197.html 当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理 每个item pipeline组件是实现了简单的方法的python类，负责接收到ite 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7189860.html Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7192503.html Spider类定义了如何爬去某个网站，包括爬取的动作以及如何从网页内容中提取结构化的数据，总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析 以初始的URL初 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7183220.html 这篇文章主要是对的scrapy命令行使用的一个介绍 创建爬虫项目 scrapy startproject 项目名例子如下： localhost:spider zhaofan$ 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7173397.html 这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架，Twist 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7173094.html 这里是通过爬取伯乐在线的全部文章为例子，让自己先对scrapy进行一个整理的理解 该例子中的详细代码会放到我的github地址：https://github.com/pytho 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/7171148.html 这里我们通过请求网页例子来一步步理解爬虫性能 当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环 简单的循环串行 这一种方法相对来说是最慢的，因为一个一 阅读全文
摘要：
网站的树结构 深度优先算法和实现 广度优先算法和实现 网站的树结构 通过伯乐在线网站为例子： 并且我们通过访问伯乐在线也是可以发现，我们从任何一个子页面其实都是可以返回到首页，所以当我们爬取页面的数据的时候就会涉及到去重的问题，我们需要将爬过的url记录下来，我们将上图进行更改 在爬虫系统中，待抓取 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6959012.html 通过前面的文章已经学习了基本的爬虫知识，通过这个例子进行一下练习，毕竟前面文章的知识点只是一个 一个单独的散知识点，需要通过实际的例子进行融合 分析网站 其实爬虫最重要的是前面 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6953241.html 一、什么是Selenium selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Co 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6935473.html PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6915127.html 什么是Requests Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库如果你看过上篇文章关于urlli 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6930955.html 上一篇文章的正则，其实对很多人来说用起来是不方便的，加上需要记很多规则，所以用起来不是特别熟练，而这节我们提到的beautifulsoup就是一个非常强大的工具，爬虫利器。 b 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6910871.html 官方文档地址：https://docs.python.org/3/library/urllib.html 什么是Urllib Urllib是python内置的HTTP请求库包括 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6897393.html 整理这个文档的初衷是自己开始学习的时候没有找到好的教程和文本资料，自己整理一份这样的资料希望能对小伙伴有帮助 什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社 阅读全文
摘要：
本文出自“python修行路”博客，http://www.cnblogs.com/zhaof/p/6898138.html 在上文中我们说了：爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请 阅读全文