geekbyte

摘要： 其实在最前面的某一篇博文里，是绝对提过编码的，有ASCII，有UTF-8，有GB2312等等，这些我绝对说过的。 url编码 首先，Http协议中参数的传输是"key=value"这种键值对形式的，如果要传多个参数就需要用“&”符号对键值对进行分割。如"?key1=value1&key2=value2"，这样在服务端在收到这种字符串的时候，会用“&”分割出每一个参数，然后再用“=”来分割出键和值并进行处理。 然后，url只能使用 ASCII 字符集来通过因特网进行发送，也就是说url允许的只能是英文字母、阿拉伯数字和某些标点符 阅读全文

摘要： 状态码 含义 100 客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。 101 服务器已经理解了客户端的请求，并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。 　　只有在切换新的协议更有好处的时候才应该采取类似措施。例如，切换到新的HTTP 版本比旧版本更有优势，或者切换到一个实时且同步的协议以传送利用此类特性的资源。 阅读全文

摘要： urllib2 1.简介 urllib2模块定义的函数和类用来获取URL（主要是HTTP的），他提供一些复杂的接口用于处理： 基本认证，重定向，Cookies等。urllib2和urllib差不多，不过少了些功能，又多了些功能不仅可以使用http协议，而且可以扩展到ftp等协议，大体的用法没什么区别 阅读全文

摘要： urllib 1.简介： urllib 模块是python的最基础的爬虫模块，其核心功能就是模仿web浏览器等客户端，去请求相应的资源，并返回一个类文件对象。urllib 支持各种 web 协议，例如：HTTP、FTP、Gopher；同时也支持对本地文件进行访问。但一般而言多用来进行爬虫的编写。 阅读全文

摘要： 与爬虫相关的常用模块列表。 原文出处：传送门链接 网络 阅读全文

摘要： 变色龙原理 变色龙这种动物想必大家都了解，它们会根据周遭环境的局势来改变自己的颜色，伪装自己。 那么爬虫有这种技能吗？当然是有的，先不着急说这个问题。 从上一篇开始，你有没有想过，站在网站管理的角度，如果在同一时间段，大家全部利用爬虫程序对自己的网站进行爬取操作，那么这网站服务器能不能承受这种负荷？肯定不能啊，如果严重超负荷则会时服务器宕机（死机）的，对于一些商业型的网站，宕机一秒钟的损失都是不得了的，这不是一个管理员能承担的，对吧？那管理员会网站服务器做什么来优化呢？我想到的是，写一个脚本，当检测到一个IP访问的速度过快，报文头部并不是浏览器的话，那么就拒绝服务，或者屏蔽IP等，这样就可以减少服务器的负担并让服务器正常进行。 阅读全文

摘要： 爬虫 1.什么是爬虫 爬虫就是昆虫一类的其中一个爬行物种，擅长爬行。 哈哈，开玩笑，在编程里，爬虫其实全名叫网络爬虫，网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者。是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索 阅读全文

摘要： 包（Package） 这个其实前面也说过的，不过同模块一样，没有具体的解析 1.什么是包 在创建许许多多模块后，我们可能希望将某些功能相近的文件组织在同一文件夹下，那么此文件夹（目录）即为包，文件夹（目录）名即为包名，但包有一个特征与其他普通文件夹区分，包目录下必须有一个名为__init__.py的文件，__init__.py的内容可以为空，主要是为了避免python将文件夹名当作其他文件夹一样的处理为普通的字符串。一般用来进行包的某些初始化工作或者设置__all__值，__all__是在from package-name import *这语句使用的，表示导入全部定义过的模块。 阅读全文

摘要： 模块 其实前面都说过的，不过还是系统的再说一次，相信学到这，大部分都被搞忘了吧，所以再提一下，也为后面的博文做铺垫 1.什么是模块 在程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护，不断的滚雪球式的增长。为了维护好代码，我们把很多类和函数分组，分别放到不同的python可读的py文件里，这样就解决了问题，让主程序文件的代码减少，很多编程语言都采用这种组织代码的方式，在html标签里也一样，把样式写入css里，要用的使用再链接css样式表就行。而这里的一个.py文件就称之为一个模块（Module） 模块也有另一个名称，库，库又分标准库和第三方库，而内置的库（在安装python时就已经带有的库） 阅读全文

摘要： 定义类的方法，相信你会说，不就是在class语句下使用def () 就是定义类的方法了嘛，是的，这是定义的方法的一种，而且是最普通的方式 首先，我们已经知道有两种方式： 1.普通方法： 1）与类无关的方法 阅读全文