摘要：python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：1 #! /usr/bin/env python2 # -*- coding=utf-8 -*-3 # @Author pythontab4 import urllib.request5 url = "http://www.***.com"6 html = urllib.request.ur 阅读全文

摘要：redis的优点：支持主从备份，操作指令丰富，支持异步的数据持久化将 redis 安装到 /usr/local/webserver/redis1.下载安装包wget http://redis.googlecode.com/files/redis-2.2.15.tar.gztar zxvf redis-2.2.15.tar.gzcd redis-2.2.15makemkdir -p /usr/local/webserver/redis/confmkdir -p /usr/local/webserver/redis/runmkdir -p /usr/local/webserver/redis/db 阅读全文

摘要：几乎所有的微薄都提供了缩短网址的服务，其原理就是将一个url地址按照一定的算法生成一段字符串，然后加在一个短域名后面边成了一个新的url地址，数据库中会存放这个短地址和原始的地址，当用户点击这个新的短地址后，短地址服务会根据短域名后面的几个字符串从数据库中读出原来的地址然后页面进行跳转 。比如新浪微薄中的url 是 http://t.cn/xxxxxxx t.cn是其域名 ，其后面跟着的是7位算出来的字符串。今天我们用python使用两种方法来实现这个功能。方法一：使用哈希库自定义算法因为文本中显示太长的url会比较乱,或者采用省略显示的方式,或者采用短url的方式.为了同时方便统计点击数以及 阅读全文

摘要：看到这个题目大家可能猜到了我接下来要讲些什么，呵呵，对了，那就是列出这两个不同版本间的却别！搜索一下大家就会知道，python有两个主要的版本，python2 和 python3 ，但是python又不同于其他语言，向下兼容，python3是不向下兼容的，但是绝大多数组件和扩展都是基于python2的，下面就来总结一下python2和python3的区别。 1.性能 Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间，在字符串和整形操作上可 以取得很好的优化结果。 Py3.1性能比Py2.5慢15%，还有很大的提升空间。 2. 阅读全文

摘要：在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：网上很多网页的编码格式都不一样，大体上是GBK,GB2312，UTF-8等。我们在获取网页的的数据后，先要对网页的编码进行判断，才能把抓取的内容的编码统一转换为我们能够处理的编码，避免乱码问题的出现。下面介绍两种判断网页编码的方法：方法一：使用urllib模块的getparam方法1 import urllib2 #autor：pythontab.com3 f 阅读全文

摘要：现在安卓手机太火了，手机应用就更火了。那你在使用那些应用的时候你有没有想过自己做一款手机应用呢？其实做一款应用真的没那么难，SL4A听说过吗？Scripting Layer for Android (SL4A) 是一个开源项目，目标是为android系统提供脚本语言的支持，使用户可以直接在android平台上进行脚本语言的编辑、解释和执行。这些脚本语言已经可是使用很 多封装好的android API来开发功能丰富的android应用程序，并且使开发变得更加的简单和高效!这个平台支持多种脚本语言，比如 Python, Perl, JRuby, Lua, BeanShell, JavaScript 阅读全文

摘要：2013年编程语言排行榜应有什么样的动作呢？首先，随着手机应用程序市场的继续增长，预计Java（Android）和Objective-C也会继续增长。其次，JavaScript和MATLAB的趋势也很乐观。Objective-C不但两次赢得了TIOBE编程语言奖项，并且在2012年编程语言中也获得了大部分市场的份额。Objective-C能够获此佳绩，其重要的原因是目前手机应用开发蓬勃发展所带来的。​另外，在2012年有几个有趣的浮动，C++（+1.09，主要是由微软带动），Python（+0.96%），另一方面，C#（-2.57%，主要由于进入移动市场比较晚）和Delphi（-0.65%）也 阅读全文

摘要：今天发现Mysql的主从数据库没有同步先上Master库：mysql>show processlist; 查看下进程是否Sleep太多。发现很正常。show master status; 也正常。mysql> show master status;+-------------------+----------+--------------+-------------------------------+| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |+-------------------+----------... 阅读全文

摘要：玩过电脑游戏的同学对于外挂肯定不陌生，但是你在用外挂的时候有没有想过如何做一个外挂呢？（当然用外挂不是那么道义哈，呵呵），那我们就来看一下如何用python来制作一个外挂。。。。 阅读全文