随笔分类 - Python
摘要：好吧，我又开始折腾豆瓣电影top250了，只是想试试各种方法，看看哪一种的方法效率是最好的，一直进行到这一步才知道 scrapy的强大，尤其是和selector结合之后，速度飞起。。。。 下面我就采用scrapy爬取豆瓣电影top250的方法记录一下，里面采用了selector的xpath和css两
阅读全文
摘要：创建项目 在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令： 1 该命令行将会创建包含下列内容的tutorial目录： 1 2 3 4 5 6 7 8 9 10 这些文件分别是： scrapy.cfg:项目的配置文件 tutorial:该项目的python
阅读全文
摘要：之前接触scrapy本来是想也许scrapy能够让我的爬虫更快，但是也许是我没有掌握scrapy的要领，所以爬虫运行起来并没有我想象的那么快，看这篇文章就是之前使用scrapy的写得爬虫。然后昨天我又看到了pyspider，说实话本来只是想看看，但是没想到一看就让我喜欢上了pyspider。 先给大
阅读全文
摘要：http://cuiqingcai.com/1052.html 大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与
阅读全文
摘要：简介 国人编写的强大的网络爬虫系统并自带强大的WebUI,采用Python语言编写吗，分布式架构。支持多种数据库后端 pyspider中文网站：http://www.pyspider.cn/ 源码网址：https://github.com/binux/pyspider 官方文档: http://do
阅读全文
摘要：本来要用uwsgi，但是。。。介于以前说过。。。这台服务器略老。。。redhat 3的系统。。。确实很老，没法用yum，没法安装很多东西，打算自己编译uwsgi，但是编译各种错误。。。花了快一天，最后放弃了，改用fastcgi吧，虽然网上各种说uwsgi的效率多么高，性能多么好，但是没办法忍痛割爱吧
阅读全文
摘要：web.py 是一个Python 的web 框架，它简单而且功能强大。web.py 是公开的，无论用于什么用途都是没有限制的。 先让大家感受一下web.py 的简单而强大： 看看，上面就是一个基于web.py 的完整的Web 应用。不信?!将上面的代码保存为文件code.py，在命令行下执行pyth
阅读全文
摘要：这几天有一个构建restful services的需求，我采用了web.py，之前并没有使用过，但在使用中确实给我带来了很多惊喜。当然，最大的惊喜就是简单，方便。之前开发restful服务的时候，采用java的框架restlet，当时觉得就很方便，很轻量级了。但是用了web.py之后，才发现，开发可
阅读全文
摘要：安装安装web.py, 请先下载：http://webpy.org/static/web.py-0.37.tar.gz或者获取最新的开发版：https://github.com/webpy/webpy/tarball/master解压并拷贝 web 文件夹到你的应用程序目录下。 或者，为了让所有的应
阅读全文
摘要：那么webpy是什么呢？ 阅读它的源码我们又能学到什么呢？ 简单说webpy就是一个开源的web应用框架（官方首页：http://webpy.org/） 它的源代码非常整洁精干，学习它一方面可以让我们快速了解python语法（遇到看不懂的语法就去google），另一方面可以学习到python高级特性
阅读全文
摘要：Apache/lighttpd: 相当于一个request proxy，根据配置，把不同的请求转发给不同的server处理，例如静态的文件请求自己处理，这个时候它就像一个web server，对于fastcgi/python这样的请求转发给flup这样的Server/Gateway进行处理 flup
阅读全文
摘要：关于nginx+python+fastcgi+flup搭建fastcgi环境没问题了，可是如何处理POST/GET的请求数据呢，这个问题着实纠结了没久，通过尝试和阅读flup的源代码，终于明白了。先上个例子 [python] view plain copy #!/usr/bin/env python
阅读全文
摘要：1.准备环境 CentOs 6.3 nginx-1.4.2.tar.gz http://nginx.org/download/nginx-1.4.2.tar.gz openssl-1.0.1c.tar.gz http://www.openssl.org/source/openssl-1.0.1c.t
阅读全文
摘要：昨天花了一整天的时间研究搭建了nginx+python+fastcgi环境，并测试没问题，由于是第一次，并且参考了网上很多东西，网上也有很多，但还是把自己的过程记录下。 主要感谢这位兄弟的文章给了我很大的帮忙http://blog.csdn.net/linvo/article/details/587
阅读全文
摘要：当要使函数接收元组或字典形式的参数 的时候，有一种特殊的方法，它分别使用*和**前缀 。这种方法在函数需要获取可变数量的参数 的时候特别有用。[注意] [1] 由于在args变量前有*前缀 ，所有多余的函数参数都会作为一个元组存储在args中 。如果使用的是**前缀 ，多余的参数则会被认为是一个字典
阅读全文
摘要：读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。 读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从
阅读全文
摘要：先花点时间来说说一个程序怎么和数据库进行交互1.和数据库建立连接2.执行sql语句,接收返回值3.关闭数据库连接使用MySQLdb也要遵循上面的几步.让我们一步步的进行. 1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x 特
阅读全文
摘要：python的字符串是有序集合，我们可以通过索引来提取想要获取的字符，可以把python的字符串也做为字符串的列表就更好理解python的字串列表有2种取值顺序1是从左到右索引默认0开始的，最大范围是字符串长度少1s = 'ilovepython's[0]的结果是i2是从右到左索引默认-1开始的，最
阅读全文
摘要：您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？ 我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。 如何生成斐波那契數列 斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个
阅读全文
摘要：python中有很多字符串连接方式，今天在写代码，顺便总结一下： 最原始的字符串连接方式：str1 + str2python 新字符串连接语法：str1, str2奇怪的字符串方式：str1 str2% 连接字符串：‘name:%s; sex: ' % ('tom', 'male')字符串列表连接：
阅读全文