Python里pycurl使用记录

原文：http://www.lpfrx.com/archives/205/

 

这阵子使用python里读rss保存到数据库里，但使用了一段时间urllib觉得慢，在网上说pycurl的速度比urllib快，于是尝试使用，记录下使用方法:

1. #!/usr/bin/env python
2. # -*- coding: utf-8 -*-
3. import StringIO
4. import pycurl 
6. html = StringIO.StringIO()
7. c = pycurl.Curl()
8. myurl='http://www.lpfrx.com'
10. c.setopt(pycurl.URL, myurl)
12. #写的回调
13. c.setopt(pycurl.WRITEFUNCTION, html.write)
15. c.setopt(pycurl.FOLLOWLOCATION, 1)
17. #最大重定向次数,可以预防重定向陷阱
18. c.setopt(pycurl.MAXREDIRS, 5)
20. #连接超时设置
21. c.setopt(pycurl.CONNECTTIMEOUT, 60)
22. c.setopt(pycurl.TIMEOUT, 300)
24. #模拟浏览器
25. c.setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)")
29. #访问,阻塞到访问结束
30. c.perform()
32. #打印出 200(HTTP状态码)
33. print c.getinfo(pycurl.HTTP_CODE)
35. #输出网页的内容
36. print html.getvalue()
38. #输出网页类型
39. print "Content-type:", c.getinfo(c.CONTENT_TYPE)

安装pycurl到http://pycurl.sourceforge.net/这里去找.
在windows安装的话http://pycurl.sourceforge.net/download/ , 看你使用的版本决定下载那个，我在 windows使用的是python2.4, 所以下载 pycurl-ssl-7.15.5.1.win32-py2.4.exe 。