04 2016 档案
摘要：因为python的read和write方法的操作对象都是string。而操作二进制的时候会把string转换成list进行解析，解析后重新写入文件的时候，还得转换成string。
阅读全文
摘要：一、isinstance() 在Python中可以使用type()与isinstance()这两个函数判断对象类型，而isinstance()函数的使用上比type更加方便。 执行结果： 二、isinstance 和 type的区别 isinstance 和 type的区别在于： 代码如下: cla
阅读全文
摘要：在写爬虫的时候，经常会使用xpath进行数据的提取，对于如下的代码： 使用xpath提取是非常方便的。假设网页的源代码在selector中： 就可以把“大家好！”提取到data变量中去。 然而如果遇到下面这段代码呢？ 如果使用： 只能提取到“美女，”； 如果使用： 又只能提取到“你的微信是多少？”
阅读全文
摘要：.gitignore 配置文件用于配置不需要加入版本管理的文件，配置好该文件可以为我们的版本管理带来很大的便利，以下是个人对于配置 .gitignore 的一些心得。 1、配置语法： 以斜杠“/”开头表示目录； 以星号“*”通配多个字符； 以问号“?”通配单个字符 以方括号“[]”包含单个字符的匹配
阅读全文
摘要：XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 同时被构建于 XPath 表达之上。 推荐一个挺不错的网站：http://www.zvon.or
阅读全文
摘要：第一种，最常用的，通过for in遍历数组 1 2 3 4 5 6 7 8 colours = ["red","green","blue"] for colour in colours: print colour # red # green # blue 1 2 3 4 5 6 7 8 colour
阅读全文
摘要：selenium官方加上第三方宣布支持的驱动有很多种；除了PC端的浏览器之外，还支持iphone、Android的driver；大概记录一下selenium支持的各种driver的用途与说明。 selenium可支持的PC浏览器驱动包括： FF driver【包含在各自语言的客户端里】 safari
阅读全文
摘要：How to scrapy js? scrapy结合webkit抓取js生成的页面 http://www.cnblogs.com/Safe3/archive/2011/10/19/2217965.html pip install -U selenium Selenium IDEhttp://docs
阅读全文
摘要：1、安装python (我用的是2.7版本的) 2、安装scrapy: 详情请参考 http://blog.csdn.net/wukaibo1986/article/details/8167590 (提示，能下载源码安装的就避免用pip install **) 安装过程中遇到python扩展问题”u
阅读全文
摘要：Python处理JSON （如果阅读效果不佳，可戳这里） 概念 序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON、XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。 JSON（JavaSc
阅读全文
摘要：CRONTAB概念/介绍 crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。 cron 系统调度进程。 可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。cron是系统主要的调度进程，可以在
阅读全文
摘要：Python的getattr(),setattr(),delattr(),hasattr() getattr()函数是Python自省的核心函数，具体使用大体如下： 获取对象引用getattrGetattr用于返回一个对象属性，或者方法 class A: def __init__(self): se
阅读全文
摘要：一、概述： Sorted-Sets和Sets类型极为相似，它们都是字符串的集合，都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分数(score)与之关联，Redis正是通过分数来为集合中的成员进行从小到大的排序。然而需要额外指出的是，尽管So
阅读全文
摘要：cron来源于希腊单词chronos（意为“时间”），是linux系统下一个自动执行指定任务的程序。例如，你想在每晚睡觉期间创建某些文件或文件夹的备份，就可以用cron来自动执行。 服务的启动和停止 cron服务是linux的内置服务，但它不会开机自动启动。可以用以下命令启动和停止服务： Linux
阅读全文
摘要：Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP,Java客户端，使用很方便。 Redis使用单线程的IO复用模
阅读全文
摘要：试想一下，前面做的实验和例子都只有一个spider。然而，现实的开发的爬虫肯定不止一个。既然这样，那么就会有如下几个问题：1、在同一个项目中怎么创建多个爬虫的呢？2、多个爬虫的时候是怎么将他们运行起来呢？ 说明：本文章是基于前面几篇文章和实验的基础上完成的。如果您错过了，或者有疑惑的地方可以在此查看
阅读全文
摘要：一、用Python创建一个新文件，内容是从0到9的整数, 每个数字占一行：#python>>>f=open('f.txt','w') # r只读，w可写，a追加>>>for i in range(0,10):f.write(str(i)+'\n'). . .>>> f.close()二、文件内容追加
阅读全文
摘要：redis和普通的Key-Value结构不同，Redis的Key支持灵活的数据结构，除了strings，还有hashes、lists、 sets 和sorted sets等结构。正是这些灵活的数据结构，丰富了Redis的应用场景，能满足更多业务上的灵活存储需求。 Redis的数据都保存在内存中，而且
阅读全文
摘要：Rdis和JQuery一样是纯粹为应用而产生的，这里记录的是在CentOS 5.7上学习入门文章： Redis是一个key-value存储系统。和Memcached类似，但是解决了断电后数据完全丢失的情况，而且她支持更多无化的value类型，除了和string外，还支持lists（链表）、sets（
阅读全文
摘要：安装PIL-1.1.7.win32-py2.7的时候，不能再注册表中识别出来python2.7 方法：新建一个register.py 文件，把一下代码贴进去，保存 (代码来自：http://effbot.org/zone/python-register.htm) 显示“python 2.7 is n
阅读全文
摘要：http://www.pip-installer.org/en/latest/installing.html$ curl http://pypi.python.org/packages/source/d/distribute/distribute-0.6.28.tar.gz解压，然后进入目录，执行：
阅读全文
摘要：Python 版本要注意。 此Scrapy版本为0.14 在这篇入门教程中，我们假定你已经安装了Scrapy。如果你还没有安装，那么请参考安装指南。 我们将使用开放目录项目(dmoz)作为抓取的例子。 这篇入门教程将引导你完成如下任务： Scrapy是由Python编写的。如果你是Python新手，
阅读全文
摘要：https://github.com/yiisoft/yii2/tree/master/docs/guide-zh-CN http://yii2.techbrood.com/guide-index.html
阅读全文
摘要：shell命令查看某文件夹下的文件个数 2010-06-25 17:05:15| 分类： shell |字号 订阅 shell命令查看某文件夹下的文件个数 2010-06-25 17:05:15| 分类： shell |字号 订阅 shell命令查看某文件夹下的文件个数 2010-06-25 17:
阅读全文
