01 2014 档案
摘要：转自：http://blog.163.com/guaiguai_family/blog/static/20078414520138911393767/http://sites.computer.org/debull/A12june/pipeline.pdf这一套可以成为互联网公司的标准基础架构了，摘要如下：把数据的 source of truth 放在数据总线里，而非 Hadoop 和数据仓库里。这是个很违反直觉的做法，但得益与 Kafka 巧妙的数据持久性以及分区、备份的设计，数据总线成了实时系统和批处理系统的非常可靠的数据源头，兼顾两种处理范式；ActiveMQ 各种问题，不堪数据收集重任
阅读全文
摘要：转自：http://blog.163.com/guaiguai_family/blog/static/20078414520138100562883/Flume 是 Cloudera 公司开源出来的一套日志收集系统，早期版本依赖 ZooKeeper，现在的 FumeNG 去掉了这个依赖，我没用过之前的版本，想来失去整个日志收集系统的全局视图是挺可惜的，但 FlumeNG 上手以及使用挺简单，搭配监测系统也能用的不赖，有利有弊了:-)下图展示了一种常见的 Flume 使用场景，服务器上发送事件给本地的 Flume agent 或者让本地 Flume agent 去 tail -f 日志文件，日志
阅读全文
摘要：转自：http://blog.163.com/guaiguai_family/blog/static/20078414520132181010189/写代码的人都知道日志很重要，机器不多的时候，查看日志很简单，ssh 上去 grep + awk + perl 啥的 ad hoc 的搞几把就行，但面对上百台甚至上千台机器时，如何有效的收集和分析日志就成了个很头疼的事情。日志处理必然有如下过程：从各个服务器读取日志把日志存放到集中的地方挖掘日志数据，用友好的 UI 展示出来，最好能做到实时的输入表达式做过滤、聚合下面分三个方面聊聊，整个过程是需要多方配合的，包括写日志、读日志、转储日志、分析日志，
阅读全文
摘要：《淘宝技术这十年》读后感转自：http://blog.163.com/guaiguai_family/blog/static/20078414520140273552602/2014-01-27 18:16:43|分类：系统管理|标签：乖乖公|举报|字号订阅花了两天时间扫了下，后面的列传没仔细看，整个的文风就是个 BBS 八卦体，写的很有趣味，对互联网从业人员也很有启发性，是本好书。下面记录下一些乱七八糟的思绪。淘宝一开始创业的技术并不高明，虽然有很多牛人，但感觉也只是很勤奋而已（个人觉得甚至有点矬，比如那个重启 sql relay 的活儿，哥啊，你们真的没整个自动监测并重启的脚本？另一个例子
阅读全文
摘要：1.读取命令行选项(1)sys.argspython启动时，命令行选项设置在列表sys.args中。sys.args[0]：xxx.pysys.args[1:]: 其他参数(2)optparser复杂参数可以使用optparser模块处理：USAGE = 'usage: python mymodule.py [cid] -l [level] -i [interval]'import optparserparser = optparser.OptionParser()parser.add_option("-i",,dest='interval'
阅读全文
摘要：http://www.kuqin.com/database/20120715/322528.htmlHadoop这个单词如今铺天盖地，几乎成了大数据的代名词。仅仅数年时间，Hadoop从边缘技术迅速成长为一个事实标准。如今想玩转大数据，搞企业分析或者商业智能，没有Hadoop还真不行。但Hadoop狂热的背后却酝酿着一场技术变革，Hadoop的核心技术在Google那里已经过时，因为Hadoop并不擅长处理“快数据”。今天，Hadoop似乎已经毫无争议地成了企业大数据技术标准，看上去Hadoop将根植企业，其地位在未来十年似乎都不会动摇。但是GigaOM的专栏作家Mike Miller却发出了
阅读全文
摘要：http://rsj217.diandian.com/post/2012-11-01/40041235132Beautiful Soup 是用 Python 写的一个 HTML/XML 的解析器，它可以很好的处理不规范标记并生成剖析树。通常用来分析爬虫抓取的web文档。对于 不规则的 Html文档，也有很多的补全功能，节省了开发者的时间和精力。Beautiful Soup 的官方文档齐全，将官方给出的例子实践一遍就能掌握。官方英文文档，中文文档一 安装Beautiful Soup安装 BeautifulSoup 很简单，下载BeautifulSoup源码。解压运行python setup.py
阅读全文
摘要：http://pythoner.org/wiki/257/毫无疑问:Python程序没有编译型语言高效快速. 甚至Python拥护者们会告诉你Python不适合这些领域. 然而,YouTube已用Python服务于每小时4千万视频的请求. 你所要做的就是编写高效的代码和需要时使用外部实现(C/C++)代码. 这里有一些建议,可以帮助你成为一个更好的Python开发者:1.使用内建函数: 你可以用Python写出高效的代码,但很难击败内建函数. 经查证. 他们非常快速.2.使用join()连接字符串. 你可以使用 "+" 来连接字符串. 但由于string在Python中是不
阅读全文
摘要：http://pythoner.org/wiki/751/代码优化能够让程序运行更快，它是在不改变程序运行结果的情况下使得程序的运行效率更高，根据 80/20 原则，实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗 80% 的工作量。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。改进算法，选择合适的数据结构一个良好的算法能够对性能起到关键作用，因此性能改进的首要点是对算法的改进。在算法的时间复杂度排序上依次是：O(1) -> O(lg n) -> O(n lg n) -> O(n^2) -> O(n^3) -> O(n^k) -> O
阅读全文
摘要：http://pythoner.org/wiki/10/编码 所有的 Python 脚本文件都应在文件头标上 # -*- coding:utf-8 -*- 。设置编辑器，默认保存为 utf-8 格式。注释 业界普遍认同 Python 的注释分为两种的概念，一种是由 # 开头的“真正的”注释，另一种是 docstrings。前者表明为何选择当前实现以及这种实现的原理和难点，后者表明如何使用这个包、模块、类、函数（方法），甚至包括使用示例和单元测试。 坚持适当注释原则。对不存在技术难点的代码坚持不注释，对存在技术难点的代码必须注释。但与注释不同，推荐对每一个包、模块、类、函数（方法）写 docst
阅读全文
摘要：转自：http://www.zhihu.com/topic/195528261. C 程序员对于内存管理，计算机体系的理解能力；2. C++ 程序员对元编程的理解能力；3. Java程序员对于OO和设计模式的理解，对规模项目掌控的能力, 对虚拟机实现理解的能力；4. Ruby程序员创造Web应用的能力；5. Python 程序员在小中型Startup中应对各种问题的能力；6. Javascript 程序员研究颠覆同行对Web交互认知的技术的能力；
阅读全文
摘要：Hi Pythonistas!测试和调试 Testing & Debugging框架及Web Frameworks & Web并发 Concurrency任务调度 Job Schedulers实用工具 Utilities & Tools科学科学及可视化 Data Science & Visualization编辑器及其改善 Editors & Editor Enhancements持续交付 DevopsGitMail & Chat音频和视频 Audio & Video其它好物 Other Awesomeness.是也乎Hi Pythoni
阅读全文
摘要：problem：Attempted relative import in non-package所谓相对路径其实就是相对于当前module的路径，但如果直接执行脚本，这个module的name就是“__main__”, 而不是module原来的name， 这样相对路径也就不是原来的相对路径了，导入就会失败，出现错误“ValueError: Attempted relative import in non-package”solve：方法1：把src目录加入到sys.path里去方法2：把整个工程myproject写成package放进site-packages然后这样引用from myproj
阅读全文
摘要：1.模块和import(1)首次import module会做以下3件事：a）创建新的命名空间，用作在该源文件中定义的所有对象的容器。在模块中定义的函数和方法在使用global语句时将访问该命名空间。b）在新创建的命名空间中执行模块中包含的代码。c）在调用函数中创建名称来引用模块命名空间，这个名称和...
阅读全文
摘要：http://blog.csdn.net/aladdina/article/details/4141177国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。1.C4.5C4
阅读全文
摘要：http://hi.baidu.com/b37798969/item/429fb25f838f1d3233e0a99bMySQL支持大量的列类型，它可以被分为3类：数字类型、日期和时间类型以及字符串(字符)类型。本节首先给出可用类型的一个概述，并且总结每个列类型的存储需求，然后提供每个类中的类型性质的更详细的描述。概述有意简化，更详细的说明应该考虑到有关特定列类型的附加信息，例如你能为其指定值的允许格式。由MySQL支持的列类型列在下面。下列代码字母用于描述中：M指出最大的显示尺寸。最大的合法的显示尺寸是255。D适用于浮点类型并且指出跟随在十进制小数点后的数码的数量。最大可能的值是30，但是
阅读全文
摘要：problem：(, UnicodeEncodeError('ascii', u'[taobao_cocobella_18808011629_\u9e45\u9ec4]\n', 30, 32, 'ordinal not in range(128)'), )solve：reload(sys)sys.setdefaultencoding('utf8')在将字符串写入文件时，执行f.write(str)，后台总是报错：UnicodeEncodeError: 'ascii' codec can't encode c
阅读全文
摘要：http://blog.csdn.net/ponder008/article/details/6886039抽象工厂模式：提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。优点：易于交换“产品系列”，只要更改相应的工厂即可。缺点：建立产品的时候很繁琐，需要增加和修改很多东西。优化1：为了避免客户端有过多的逻辑判断，可以封装出一个简单工厂类来生成产品类。优化2：为了减少简单工厂类里面的逻辑判断，可以采用“反射”机制，直接根据外部的配置文件读取出需要使用产品类的信息。[python]view plaincopy#encoding=utf-8##bypanda#抽象工厂模式defp
阅读全文
摘要：#coding:utf-8import ConfigParserclass Conf(): def __init__(self,name): self.name = name self.cp = ConfigParser.ConfigParser() self.cp.read(name) def getSections(self): return self.cp.sections() def getOptions(self, section): if...
阅读全文
摘要：http://www.2cto.com/kf/201108/100384.html#!/usr/bin/python# -*- coding:utf-8 -*-import ConfigParserconfig = ConfigParser.ConfigParser()config.read("flashfxp.ini")sections = config.sections()print sectionsoptions = config.options("CmdWindow")print optionsitems = config.items("
阅读全文
摘要：http://liuzhijun.iteye.com/blog/1859857Python处理JSON（如果阅读效果不佳，可戳这里）概念序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON、XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。JSON（JavaScript Object Notation）：一种轻量级数据交换格式，相对于XML而言更简单，也易于阅读和编写，机器也方便解析和生成，Json是JavaScript中的一个子集。Python2.6开始加入了JSON模块，无需另外下载
阅读全文
摘要：python datetime笔记http://mint-green.diandian.com/post/2011-09-09/4892024获取当前时间，并通过字符串输出。格式为：%Y-%m-%d %H:%M:%S'datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S' )获取当前时间，但只保留日期datetime.datetime.now().date()将字符串转换为datetime类型输入字符串格式为：'%Y-%m-%d'datetime.datetime.strptime(time,'%
阅读全文
摘要：python time模块详解转自：http://blog.csdn.net/kiki113/article/details/4033017python 的内嵌time模板翻译及说明一、简介 time模块提供各种操作时间的函数 说明：一般有两种表示时间的方式: 第一种是时间戳的方式(相对于1970.1.1 00:00:00以秒计算的偏移量),时间戳是惟一的 第二种以数组的形式表示即(struct_time),共有九个元素，分别表示，同一个时间戳的struct_time会因为时区不同而不同 year (four digits, e.g. 1998) month (1-12) day (1-31)
阅读全文
摘要：1.获取当前时间的两种方法：代码如下:import datetime,timenow = time.strftime("%Y-%m-%d %H:%M:%S")print nownow = datetime.datetime.now()print now2.获取上个月最后一天的日期(本月的第一天减去1天)复制代码代码如下:last = datetime.date(datetime.date.today().year,datetime.date.today().month,1)-datetime.timedelta(1)print last3.获取时间差(时间差单位为秒，常用于
阅读全文
摘要：2013流行Python项目汇总转自：http://www.kankanews.com/ICkengine/archives/102963.shtmlPython作为程序员的宠儿，越来越得到人们的关注，使用Python进行应用程序开发的越来也多。那么，在2013年有哪些流行的Python项目呢？下面，我们一起来看下。一、测试和调试python_koans：Python Koans 算 “Ruby Koans” 的一部分，作为交互式教程，可以学习TDD技巧。sure：Sure 是最适合自动化测试的 Python 工具，包含流利的断言、深度选择器等等特性。responses：用 responses
阅读全文
摘要：http://www.open-open.com/news/view/a22597在互联网这个领域一直有这样的说法：“如果老二无法战胜老大，那么就把老大赖以生存的东西开源吧”。当年Yahoo!与Google还是处在强烈竞 争关系时候，招聘了Doug(Hadoop创始人)，把Google老大赖以生存的DFS与Map-Reduce开源了，开始了Hadoop的童年时期。 差不多在2008年的时候，Hadoop才算逐渐成熟。从初创到现在，Hadoop经过了至少7年的积累，现在的Hadoop不仅是当年的老二Yahoo的专用产品了，从Hadoop长长的用户名单中， 可以看到Facebook、Linkedi
阅读全文
摘要：http://www.open-open.com/lib/view/open1386293551501.html一、介绍Mahout Mahout是Apache下的开源机器学习软件包，目前实现的机器学习算法主要包含有协同过滤/推荐引擎，聚类和分类三 个部分。Mahout从设计开始就旨在建立可扩展的机器学习软件包，用于处理大数据机器学习的问题，当你正在研究的数据量大到不能在一台机器上运行时，就 可以选择使用Mahout，让你的数据在Hadoop集群的进行分析。Mahout某些部分的实现直接创建在Hadoop之上，这就使得其具有进行大数据 处理的能力，也是Mahout最大的优势所在。相比较于Wek
阅读全文
摘要：转自http://www.oschina.net/news/15806/20-opensource-host-websites/开源中国社区收录了大量的开源软件，您会发现，其中绝大多数托管在sf.net、GitHub、code.google.com等站点上。其实不错的开源托管站点还真的是不少。笔者为您总结了如下国外知名的开源项目托管网站。托管站点Top20如下：1.SourceForgeSF为大家所熟知，开源项目的大本营，SF托管至少28万个开源项目，一天的下载量超过200万。2.GitHubGitHub托管使用Git版本控制系统的公开和私有项目。 目前该网站托管超过170万存储项目，包括许多
阅读全文
摘要：转自：http://blog.csdn.net/linfei2707/article/details/5770091sourceforgehttp://www.sourceforge.netjava.nethttp://www.java.netwww.eclipse.orgwww.opensource.orgLombozhttp://www.objectlearn.com/index.jsp(J2EE plugin for Eclipse)htmlAreahttp://sourceforge.net/projects/itools-htmlarea/(所见即所得的在线HTML编辑器)XmlBu
阅读全文
摘要：http://www.open-open.com/lib/view/open1377700292339.html阿里阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，例如 MetaQ(分布式消息系统)、dubbo(RPC框架)、cobar(数据库中间件)，或者是Java世界的工具，例如druid、fastjson。都说国内Java公司的技术架构大部分来自阿里系，我觉得一方面来自阿里员工，一方面也可以来自阿里的开源项目。地址有几个：http://code.alibabatech.com/wiki/dashboard.
阅读全文
摘要：1.zipzip(s,t):将序列组合为一个元组序列[(s[0],t[0]), (s[1],t[1]),(s[2],t[2]),(s[3],t[3]),...]>>> s = [1,2,3,4,5,6]>>> t = ['a','b','c','d','e','e']>>> zip(s,t)[(1, 'a'), (2, 'b'), (3, 'c'), (4, 'd'), (5, &#
阅读全文
摘要：1.对象的身份、类型、值(1)身份：对象在内存中位置的指针，地址值，>>> a = [1,2,3,4,5]>>> id(a)48497328>>> id(a[0])37465112>>> id(a[1])37465100>>> id(a[2])37465088>>> id(a[3])37465076...
阅读全文
摘要：1.续行符\三引号、（）、｛｝、[]中的内容不需要续行符2.空格缩进优选空格作为缩进，不要用tab，这是因为不同操作系统下tab对应的空格不一样，而python是通过严格的空格来控制语句块的。3.标识符中的下划线(1)以一个下划线开始的标识符：_func()不能通过from module import * 语句导入(2)前后双下划线的标识符：__init__()为特殊方法保留的(3)前面双下划线的标识符：__add()实现类的私有成员，即private属性4.字符编码字符编码转换需要先转成unicode，才能转成其他的(1)utf8转gbk>>> a = '\xe8\
阅读全文
摘要：Kafka 分布式环境搭建转：http://www.open-open.com/lib/view/open1354349590601.html这篇文章将介绍如何搭建kafka环境，我们会从单机版开始，然后逐渐往分布式扩展。单机版的搭建官网上就有，比较容易实现，这里我就简单介绍下即可，而分布式的搭建官网却没有描述，我们最终的目的还是用分布式来解决问题，所以这部分会是重点。Kafka的中文文档并不多，所以我们尽量详细点儿写。要交会你搭建分布式其实很简单，手把手的教程大不了我录个视频就好了，可我觉得那不是走这条路的方 式。只有真正了解原理，并且理解的透彻了才能最大限度的发挥一个框架的作用。所以，如果
阅读全文
摘要：(1)数据记录筛选：sql="select*from数据表where字段名=字段值orderby字段名[desc]"sql="select*from数据表where字段名like'%字段值%'orderby字段名[desc]"sql="selecttop10*from数据表where字段名orderby字段名[desc]"sql="select*from数据表where字段名in('值1','值2','值3')"sql="select*fro
阅读全文
摘要：执行：python deom/scripts/populate.pyValueError: Attempted relative import in non-packagesolve：python import时采用了相对路径，使用-m运行执行：python -m demo.scripts.populate参考：http://my.oschina.net/leopardsaga/blog/971751. 从查到的资料来看，关于import路径的来说，分成3类：absolute importimport xmlimport youpackage.xmlfrom youpackage import
阅读全文
摘要：http://www.cnblogs.com/iixiaowei/articles/2341716.htmlMySQL查询缓存设置 提高MySQL查询性能发表于102 天前⁄MySQL优化⁄暂无评论从 MySQL4开始，出现了QueryCache查询缓存，如果使用了QueryCache，当查询接收到一个和之前同样的查询，服务器将会从查询缓存种检索结果，而不是再次分析和执行上次的查询。这样就大大提高了性能，节省时间，非常有用。打开查询缓存，是通过几个步骤来设置的，例如：虽然你设置Mysql允许查询缓存，但是如果你设置的查询缓存大小为了0，这和没有允许没什么区别。所以必须是几个步骤的设置才能真正打
阅读全文
摘要：终端有一个好的配色，不仅能保护自己的眼睛，也能给人一个好心情，本配色方案适合任意一种SSH客户端软件.设置背景颜色Options => Sessions options => Terminal => Emulation，在 Terminal下拉列表下选择Linux，勾选 ANSI Color。默认的 ANSI Color 的背景颜色是黑色，感觉看久了很不舒服，可以修改背景颜色。options -> global options ->Terminal ->Apperance -> ANSI Color, Default, 点击黑色的那项, 修改为下面的颜
阅读全文
摘要：1、SHOW ENGINE INNODB STATUS得到最后一次死锁发生的状况=====================================140110 11:43:07 INNODB MONITOR OUTPUT=====================================Per second averages calculated from the last 54 seconds-----------------BACKGROUND THREAD-----------------srv_master_thread loops: 5037089 1_second,
阅读全文
摘要：http://dev.mysql.com/doc/refman/5.0/en/innodb-deadlocks.htmlHow to Cope with DeadlocksThis section builds on the conceptual information about deadlocks inSection14.2.7.8, “Deadlock Detection and Rollback”. It explains how to organize database operations to minimize deadlocks and the subsequent error
阅读全文
摘要：转自：http://luchanghong.com/python/2012/07/06/python-encoding-with-unicode-and-gbk-and-utf8.html概要：编码转换无疑是程序开发过程中常遇到而且很让人头疼的问题，一旦和数据库交互那就更麻烦了，今天来总结一下 python 中编码转换的方法。前一段时间就想写一篇总结Python字符串的文章，但是时间较紧，而且我当时遇到的问题也不是很难，就暂搁下了，今天又被这编码折磨一番，泪奔啊……至于unicode、utf8等编码原理以及区别等问题可以去百度百科查看，网上也有介绍，我想说的是直接的转换方法——先知其然，然后再
阅读全文
摘要：1.clone（克隆）git gui：git gui首页选克隆已有版本库，填写Source Location：http://192.168.10.xx/xxx.gitTarget Directory: e:/git/minegit bash:git clone http://192.168.10.xx/mine.git2.fetch（同步获取，不合并）git gui：远端->fetch->origin：跟新远端服务器上的分支到本地。本地也维系了服务器上的所有分支，fetch就是让这些分支与服务器上的同步。git bash：git fetch3.branch（显示分支）git gui
阅读全文
摘要：1.python List交集、并集、差集1). 获取两个list 的交集#方法一:a=[2,3,4,5]b=[2,5,8]tmp=[valforvalinaifvalinb]printtmp#[2,5]#方法二printlist(set(a).intersection(set(b)))2). 获取两个list 的并集printlist(set(a).union(set(b)))3). 获取两个 list 的差集printlist(set(b).difference(set(a)))# b中有而a中没有的2.python Set交集、并集、差集s=set([3,5,9,10,20,40])#创
阅读全文
摘要：VIM的高级使用转：http://www.cnblogs.com/itech/archive/2012/02/22/2363111.html1)一些常用的Vim配置，在~/.vimrc中syntax on 支持语法高亮set nu 显示行号set nonu 不显示行号set ai 设置自动缩进set shiftwidth=4 设置自动缩进 4 个空格, 当然要设自动缩进先.set sts=4 即设置 softtabstop 为 4. 输入 tab 后就跳了 4 格.set tabstop=4 实际的 tab 即为 4 个空格, 而不是缺省的 8 个.se...
阅读全文
摘要：http://www.cnblogs.com/azai/archive/2010/11/11/1875062.htmllog4j日志配置关键字: apache log4j1、配置根Logger:log4j.rootLogger = [ level ] , appenderName, appenderName2level：日志的级别，指定这条日志信息的重要性。分为ALL < DEBUG < INFO < WARN 一般常用的为DEBUG ， INFO ，WARN ，ERROR四种，分别对应Logger类的四种方法debug(Object message ) ;info(Obje
阅读全文
摘要：http://blog.csdn.net/wjc272008/article/details/6665724多行缩进（减少缩进）：tab／shift+tab复制行：Ctrl+Alt+方向键'↓'删除行：Ctrl+d自动完成：Alt+/注释：Ctrl+／窗口最大小：Ctrl+m1 几个最重要的快捷键代码助手:Ctrl+Space（简体中文操作系统是Alt+/）快速修正：Ctrl+1单词补全：Alt+/打开外部Java文档：Shift+F2显示搜索对话框：Ctrl+H快速Outline：Ctrl+O打开资源：Ctrl+Shift+R打开类型：Ctrl+Shift+T显示重构菜单：A
阅读全文
摘要：架构相关领域的学习材料http://hi.baidu.com/linsd99/item/c51cbb773c9be25a0c0a074f对于工程师来说，到一定阶段后往往会遇到成长瓶颈。要突破此瓶颈，需要在所属技术领域更深入学习，了解本领域的问题本质、方法论与设计理念、发展历史等。以下提供一些架构相关领域的学习材料，附上简单点评，供有兴趣的工程师参考。希望大家能通过对这些领域的了解和学习，掌握更多system design principles，在自己的工作中得心应手，步入自由王国。1. Operating SystemsMach[Intro:http://www-2.cs.cmu.edu/af
阅读全文
摘要：深入浅出之正则表达式（一）http://www.cnblogs.com/dragon/archive/2006/05/08/394078.html前言：半年前我对正则表达式产生了兴趣，在网上查找过不少资料，看过不少的教程，最后在使用一个正则表达式工具RegexBuddy时发现他的教程写的非常好，可以说是我目前见过最好的正则表达式教程。于是一直想把他翻译过来。这个愿望直到这个五一长假才得以实现，结果就有了这篇文章。关于本文的名字，使用“深入浅出”似乎已经太俗。但是通读原文以后，觉得只有用“深入浅出”才能准确的表达出该教程给我的感受，所以也就不能免俗了。本文是Jan Goyvaerts为Regex
阅读全文
摘要：深入浅出之正则表达式（二）http://dragon.cnblogs.com/archive/2006/05/09/394923.html前言：本文是前一片文章《深入浅出之正则表达式（一）》的续篇，在本文中讲述了正则表达式中的组与向后引用，先前向后查看，条件测试，单词边界，选择符等表达式及例子，并分析了正则引擎在执行匹配时的内部机理。本文是Jan Goyvaerts为RegexBuddy写的教程的译文，版权归原作者所有，欢迎转载。但是为了尊重原作者和译者的劳动，请注明出处！谢谢！9.单词边界元字符>也是一种对位置进行匹配的“锚”。这种匹配是0长度匹配。有4种位置被认为是“单词边界”：1)
阅读全文
摘要：元字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“\\n”匹配一个换行符。“\n”匹配字符"n"。序列“\\”匹配“\”而“\(”则匹配“(”。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。$匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。*匹配前面的子表达式零次或多次。例如，zo*能匹配“z”以及“zoo”。*等价于{0,}。+匹配前面的子表达式一次或多次。例如，“zo+”能匹配“
阅读全文
摘要：http://www.cnblogs.com/coderzh/archive/2008/05/06/1185755.html简介Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。Python 1.5之前版本则是通过 regex 模块提供 Emecs 风格的模式。Emacs 风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用 regex 模块，当然偶尔你还是可能在老代码里发现其踪影。就其本质而言，正则表达式（或 RE）是一种小型的、高度专业化的编程语言，（在Python中）它内嵌在Python中，并通过 re 模块实现。使用这个小型语言，你可
阅读全文
摘要：Python之re模块 —— 正则表达式操作转自：http://www.cnblogs.com/PythonHome/archive/2011/11/19/2255459.html这个模块提供了与 Perl 相似l的正则表达式匹配操作。Unicode字符串也同样适用。正则表达式使用反斜杠" \ "来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用"\\\\"表示正则表达式中的" \ "，因为正则表达式中如果要匹配" \ "，需要用\来转义，变成" \\ "，而Pyt
阅读全文
摘要：1.quote：使用适合URL内容的转义序列替换String中的特殊字符。2.quote_plus:调用quote并使用“+”替换所有空格3.unquote：使用转义字符的单字符对应物替换'%xx'的转义序列。4.unquote_plus:使用+替换空格，其他同unquote。
阅读全文
摘要：import,reload,__import__在python中的区别http://blog.csdn.net/five3/article/details/7762870import作用：导入/引入一个python标准模块，其中包括.py文件、带有__init__.py文件的目录。e.g：[python]view plaincopyimportmodule_name[,module1,...]frommoduleimport*|child[,child1,...]说明：多次重复使用import语句时，不会重新加载被指定的模块，只是把对该模块的内存地址给引用到本地变量环境。测试：[python]
阅读全文
摘要：http://flyheaven.blog.163.com/blog/static/7401172201193085243920/1.Python内建异常体系结构The class hierarchy for built-in exceptions is:BaseException+-- SystemExit+-- KeyboardInterrupt+-- GeneratorExit+-- Exception+-- StopIteration+-- StandardError| +-- BufferError| +-- ArithmeticError| | +-- FloatingPointE
阅读全文
摘要：error：SyntaxError: Non-ASCII character '\xe5' in file D:\worklife\workshop\myCrawler\src\mainDriver.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for detailssolve：python的默认编码文件是用的ASCII码，你将文件存成了UTF-8，解决办法很简单，在文件开头加入#-*-coding:UTF-8-*-或者#coding=utf-8
阅读全文
摘要：网络爬虫-url索引http://www.cnblogs.com/yuandong/archive/2008/08/28/Web_Spider_Url_Index.htmlurl索引的作用是判断一个url是否被抓取过，采用的算法主要是MD5数字签名。假设一共要抓取的url不超过1亿条，用一个二进制的位表示一个url是否被抓取过，则至少需要1亿个位，我们管每一个位叫一个“槽”。考虑到MD5的算法是可能出现冲突（即不同的url算出来的MD5可能相同，这种概率很小），槽越少，冲突越明显，所以槽越多越好。但另一方面，还要考虑到占用内存的大小，因为在抓取的过程中，为了保证效率，所有的槽都需要载入内存。目
阅读全文
摘要：python语法-[with来自动释放对象]http://www.cnblogs.com/itech/archive/2011/01/13/1934779.html一 withpython中的with的作用是自动释放对象，即使对象在使用的过程中有异常抛出。可以使用with的类型必须实现__enter__ __exit__。我的理解是=try...finally{},在finally中调用了释放函数。[类似与CSharp中的using(){}关键字，用来自动确保调用对象的dispose()方法，即使对象有异常抛出。C#中可以使用using{}的对象必须已经实现了IDispose接口。]defTe
阅读全文
摘要：http://www.searchdatabase.com.cn/showcontent_38045.htmMySQL性能优化的21个最佳实践 1. 为查询缓存优化你的查询 大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后续的相同的查询就不用操作表而直接访问缓存结果了。 这里最主要的问题是，对于程序员来说，这个事情是很容易被忽略的。因为，我们某些查询语句会让MySQL不使用缓存。请看下面的示例： 上面两条SQL语句的差别就是 CURDATE() ...
阅读全文
摘要：python操作MySQL数据库转自：http://www.cnblogs.com/rollenholt/archive/2012/05/29/2524327.html坚持每天学一点，每天积累一点点，作为自己每天的业余收获，这个文章是我在吃饭的期间写的，利用自己零散的时间学了一下python操作MYSQL，所以整理一下。我采用的是MySQLdb操作的MYSQL数据库。先来一个简单的例子吧：?12345678910import MySQLdbtry:conn=MySQLdb.connect(host='localhost',user='root',passwd=&
阅读全文
摘要：转：http://ciniao.me/article.php?id=17range函数说明：range([start,]stop[,step])，根据start与stop指定的范围以及step设定的步长，生成一个序列。range示例:>>>range(5)[0,1,2,3,4]>>>range(1,5)[1,2,3,4]>>>range(0,6,2)[0,2,4]xrange函数说明：用法与range完全相同，所不同的是生成的不是一个数组，而是一个生成器。xrange示例:>>>xrange(5)xrange(5)>
阅读全文
摘要：转：http://blog.csdn.net/bravezhe/article/details/8585437Python：使用threading模块实现多线程编程一[综述]Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（Global Interpreter Lock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。在Python中我们主要是通过thread和 threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用 threading模块实现多线程编程。
阅读全文
摘要：python Queue模块转自：http://blog.csdn.net/bravezhe/article/details/8588437分类：PYTHON2013-02-18 16:433864人阅读评论(1)收藏举报创建一个“队列”对象import Queuemyqueue = Queue.Queue(maxsize = 10)Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。将一个值放入队列中myqueue.put(10)调用队列对象的put()方法在队
阅读全文
摘要：http://mianshi.fenzhi.com/post/1529.htmlpass语句什么也不做，一般作为占位符或者创建占位程序，pass语句不会执行任何操作，比如：while False:passpass通常用来创建一个最简单的类：class MyEmptyClass:passpass在软件设计阶段也经常用来作为TODO，提醒实现相应的实现，比如：def initlog(*args):pass #please implement this
阅读全文
摘要：Python的作用域转自：http://www.cnblogs.com/frydsh/archive/2012/08/12/2602100.html Python是静态作用域语言，尽管它自身是一个动态语言。也就是说，在Python中变量的作用域是由它在源代码中的位置决定的，这与C有些相似，但是Python与C在作用域方面的差异还是非常明显的。 接下来会谈论Python的作用域规则，在这中间也会说明一下Python与C在作用域方面的不同。 在Python 2.0及之前的版本中，Python只支持3种作用域，即局部作用域，全局作用域，内置作用域；在Python 2.2中，Python正式引入...
阅读全文
