iTech's Blog

摘要： 文章原始出处和作者信息及本声明http://xuev.blogbus.com/logs/37005042.html====== lsof简介 ======lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本 阅读全文

摘要： 如果想在关闭ssh连接后刚才启动的程序继续运行怎么办，可以使用nohup。但是如果要求第二天来的时候，一开ssh，还能查看到昨天运行的程序的状态，然后继续工作，这时nohup是不行了，需要使用screen来达到这个目的。nohup命令可以用来执行其他命令，并且忽略SIGHUP信号（run a command immune to hangups, with output to a non-tty。Run COMMAND, ignoring hangup signals.）当一个虚拟终端的网络连接断开时，操作系统向正在运行的程序发送SIGHUP信号（HUP = HangUP、挂断），默认情况下这个 阅读全文

摘要： 一 xargs在使用find命令的-exec选项处理匹配到的文件时， find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像find的-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。来看看xargs命令是如何同find命令一起使用的，并给出一些例子。在 阅读全文

摘要： Perforce2012新特征=20个用户免费+云1）免费版本最多支持20个users和20个clients了。相比以前的2个users和4个clients确实可以在小的产品中使用了。2）现在是一个云的时代，perforce公司提供源代码云也不为奇怪，不过云的安全还是重中之重。现在很多的公司都在用amazon的虚拟机和存储了，估计离源代码外包管理也不远了。3）stream，对branch的更高的抽象。完！ 阅读全文

摘要： 转自：中国IT实验室Quota使用的方面很广，不过，一般的用途有以下这些：限制某一群组所能使用的最大磁盘配额（使用群组限制）：你可以将你的系统上的用户分门别类，有点像是目前很流行的付费与免付费会员制的情况，你比较喜好的那一群的使用配额就可以给高一些！呵呵！^_^限制某一用户的最大磁盘配额（使用用户限制）：在限制了群组之后，您也可以再继续针对个人来进行限制，使得同一群组之下还可以有更公平的分配！以Link的方式，来使邮件可以作为限制的配额（更改/var/spool/mail这个路径）：如果是分为付费与免付费会员的『邮件主机系统』，是否需要重新再规划一个硬盘呢？也不需要啦！直接使用Link的方式指 阅读全文

摘要： 1)一些常用的Vim配置，在~/.vimrc中syntax on 支持语法高亮set nu 显示行号set nonu 不显示行号set ai 设置自动缩进set shiftwidth=4 设置自动缩进 4 个空格, 当然要设自动缩进先.set sts=4 即设置 softtabstop 为 4. 输入 tab 后就跳了 4 格.set tabstop=4 实际的 tab 即为 4 个空格, 而不是缺省的 8 个.set expandtab 在输入 tab 后, vim 用恰当的空格来填充这个 tab.:set hls 打开搜索高亮:set nohls... 阅读全文

摘要： 在*unix系统中，常用的shell有sh，bash，csh/tcsh, ksh.sh来自于systemV的Unix，是传统的Unix的shell，直到现在很多的系统管理员仍然喜欢使用sh。bash来自于BSD Unix，语法非常类似于C语言，所以通常有C/C++编程背景的开发人员最喜欢使用。ksh是对sh的扩展，且吸收了csh的一些有用的功能，但是由于开始ksh的license是AT&T，所以后来出现了很多的ksh的开源版本，例如mksh，pdksh等。bash是现在很多Linux的发行版中默认的shell，综合了其他shell的很多优点。下面描述csh的一些基本的语法(在sh环境中 阅读全文

摘要： 使用wget可以将在线的网站下载到本地。如下实例下载在线的电子书http://web2py.com/books/default/chapter/29到本地目录C:\D\web2pybooken。1） wget下载网站set LOCAL-DIR=C:\D\web2pybookenset WEBSITE-URL=http://web2py.com/books/default/chapter/29wget --mirror --page-requisites --convert-links --no-host-directories --html-extension -P %LOCAL-DIR% % 阅读全文

摘要： rlogin ： 登陆远程的Linux系统，例如 rlogin -l userid hostname。rsh：在远程的Linux系统上执行命令。如果没有指定命令，则相当于rlogin登陆到远程的系统。ssh： 使用ssh加密协议来登陆远程Linux系统或在远程的系统上执行命令，可以代替rlogin和rsh。rcp 或 scp ： 用来实现Linux系统间文件的copy。完！ 阅读全文

摘要： 一 Gird EngineGird Engine 指的是SGE(Sun Gird Engine)，是一个开源免费的batch-queuing 系统用来对分布式资源的管理。典型地他将被应用于计算机farm和高性能计算cluster，用来接收，schedule，分发和管理远程和分布式的大量的独立，并行的非交互的jobs，他也可以管理和schedule分布式资源的分配，例如处理器，内存，硬盘和软件license。简单地说就是将任务打包为job分发到计算机集中执行。在Sun后来被Oracle收购后，从SGE延伸的开源产品为：http://gridscheduler.sourceforge.net/基于 阅读全文

摘要： 以下基本上是重装系统必须安装的软件：浏览器： chrome (自带developer tool好用） 如果用firefox需要安装firebug（自带的developertool不好用）翻译： 有道词典输入法：搜狗输入法 （qq输入法也可以）文本编辑：Notepad++ （sublime也不错，不过不免费，而且还很贵）截图且自动加水印：SPX Bundle思维导图：xmindUML画图： starUML虚拟系统： virtualbox文件锁检测：unlocker压缩解压：7zip +IZArc系统explorer增强 ：StExBar脚本语言：python+perl虚拟光驱：deamon li 阅读全文

摘要： 参考：http://wiki.python.org/moin/ParallelProcessinghttp://wiki.python.org/moin/DistributedProgramming分布式：http://www.celeryproject.org/http://www.parallelpython.com/http://code.google.com/p/distributed-python-for-scripting/http://code.google.com/p/superpy/http://code.google.com/appengine/cloud：http://w 阅读全文

摘要： 一 picklepickle模块用来实现python对象的序列化和反序列化。通常地pickle将python对象序列化为二进制流或文件。python对象与文件之间的序列化和反序列化：pickle.dump()pickle.load()如果要实现python对象和字符串间的序列化和反序列化，则使用：pickle.dumps()pickle.loads()可以被序列化的类型有：* None,True 和 False;* 整数，浮点数，复数;* 字符串，字节流，字节数组;* 包含可pickle对象的tuples，lists，sets和dictionaries；* 定义在module顶层的函数：* 定 阅读全文

摘要： 一 poolmultiprocessing.pool也就是传说中的进程池，pool的构造如下multiprocessing.Pool([processes[, initializer[, initargs[, maxtasksperchild]]]]) 中，processes表示pool中进程的数目，默认地为当前CPU的核数。initializer表示新进程的初始化函数。initargs表示新进程的初始化函数的参数。maxtasksperchild表示每个进程执行task的最大数目。apply()用来为pool中的进程赋予task。map()用来循环地为pool中的进程赋予tasks。clos 阅读全文

摘要： Python中进程间共享数据，处理基本的queue，pipe和value+array外，还提供了更高层次的封装。使用multiprocessing.Manager可以简单地使用这些高级接口。Manager()返回的manager对象控制了一个server进程，此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全。Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array。1） Manager的dic 阅读全文

摘要： 同步的方法基本与多线程相同。1) Lock当多个进程需要访问共享资源的时候，Lock可以用来避免访问的冲突。importmultiprocessingimportsysdefworker_with(lock,f):withlock:fs=open(f,"a+")fs.write('Lockacquiredviawith\n')fs.close()defworker_no_with(lock,f):lock.acquire()try:fs=open(f,"a+")fs.write('Lockacquireddirectly\n 阅读全文

摘要： 多进程通信queue和pipe的区别： pipe用来在两个进程间通信。queue用来在多个进程间实现通信。 此两种方法为所有系统多进程通信的基本方法，几乎所有的语言都支持此两种方法。1）Queue & JoinableQueuequeue用来在进程间传递消息，任何可以pickle-able的对象都可以在加入到queue。multiprocessing.JoinableQueue 是 Queue的子类，增加了task_done()和join()方法。task_done()用来告诉queue一个task完成。一般地在调用get()获得一个task，在task结束后调用task_done() 阅读全文

摘要： 由于CPython实现中的GIL的限制，python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况我们需要使用多进程。 这也许就是python中多进程类库如此简洁好用的原因所在。在python中可以向多线程一样简单地使用多进程。一 多进程process的成员变量和方法：>>class multiprocessing.Process([group[, target[, name[, args[, kwargs]]]]]) 来的定义类似于threading.Thread。target表示此进程运行的函数，args和kwargs表示tar 阅读全文

摘要： 转自：http://blog.csdn.net/lanphaday/article/details/6601123但是有些如果与python自带的类库有冲突的做了适当的修改。1 编码>>所有的 Python 脚本文件都应在文件头标上如下标识或其兼容格式的标识：# -*- coding:utf-8 -*- >>设置编辑器，默认新建或保存为utf-8格式。2 注释>>业界普遍认同 Python 的注释分为两种的概念，一种是由 # 开头的“真正的”注释，另一种是 docstrings。前者表明为何选择当前实现以及这种实现的原理和难点，后者表明如何使用这个包、模块、 阅读全文

摘要： 多线程基础：python类库32[多线程同步]一 多线程同步由于CPython的python解释器在单线程模式下执行，所以导致python的多线程在很多的时候并不能很好地发挥多核cpu的资源。大部分情况都推荐使用多进程。python的多线程的同步与其他语言基本相同，主要包含：Lock & RLock ：用来确保多线程多共享资源的访问。Semaphore ： 用来确保一定资源多线程访问时的上限，例如资源池。Event : 是最简单的线程间通信的方式，一个线程可以发送信号，其他的线程接收到信号后执行操作。 二 实例1）Lock & RLockLock对象的状态可以为locked和u 阅读全文

摘要： 一 python 多线程因为CPython的实现使用了Global Interpereter Lock(GIL)，使得python中同一时刻只有一个线程在执行，从而简化了python解释器的实现，且python对象模型天然地线程安全。如果你想你的应用程序在多核的机器上使用更好的资源，建议使用multiprocessing或concurrent.futures.processpoolexecutor。但是如果你的程序是IO密集型，则使用线程仍然是很好的选择。二 python 多线程使用的两种方法实例：importthreadingimporttimedefworker(num):print(th 阅读全文

摘要： 一 闭包来自wiki：闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。在一些语言中，在函数中定义另一个函数时，如果内部的函数引用了外部的函数的变量，则可能产生闭包。运行时，一旦外部的 函数被执行，一个闭包就形成了，闭包中包含了内部函数的代码，以及所需外部函数中的变量的引用。闭包的用途：因为闭包只有在被调用时才执行操作，所以它可以被用来定义控制结构。多个函数可以使用一个相同的环境，这使得它们可以通过改 阅读全文

摘要： 一 装饰器decoratordecorator设计模式允许动态地对现有的对象或函数包装以至于修改现有的职责和行为，简单地讲用来动态地扩展现有的功能。其实也就是其他语言中的AOP的概念，将对象或函数的真正功能也其他辅助的功能的分离。二Python中的decoratorpython中的decorator通常为输入一个函数，经过装饰后返回另一个函数。 比较常用的功能一般使用decorator来实现，例如python自带的staticmethod和classmethod。装饰器有两种形式：@Adeffoo():pass相当于：deffoo():passfoo=A(foo)第二种为带参数的：@A(arg 阅读全文

摘要： 通常地我们要在不同平台间共享文件，samba，ftp，cifs，ntfs的设置都是有点复杂的， 我们可以使用python提供的httpserver来提供基于http方式跨平台的文件共享。一 命令行启动简单的httpserver进入到web或要共享文件的根目录，然后执行(貌似在python32中此module不存在了)：python -m SimpleHTTPServer 8000然后你就可以使用http://你的IP地址:8000/来访问web页面或共享文件了。二 代码启动httpserversimplehttpservertest.pyimportsysimportlocaleimporth 阅读全文

摘要： python引用变量的顺序： 当前作用域局部变量->外层作用域变量->当前模块中的全局变量->python内置变量一 globalglobal关键字用来在函数或其他局部作用域中使用全局变量。但是如果不修改全局变量也可以不使用global关键字。gcount=0defglobal_test():print(gcount)defglobal_counter():globalgcountgcount+=1returngcountdefglobal_counter_test():print(global_counter())print(global_counter())print(g 阅读全文

摘要： 1) os.system()此方法启动新的进程来执行指定的外部命令，但是不能返回外部命令的输出，外部命令任然输出到标准输出。此函数的返回值与所运行的系统有关，在windows系统返回外部命令的返回值，在Linux系统中，返回值与函数wait()类似，进程kill的信号和返回值组成的16位值。例如：在windows上执行：os.system("tasklist")在Linux上执行：os.system("ps -aux")2) os.fork() + os.exec*()启动新的进程，然后在新进程环境中执行外部程序。os.fork()方法只在Linux环境 阅读全文

摘要： 原文：http://wiki.python.org/moin/HowTo/SortingPython list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。1）排序基础简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list，新的list的元素基于小于运算符(__lt__)来排序。>>>sorted([5,2,3,1,4])[1,2,3,4,5]你也可以使用list.sort()方法来排序，此时list本身将被修改。通常此方法不如sorted()方便，但是如果你不需要保留原来的lis 阅读全文

摘要： Standard Generalized Markup Language (SGML)即标准通用标记语言Hypertext Markup Language (HTML)超文本标识语言Extensible Markup Language (XML)可扩展标识语言SGML，HTML，XML都可以使用以下的SAX和DOM方式来解析：SGML是现时常用的超文本格式的最高层次标准，是可以定义标记语言的元语言，甚至可以定义不必采用< >的常规方式。HTML和XML都是衍生于SGML，HTML是SGML的一个应用，不能用来定义其他的标记语言。XML可以被认为是SGML的一个子集，XML的产生就是 阅读全文

摘要： SAX是一种基于事件驱动的API。利用SAX解析XML文档牵涉到两个部分:解析器和事件处理器。解析器负责读取XML文档,并向事件处理器发送事件,如元素开始跟元素结束事件;而事件处理器则负责对事件作出相应,对传递的XML数据进行处理。实例：importsys,stringfromxml.saximporthandler,make_parserclassTestHandler(handler.ContentHandler):def__init__(self):passdefstartDocument(self):print"DocumentStart..."defendDocu 阅读全文

摘要： 一 batch 与 shell中目录及文件：C:\TESTFOLDER\TEST├─Test2└─Test3 test.txt删除目录及其下的所有文件：rmdir /S /Q c:\TestFolder\test删除所有目录下的文件，但是目录结构不能被删除：del /F /S /Q c:\TestFolder\test\*Linux类似的命令为：rm /rf /home/aaa/test二 python中：注意如果有错误会有异常抛出，需要处理异常。1）删除文件且不支持通配符： os.remove()2) 删除空的目录： os.rmdir()3) 删除空的目录及子目录： os.remove... 阅读全文