03 2014 档案
摘要：1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
阅读全文
摘要：1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
阅读全文
摘要：实例演示： （1）查询表users中的数据。 select u.id,u.realname,U.SEX from users u; 查询结果如下 ID REALNAME SEX 1 10082 松XX 2 10084 林XX 1 3 10087 西XX 4 10100 胡XX 5 ...
阅读全文
摘要：实例演示： （1）查询表users中的数据。 select u.id,u.realname,U.SEX from users u; 查询结果如下 ID REALNAME SEX 1 10082 松XX 2 10084 林XX 1 3 10087 西XX 4 10100 胡XX 5 ...
阅读全文
摘要：实例演示： （1）查询表users中的数据。 select u.id,u.realname,U.SEX from users u; 查询结果如下 ID REALNAME SEX 1 10082 松XX 2 10084 林XX 1 3 10087 西XX 4 10100 胡XX 5 ...
阅读全文
摘要：正则表达式只是一种表示法,只要工具支持这种表示法， 那么该工具就可以处理正则表达式的字符串。vim、grep、awk 、sed 都支持正则表达式，也正是因为由于它们支持正则，才显得它们强大；在以前上班的公司里，由于公司是基于web的服务型网站(nginx)，对正则的需求比 较大，所以也花了点时间研究...
阅读全文
摘要：正则表达式只是一种表示法,只要工具支持这种表示法， 那么该工具就可以处理正则表达式的字符串。vim、grep、awk 、sed 都支持正则表达式，也正是因为由于它们支持正则，才显得它们强大；在以前上班的公司里，由于公司是基于web的服务型网站(nginx)，对正则的需求比 较大，所以也花了点时间研究...
阅读全文
摘要：正则表达式只是一种表示法,只要工具支持这种表示法， 那么该工具就可以处理正则表达式的字符串。vim、grep、awk 、sed 都支持正则表达式，也正是因为由于它们支持正则，才显得它们强大；在以前上班的公司里，由于公司是基于web的服务型网站(nginx)，对正则的需求比 较大，所以也花了点时间研究...
阅读全文
摘要：linux split 命令 功能说明：切割文件。 语 法：split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名] 补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。 参 数： -或-l 指定每...
阅读全文
摘要：linux split 命令 功能说明：切割文件。 语 法：split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名] 补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。 参 数： -或-l 指定每...
阅读全文
摘要：1重定向1.1 重定向符号> 输出重定向到一个文件或设备 覆盖原来的文件>! 输出重定向到一个文件或设备 强制覆盖原来的文件>> 输出重定向到一个文件或设备 追加原来的文件 将一个标准错误输出重定向到一个文件或设备 覆盖原来的文件 b-shell2>> 将一个标准错误输出重定向到一个文件或设备 追加...
阅读全文
摘要：1重定向1.1 重定向符号> 输出重定向到一个文件或设备 覆盖原来的文件>! 输出重定向到一个文件或设备 强制覆盖原来的文件>> 输出重定向到一个文件或设备 追加原来的文件 将一个标准错误输出重定向到一个文件或设备 覆盖原来的文件 b-shell2>> 将一个标准错误输出重定向到一个文件或设备 追加...
阅读全文
摘要：长期生活在 Linux 环境里，渐渐地就有一种环保意识油然而生。比如，我们会在登录提示里写上“悟空，我跟你说过叫你不要乱扔东西，乱扔东西是不对的。哎呀我话没说完你怎么把 棍子扔掉了？月光宝盒是宝物，乱扔它会污染环境，要是砸到小朋友怎么办？就算砸不到小朋友，砸到了花花草草也不好嘛...”；在用户缺省目...
阅读全文
摘要：长期生活在 Linux 环境里，渐渐地就有一种环保意识油然而生。比如，我们会在登录提示里写上“悟空，我跟你说过叫你不要乱扔东西，乱扔东西是不对的。哎呀我话没说完你怎么把 棍子扔掉了？月光宝盒是宝物，乱扔它会污染环境，要是砸到小朋友怎么办？就算砸不到小朋友，砸到了花花草草也不好嘛...”；在用户缺省目...
阅读全文
摘要：假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,终止这个程序,然后可以看到系统提示: [1]+ Stopped /root/bin/rsync.sh 然后我们可以把程序调度到后台执行:(bg 后面的数字为作业号) #bg 1 [1]+ /root/bi...
阅读全文
摘要：假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,终止这个程序,然后可以看到系统提示: [1]+ Stopped /root/bin/rsync.sh 然后我们可以把程序调度到后台执行:(bg 后面的数字为作业号) #bg 1 [1]+ /root/bi...
阅读全文
摘要：今天遇到一个问题： 一个python脚本命令行运行时很正常，放到crontab中就无法工作，日志也没有记录，找了半天，终于发现问题所在。在脚本最上方，程序如下：#!/usr/local/bin python# coding=utf8import cx_Oracleimport sysimport t...
阅读全文
摘要：今天遇到一个问题： 一个python脚本命令行运行时很正常，放到crontab中就无法工作，日志也没有记录，找了半天，终于发现问题所在。在脚本最上方，程序如下：#!/usr/local/bin python# coding=utf8import cx_Oracleimport sysimport t...
阅读全文
摘要：用__file__ 来获得脚本所在的路径是比较方便的，但这可能得到的是一个相对路径，比如在脚本test.py中写入：#!/usr/bin/env pythonprint __file__按相对路径./test.py来执行，则打印得到的是相对路径，按绝对路径执行则得到的是绝对路径。而按用户目录来执行（...
阅读全文
摘要：用__file__ 来获得脚本所在的路径是比较方便的，但这可能得到的是一个相对路径，比如在脚本test.py中写入：#!/usr/bin/env pythonprint __file__按相对路径./test.py来执行，则打印得到的是相对路径，按绝对路径执行则得到的是绝对路径。而按用户目录来执行（...
阅读全文
摘要：用__file__ 来获得脚本所在的路径是比较方便的，但这可能得到的是一个相对路径，比如在脚本test.py中写入：#!/usr/bin/env pythonprint __file__按相对路径./test.py来执行，则打印得到的是相对路径，按绝对路径执行则得到的是绝对路径。而按用户目录来执行（...
阅读全文
摘要：urlparse模块主要是把url拆分为6部分，并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。urlparse.urlparse(urlstring[, scheme[, allow_fragments...
阅读全文
摘要：python提供了一个进行hash加密的模块：hashlib下面主要记录下其中的md5加密方式>>> import hashlib >>> m = hashlib.md5() >>> m.update("Nobody inspects") >>> m.update(" the spammish...
阅读全文
摘要：Rsync的命令格式可以为以下六种： rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... ...
阅读全文
摘要：Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc[选项]文件...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读...
阅读全文
摘要：>>> importos>>>os.path.exists('d:/assist')True>>>os.path.exists('d:/assist/getTeacherList.py')True>>>os.path.isfile('d:/assist')False>>>os.path.isfile...
阅读全文
摘要：在做网络程序时,可以对字符串进行压缩来节省带宽 项目中用到{"compress": , "result":[[设备类型.设备ID, 设备名称, 单位ID, 设备功能], ...]}只做了简单的压缩解压缩,也没crc32(循环冗余校验)01# -*- coding: utf-8 -*-0203"""和...
阅读全文
摘要：Thread对象中的一些方法：以前说过多线程，用到threading模块中的Thread对象，其中的start和run方法比较熟悉了，start（）是重载了Thread对象中的run方法，其实作用还是，当执行这个start方法的时候，将运行run方法。今天看看其他几个重要的方法：1join方法，如果...
阅读全文
摘要：ftplib是 Python的内置的一个标准模块，它提供了极强大的对FTP服务器的操作，通过它我们可以连接并操作FTP服务端，开始练习：一、导入模块并进行连接>>> from ftplib import FTP >>> ftp = FTP(‘ftp.yabogo.com’) >>> ftp.logi...
阅读全文
摘要：ftplib是 Python的内置的一个标准模块，它提供了极强大的对FTP服务器的操作，通过它我们可以连接并操作FTP服务端，开始练习：一、导入模块并进行连接>>> from ftplib import FTP >>> ftp = FTP(‘ftp.yabogo.com’) >>> ftp.logi...
阅读全文
摘要：IE Mozilla/4.0 (compatible; MSIE 8.0; Windows NT6.0) Mozilla/4.0 (compatible; MSIE 7.0; Windows NT5.2) Mozilla/4.0 (compatible; MSIE 6.0; Windows NT5....
阅读全文
摘要：s为字符串s.isalnum() 所有字符都是数字或者字母s.isalpha() 所有字符都是字母s.isdigit() 所有字符都是数字s.islower() 所有字符都是小写s.isupper() 所有字符都是大写s.istitle() 所有单词都是首字母大写，像标题s.isspace() 所有...
阅读全文
摘要：s为字符串s.isalnum() 所有字符都是数字或者字母s.isalpha() 所有字符都是字母s.isdigit() 所有字符都是数字s.islower() 所有字符都是小写s.isupper() 所有字符都是大写s.istitle() 所有单词都是首字母大写，像标题s.isspace() 所有...
阅读全文
摘要：一、访问日志的格式 Apache内建了记录服务器活动的功能，这就是它的日志功能。下文详细介绍Apache的访问日志、错误日志、以及如何分析日志数据，如何定制Apache日志，如何从日志数据生成统计报表等内容。 如果Apache的安装方式是默认安装，服务器一运行就会有两个日志文件生成。这两个文件是ac...
阅读全文
摘要：一、访问日志的格式 Apache内建了记录服务器活动的功能，这就是它的日志功能。下文详细介绍Apache的访问日志、错误日志、以及如何分析日志数据，如何定制Apache日志，如何从日志数据生成统计报表等内容。 如果Apache的安装方式是默认安装，服务器一运行就会有两个日志文件生成。这两个文件是ac...
阅读全文
摘要：一、访问日志的格式 Apache内建了记录服务器活动的功能，这就是它的日志功能。下文详细介绍Apache的访问日志、错误日志、以及如何分析日志数据，如何定制Apache日志，如何从日志数据生成统计报表等内容。 如果Apache的安装方式是默认安装，服务器一运行就会有两个日志文件生成。这两个文件是ac...
阅读全文
摘要：wc -l a.txt统计a.txt 行数查看文件a.txt的第190行到196行，sed-n'190,196p'a.txt 如果查看某一行用sed-n'190,1p'a.txtsed -n 'a,bp' a.txt 读取自第a行到第b行的数据
阅读全文
摘要：wc -l a.txt统计a.txt 行数查看文件a.txt的第190行到196行，sed-n'190,196p'a.txt 如果查看某一行用sed-n'190,1p'a.txtsed -n 'a,bp' a.txt 读取自第a行到第b行的数据
阅读全文
摘要：一. 使用 su 命令临时切换用户身份1、su 的适用条件和威力 su命令就是切换用户的工具，怎么理解呢？比如我们以普通用户beinan登录的，但要添加用户任务，执行useradd ，beinan用户没有这个权限，而这个权限恰恰由root所拥有。解决办法无法有两个，一是退出beinan用户，重新以...
阅读全文
摘要：一. 使用 su 命令临时切换用户身份1、su 的适用条件和威力 su命令就是切换用户的工具，怎么理解呢？比如我们以普通用户beinan登录的，但要添加用户任务，执行useradd ，beinan用户没有这个权限，而这个权限恰恰由root所拥有。解决办法无法有两个，一是退出beinan用户，重新以...
阅读全文
摘要：对于使用SecureCRT的玩家,rzsz是一个灰常灰常实用的功能。但是定制安装的linux可能没有把rzsz包安装到系统，这对用securecrt这样的windows工具传输文件特别不方便。为了使用这个方便的法门，可以尝试安装。yum自动安装(强烈推荐)yum -y install lrzsz手动...
阅读全文
摘要：对于使用SecureCRT的玩家,rzsz是一个灰常灰常实用的功能。但是定制安装的linux可能没有把rzsz包安装到系统，这对用securecrt这样的windows工具传输文件特别不方便。为了使用这个方便的法门，可以尝试安装。yum自动安装(强烈推荐)yum -y install lrzsz手动...
阅读全文
摘要：对于使用SecureCRT的玩家,rzsz是一个灰常灰常实用的功能。但是定制安装的linux可能没有把rzsz包安装到系统，这对用securecrt这样的windows工具传输文件特别不方便。为了使用这个方便的法门，可以尝试安装。yum自动安装(强烈推荐)yum -y install lrzsz手动...
阅读全文
摘要：VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。要想在网络管理和维护中合理应用它们，你就应该先了解一下这三种工作模式。 1.bridged(桥接模式) 在这种模式下，VMWare虚拟出来的操作系统就像是局域网中的一台独...
阅读全文
摘要：======修改CentOS系统的默认启动级别======现在的Linux系统安装完后就运行在第5个级别，即系统启动后直接进入图形界面，而不用在字符模式下登录后用startx或者xinit来起动图形界面，这样的确很方便，不过有时还是要以字符界面启动，该怎么操作呢？其实只要修改centos的启动级别就...
阅读全文
摘要：======修改CentOS系统的默认启动级别======现在的Linux系统安装完后就运行在第5个级别，即系统启动后直接进入图形界面，而不用在字符模式下登录后用startx或者xinit来起动图形界面，这样的确很方便，不过有时还是要以字符界面启动，该怎么操作呢？其实只要修改centos的启动级别就...
阅读全文
摘要：======修改CentOS系统的默认启动级别======现在的Linux系统安装完后就运行在第5个级别，即系统启动后直接进入图形界面，而不用在字符模式下登录后用startx或者xinit来起动图形界面，这样的确很方便，不过有时还是要以字符界面启动，该怎么操作呢？其实只要修改centos的启动级别就...
阅读全文
摘要：open/文件操作f=open('/tmp/hello','w')#open(路径+文件名,读写模式)#读写模式:r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件.常用模式如:'rb','wb','r+b'等等读写模式的类型有：rU 或 Ua 以读方式打开, 同时提供通用换行符支持 ...
阅读全文
摘要：open/文件操作f=open('/tmp/hello','w')#open(路径+文件名,读写模式)#读写模式:r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件.常用模式如:'rb','wb','r+b'等等读写模式的类型有：rU 或 Ua 以读方式打开, 同时提供通用换行符支持 ...
阅读全文
摘要：open/文件操作f=open('/tmp/hello','w')#open(路径+文件名,读写模式)#读写模式:r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件.常用模式如:'rb','wb','r+b'等等读写模式的类型有：rU 或 Ua 以读方式打开, 同时提供通用换行符支持 ...
阅读全文
摘要：一、ConfigParser简介ConfigParser 是用来读取配置文件的包。配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。[db]db_host = 127.0.0.1db_port = 22db_user = roo...
阅读全文
摘要：一、ConfigParser简介ConfigParser 是用来读取配置文件的包。配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。[db]db_host = 127.0.0.1db_port = 22db_user = roo...
阅读全文
摘要：一、ConfigParser简介ConfigParser 是用来读取配置文件的包。配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。[db]db_host = 127.0.0.1db_port = 22db_user = roo...
阅读全文
摘要：在平常的代码中，我们常常需要与时间打交道。在Python中，与时间处理有关的模块就包括：time，datetime以及calendar。这篇文章，主要讲解time模块。在开始之前，首先要说明这几点：在Python中，通常有这几种方式来表示时间：1）时间戳 2）格式化的时间字符串 3）元组（struc...
阅读全文
摘要：在平常的代码中，我们常常需要与时间打交道。在Python中，与时间处理有关的模块就包括：time，datetime以及calendar。这篇文章，主要讲解time模块。在开始之前，首先要说明这几点：在Python中，通常有这几种方式来表示时间：1）时间戳 2）格式化的时间字符串 3）元组（struc...
阅读全文
摘要：在平常的代码中，我们常常需要与时间打交道。在Python中，与时间处理有关的模块就包括：time，datetime以及calendar。这篇文章，主要讲解time模块。在开始之前，首先要说明这几点：在Python中，通常有这几种方式来表示时间：1）时间戳 2）格式化的时间字符串 3）元组（struc...
阅读全文
摘要：下面是几个比较大的在线提交系统（Online Judge）里面有大量历年的竞赛题目，注册一个ID，然后用自己熟悉的语言（一般有Pascal/C/C++/Java）写好源代码提交即可，会实时返 回信息告诉你是否正确。采用黑箱测试，系统里有一套标准的输入输出数据（对外保密，而且通常数据很多很怪），你的程...
阅读全文
摘要：下面是几个比较大的在线提交系统（Online Judge）里面有大量历年的竞赛题目，注册一个ID，然后用自己熟悉的语言（一般有Pascal/C/C++/Java）写好源代码提交即可，会实时返 回信息告诉你是否正确。采用黑箱测试，系统里有一套标准的输入输出数据（对外保密，而且通常数据很多很怪），你的程...
阅读全文
摘要：下面是几个比较大的在线提交系统（Online Judge）里面有大量历年的竞赛题目，注册一个ID，然后用自己熟悉的语言（一般有Pascal/C/C++/Java）写好源代码提交即可，会实时返 回信息告诉你是否正确。采用黑箱测试，系统里有一套标准的输入输出数据（对外保密，而且通常数据很多很怪），你的程...
阅读全文
摘要：很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习...
阅读全文
摘要：最新版Edraw Mind Map可以创建基本的思维导图、气泡图和基本流程图，提供了强大的设计功能，包括丰富设计素材、全面的页面布局定义、预置的符号库与绘图工具等。创建的图形，可以导出为常用图像格式、PDF文件、OLE对象的Office文件、HTML及SVG格式。用来画画思维导图和流程图足够了，推...
阅读全文
摘要：最新版Edraw Mind Map可以创建基本的思维导图、气泡图和基本流程图，提供了强大的设计功能，包括丰富设计素材、全面的页面布局定义、预置的符号库与绘图工具等。创建的图形，可以导出为常用图像格式、PDF文件、OLE对象的Office文件、HTML及SVG格式。用来画画思维导图和流程图足够了，推...
阅读全文
摘要：最新版Edraw Mind Map可以创建基本的思维导图、气泡图和基本流程图，提供了强大的设计功能，包括丰富设计素材、全面的页面布局定义、预置的符号库与绘图工具等。创建的图形，可以导出为常用图像格式、PDF文件、OLE对象的Office文件、HTML及SVG格式。用来画画思维导图和流程图足够了，推...
阅读全文
摘要：出现mysql#2003错误有一下几种原因一、mysql数据库没有启动这种情况也正是我遇到的，到windows服务选项里查看发现没有mysql数据库服务这个选项，记得刚开始安装mysql的时候是有的。所以这种情况下我重新安装了一下mysql数据库，windows服务里又有这个选项了，重新启动mysq...
阅读全文
摘要：很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习...
阅读全文
摘要：很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习...
阅读全文
摘要：很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习...
阅读全文
摘要：上篇讲如何用LoadRunner监控Linux的性能指标 ，但是关于CPU的几个指标没有搞清楚，下面就详细说说。CPU Utilization 好理解，就是CPU的利用率，75%以上就比较高了（也有说法是80%或者更高）。除了这个指标外，还要结合Load Average和Context Switch...
阅读全文
摘要：上篇讲如何用LoadRunner监控Linux的性能指标 ，但是关于CPU的几个指标没有搞清楚，下面就详细说说。CPU Utilization 好理解，就是CPU的利用率，75%以上就比较高了（也有说法是80%或者更高）。除了这个指标外，还要结合Load Average和Context Switch...
阅读全文
摘要：上篇讲如何用LoadRunner监控Linux的性能指标 ，但是关于CPU的几个指标没有搞清楚，下面就详细说说。CPU Utilization 好理解，就是CPU的利用率，75%以上就比较高了（也有说法是80%或者更高）。除了这个指标外，还要结合Load Average和Context Switch...
阅读全文
摘要：SIP的第四期结束了，因为控制策略的丰富，早先的的压力测试结果已经无法反映在高并发和高压力下SIP的运行状况，因此需要重新作压力测试。跟在测试人员后面做了快一周的压力测试，压力测试的报告也正式出炉，本来也就算是告一段落，但第二天测试人员说要修改报告，由于这次作压力测试的同学是第一次作，有一个指标没有...
阅读全文
摘要：SIP的第四期结束了，因为控制策略的丰富，早先的的压力测试结果已经无法反映在高并发和高压力下SIP的运行状况，因此需要重新作压力测试。跟在测试人员后面做了快一周的压力测试，压力测试的报告也正式出炉，本来也就算是告一段落，但第二天测试人员说要修改报告，由于这次作压力测试的同学是第一次作，有一个指标没有...
阅读全文
摘要：SIP的第四期结束了，因为控制策略的丰富，早先的的压力测试结果已经无法反映在高并发和高压力下SIP的运行状况，因此需要重新作压力测试。跟在测试人员后面做了快一周的压力测试，压力测试的报告也正式出炉，本来也就算是告一段落，但第二天测试人员说要修改报告，由于这次作压力测试的同学是第一次作，有一个指标没有...
阅读全文
