随笔 - 404
文章 - 0
评论 - 1037
阅读 -
136万
02 2012 档案
hadoop分布式文件系统中的shell命令（转自官方文档）
摘要：HDFS File System Shell GuideOverviewcatchgrpchmodchowncopyFromLocalcopyToLocalcountcpdudusexpungegetgetmergelslsrmkdirmoveFromLocalmoveToLocalmvputrmrmrsetrepstattailtesttexttouchzOverviewThe FileSystem (FS) shell is invoked bybin/hadoop fs <args>. All FS shell commands take path URIs as argum
阅读全文
聚类算法效果评估2，计算Precison,Recall,Fvalue,RI
摘要：#!/usr/bin/pythonimportsys;importre;defgetPrecision(TP,TN,FP,FN):result=0.0;result=TP/(TP+FP);returnresult;defgetRecall(TP,TN,FP,FN):result=0.0;result=TP/(TP+FN);returnresult;defgetFvalue(TP,TN,FP,FN):result=0.0;p=getPrecision(TP,TN,FP,FN);r=getRecall(TP,TN,FP,FN);result=2*p*r/(p+r);returnresult;def
阅读全文
聚类算法效果评估entropy purity nmi
摘要：1.数据管理脚本:原始文件格式id\tclusterId\tgoldstandardIdDataManagement.py#!/usr/bin/pythonimportcPickleasp;importsys;importre;if(__name__=="__main__"):filename=str(sys.argv[1]);preturn=re.compile('(^\s+|\s+$)');fidsrc=file(filename,'r');clusters={};#(key,[])goldstandards={};#(key,[])fo
阅读全文
python 集合操作
摘要：b = set([0, 1, 3, 4, 5]) c = set([3, 4, 5, 6, 7]) print b & c #求交集 print b | c #求联集 print b - c #只留下 b 独有的
阅读全文
python time 和datetime类型转换，字符串型变量转成日期型变量
摘要：s1='20120125';6s2='20120216';7a=time.strptime(s1,'%Y%m%d');8b=time.strptime(s2,'%Y%m%d');9a_datetime=datetime.datetime(*a[:3]);10b_datetime=datetime.datetime(*b[:3]);11printb_datetime-a_datetime;http://blog.csdn.net/nankaihunter/article/details/5003327为了从字符串中提取时间，并进行比
阅读全文
python 正则表达式
摘要：http://wiki.ubuntu.org.cn/Python%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%93%8D%E4%BD%9C%E6%8C%87%E5%8D%97
阅读全文
linux下python 模块调用
摘要：test.py的路径在DatesManagement上一层。
阅读全文
Python获得某一天是星期几
摘要：import re; 5 import time; 6 import datetime; 7 if(__name__=="__main__"): 8 #today=int(time.strftime("%w")); 9 10 anyday=datetime.datetime(2012,2,15).strftime("%w");11 print anyday
阅读全文
linux 将文件内容赋值给shell脚本中的变量
摘要：#!/bin/sh 2 maildir=baikewaringmail 3 lastVersion=xxxxxxxxxxxxxx/lastVersion/datestr.txt 4 mydatestr=`sed -n '1p' $lastVersion` 5 echo "the datestr is $mydatestr"
阅读全文
python 正则表达式匹配中文
摘要：#!/usr/bin/python#-*-coding:cp936-*-#思路，将str转换成unicode，方可用正则表达式，前提是，要知道文件的编码，本例中是gbkimportcPickleasmypickleimportreimportsysif(__name__=='__main__'):fid1=file('above50purenames.txt','r');p=re.compile('(^\s+|\s+$)');phanzigbk=re.compile('[\\x20-\\x7f]');phanzi=
阅读全文
转载：linux的文件属性和权限学习——分析ls命令结果
摘要：http://blog.csdn.net/sfrysh/article/details/6538391最近阅读《鸟哥的linux私房菜》，确实是一本好书，使自己在文件属性和权限方面有了较深的理解，总结如下。（注：本篇博文的图片来自于《鸟哥的linux私房菜》一书）一、提纲本篇博文主要包含以下几个部分：1. 用户和用户组的概念；2. 文件属性；3. 目录与一般文件的区别；4. ls命令的使用详解；二、用户和用户组 linux的系统是“多用户、多任务环境”的，也就是说“linux系统允许多个用户同时使用系统，并且可以同时执行不同的任务”。所以为了确保各个用户的文件安全， linux系统具有非常严格
阅读全文
