摘要:在做分布式系统应用的时候经常在测试环境上传一个包,或者干嘛的,公司的服务器比较bug,只给ldap权限,每次只能scp到自己的个人目录下,然后才能进到公共账号下去cp,比较麻烦。这时候如果你需要一个简单的Web Server,但你又不想去下载并安装那些复杂的HTTP服务程序,比如:Apache,...
阅读全文
随笔分类 - python
摘要:字符串方法是从python1.6到2.0慢慢加进来的——它们也被加到了Jython中。这些方法实现了string模块的大部分方法,如下表所示列出了目前字符串内建支持的方法,所有的方法都包含了对Unicode的支持,有一些甚至是专门用于Unicode的。方法描述string.capitalize()把字符串的第一个字符大写string.center(width)返回一个原字符串居中,并使用空格填充至长度 width 的新字符串string.count(str, beg=0, end=len(string))返回 str 在 string 里面出现的次数,如果 beg 或者 end 指定则返回..
阅读全文
摘要:运行Pydoop程序 Pydoop程序和其他的hadoop pipes应用程序一样,都需要一个工作的Hadoop集群,如果没有的话,你可以参考安装一个单机模式的Hadoop集群,将Hadoop集群配置成一个伪分布式模式,然后开启必须的守护进程。 pipes 命令行模式如下所示:${HADOOP_HOME}/bin/hadoop pipes -conf conf.xml -input input -output output inputpath 和 output 分别是Hadoop的上你的应用程序需要访问的输入数据路径和结果输出路径。从本地读入程序的配置文件,配置文件是一个如下所示的由键值对组.
阅读全文
摘要:1、安装scipy、numpy、pyfitssudo apt-get install python-scipysudo apt-get install python-numpysudo apt-get install python-pyfits测试安装是否成功:使用python命令进入命令行,然后分别输入:import scipy、import numpy、import pyfits是否有错,没有则正确2、安装pydoop前提:系统安装boost,检测,写一个c程序包含regex.hpp编译通过则安装完成,#include <boost/regex.hpp>安装boost:sudo
阅读全文
摘要:1. 背景Hadoop支持Java以及C/C++开发,其中Hadoop Pipes(C++)支持MapReduce,而Hadoop libhdfs(C)支持HDFS的访问。但Python的解决方案仅能支持Hadoop部分功能,具体如下。Hadoop Streaming:1. Awkward编程风格;2.仅能编写Mapper和Reducer脚本,不能编写RecordReader/Writer,Partitioner脚本;3. 不能访问HDFS;4. 仅能处理文本数据流;Jython:1.支持不完整的标准库;2.大多数第三方包仅兼容CPython;3.不能使用C/C++扩展;Hadoop-base
阅读全文
摘要:python基础1、语句和语法 python语句中有一些基本规则和特殊字符: 井号(#)表示之后的字符为python注释换行(\n)是标准的行分隔符(通常一个语句一行) 反斜线(\)继续上一行 分号(;)将两个语句连接在一行 冒号(:)将代码块的头和体分开 语句(代码块)用缩进块的方式体现 不同的缩进深度分隔不同的代码块 python文件以模块的形式组织2、变量赋值 赋值运算符,在python语言中,等号(=)是主要的赋值运算符。如: anInt = 12 aString = 'cat' aFloat = 2.14 anotherString = 'shop'
阅读全文
摘要:14、列表解析 你可以在一行中使用一个for循环将所有值放到一个列表当中: 列表解析甚至可以做更复杂的事情,比如挑选出符合要求的值放入列表: 15、文件和内建函数open()、file() 文件访问是一门语言必备的功能,下面学习一下文件的操作。 如何打开文件 handle = open(filename, access_mode = 'r') filename变量包含我们希望打开文件的字符串名字,access_mode中的'r'表示读取,'w'表示写入,'a'表示添加。其它可能用到的标识还有'+'读写,‘b'
阅读全文
摘要:1、程序输出,print语句 跟C语言中的printf函数很类似,当在代码中使用print语句即可输出想要看到的变量内容,如可以先把一个字符串复制给str,然后用print函数显示变量内容,如下:str = "hello python"print strPython的print语句,与字符串运算符(%)结合使用,可实现字符串替换功能,如:print "%s is number %d" % ("python",1),语句将输出python is number 1 python中的重定向:1)以标准错误输出: import sysprin
阅读全文
摘要:1、安装 系统:win7(64bit),从官方网站(http://www.python.org/download/)下载python安装文件,第一次使用python,所以选择Python 2.7.3 Windows X86-64 Installer,下载完之后,一路下一步即可。 配置环境变量:path里添加python的安装路径2、打开cmd命令行,输入python出现如下图,即安装成功输入print "hello python"即可打印出hello python字符串,如下图3、在eclipse中集成python开发环境 前提:安装好java和eclipse。 打开ecl
阅读全文