使用python来访问Hadoop HDFS存储实现文件的操作
原文：http://rfyiamcool.blog.51cto.com/1030776/1258292
在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程
查看文件内容
用python访问hdfs是个很头疼的事情。。。。
这个是pyhdfs的库
1 import pyhdfs 2 fs = pyhdfs.connect("192.168.1.1", 9000) 3 pyhdfs.get(fs, "/rui/111", "/var/111") 4 f = pyhdfs.open(fs, "/test/xxx", "w") 5 pyhdfs.write(fs, f, "fuck\0gfw\n") 6 pyhdfs.close(fs, f) 7 pyhdfs.disconnect(fs)
pyhdfs的安装过程很吐血
1 svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs 2 cd libpyhdfs 3 cp /usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u0.jar lib/hadoop-0.20.1-core.jar 4 cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0.4.jar lib/ 5 cp /usr/lib/libhdfs.so.0 lib/ 6 ln –s lib/libhdfs.so.0 lib/libhdfs.so 7 python setup.py install --prefix="/usr/local"
还有就是把 selinux也给关了 不然会出现莫名的问题
如果出现
/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory
搜下find / -name jni.h
然后修改#include "jni_md.h" 为 #include "linux/jni_md.h"
这个是用pydoop的库
1 import pydoop.hdfs as hdfs 2 with hdfs.open('/user/myuser/filename') as f: 3 for line in f: 4 print(line)
我现在使用的方法是用subprocess ，哈哈，方法很搓吧，主要原因是我这边没有太多的性能估计，只是单纯的把mapreduce的接口给搞出来而已。
这么简单用用也还可以的~
需要把很多自己常用的指定都封装成库
1 cat = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/myfile"], stdout=subprocess.PIPE) 2 for line in cat.stdout: 3 print line
补充下（从视hadoop为儿戏到现在对mapreduce半斤八两，对我自己来说，还是有很大的进步的。所以关于hadoop python操作不能再用以前的方法啦。）：
最近了解了更加方便的库，算是文档和利用最好的了。
pyhdfs是对libhdfs的python封装库. 它提供了一些常用方法来处理HDFS上的文件和目录, 比如读写文件, 枚举目录文件, 显示HDFS可用空间, 显示文件的复制块数等。
libhdfs 是HDFS的底层C函数库, 由hadoop官方提供, pyhdfs使用swig技术, 对libhdfs提供的绝大多数函数进行了封装, 目的是提供更简单的调用方式.
1 如何连接hadoop集群？ 2 fs = hadoop.HadoopDFS("username","password","ugi",64310) 3 fs.disconnect() 4 如何获取当前工作目录? 5 fs = hadoop.HadoopDFS("username","password","ugi",64310) 6 print fs.getWorkingDirectory() 7 fs.disconnect() 8 如何更改当前工作目录？ 9 fs = hadoop.HadoopDFS("username","password","ugi",64310) 10 print fs.setWorkingDirectory("/user/ns-lsp/logs") 11 fs.disconnect() 12 如果目录不存在setWorkingDirectory()返回-1,如果执行成功，返回0 13 如果目录不存在setWorkingDirectory()返回-1,如果执行成功，返回0 14 如何判断某个文件/目录是否存在？ 15 fs = hadoop.HadoopDFS("username","password","ugi",64310) 16 print fs.pathExists("/user/ns-lsp/logs") 17 fs.disconnect() 18 文件/目录存在，返回0，如果不存在，返回-1 19 如何创建一个目录? 20 fs = hadoop.HadoopDFS("username","password","ugi",64310) 21 print fs.createDirectory("/user/ns-lsp/logs/cjj") 22 fs.disconnect() 23 如果目录已经存在，则返回-1，如果目录创建成功，返回0 24 如何获得当前默认块大小？ 25 fs = hadoop.HadoopDFS("username","password","ugi",64310) 26 print fs.getDefaultBlockSize() 27 fs.disconnect() 28 如何获得当期目录下的文件/目录？ 29 fs = hadoop.HadoopDFS("username","password","ugi",64310) 30 print fs.listDirectory("/user/ns-lsp/logs") 31 fs.disconnect() 32 如何移动一个文件/目录? 33 同一HDFS内移动文件： 34 fs = hadoop.HadoopDFS("username","password","ugi",64310) 35 print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new") 36 fs.disconnect() 37 不同HDFS之间移动文件： 38 target_fs = hadoop.HadoopDFS("username","password","ugi",64310) 39 fs = hadoop.HadoopDFS("username","password","ugi",64310) 40 print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new",target_fs) 41 fs.disconnect() 42 如何删除一个文件/目录? 43 fs = hadoop.HadoopDFS("username","password","ugi",64310) 44 print fs.delete("/user/ns-lsp/logs/cjj_new") 45 fs.disconnect() 46 如何重命名一个文件/目录? 47 fs = hadoop.HadoopDFS("username","password","ugi",64310) 48 print fs.rename("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj1") 49 fs.disconnect() 50 如何修改一个文件/目录的权限? 51 fs = hadoop.HadoopDFS("username","password","ugi",64310) 52 print fs.chmod("/user/ns-lsp/logs/cjj",7) 53 fs.disconnect() 54 如何文件块所在的服务器名? 55 有时我们需要查找某些文件块所在的服务器名是什么，可以如下使用: 56 fs = hadoop.HadoopDFS("username","password","ugi",64310) 57 print fs.getHosts("/user/ns-lsp/logs/cjj/a",0,1) 58 fs.disconnect() 59 返回包含服务器名的列表. 60 $ python gethosts.py 61 ['xxxx'] 62 如何获取一个文件/目录的信息? 63 fs = hadoop.HadoopDFS("username","password","ugi",64310) 64 pathinfo = fs.getPathInfo("/user/ns-lsp/logs/cjj") 65 fs.disconnect() 66 getPathInfo()返回一个hdfsFileInfo类。 67 如何指定文件的备份数? 68 fs = hadoop.HadoopDFS("username","password","ugi",64310) 69 print fs.setReplication("/user/ns-lsp/logs/cjj/a",3) 70 fs.disconnect() 71 如何打开一个文件，并读取数据? 72 要操作文件，需要创建一个HadoopFile对象，并利用read()方法读取数据. 73 fs = hadoop.HadoopDFS("username","password","ugi",64310) 74 fh = hadoop.HadoopFile(fs,'/user/ns-lsp/logs/cjj/a') 75 print fh.read() 76 fh.close() 77 fs.disconnect()
