python连接hdfs常用操作

复制代码
import contextlib

import pyhdfs

fs = pyhdfs.HdfsClient(hosts='name-node1:9870,name-node2:9870', user_name='hdfs')
response = fs.open('/tmp/README.txt')
#
response.read()
response.readline()
response.seek()
with contextlib.closing(fs.open('/fruit/apple')) as f:
    f.read()
#
fs.append("/user/hadoop/test.csv", "0,2,0\r\r\n")
#本地导入导出hdfs
fs.copy_from_local('/opt/test/wangbin/addr.py', '/tmp/addr.py')
fs.copy_to_local('', '')
#目录操作
fs.listdir("/user/hadoop/")
fs.mkdirs()
fs.exists('/path')
fs.delete('')
fs.delete('',recursive=True)
复制代码

 

posted @   Mars.wang  阅读(1882)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗
历史上的今天:
2019-12-04 Java写入的常用技巧(二)
点击右上角即可分享
微信分享提示