使用canda 安装 pyhdfs 实现文件上传到 HDFS

// python 文件上传到 HDFS

1.安装 anaconda ,打开 Navigator .  python 怎么用conda 创造的环境不多叙述

  

 

 

   这里安装好之后 , 其实 Pycharm里面就能用了

  代码很简单

  新建文件  upload001.py

from hdfs.client import Client

client = Client("http://hadoop100:50070")

local_file='D:\\t1.txt'
hdfs_path='/now4/20200512/文件名'
client.upload(hdfs_path,local_file)  #(HDFS,本地 或者 源)

print('finish')

 第一个网址是你所能访问到的50070端口 , 

 我主要解释下 hdfs_path 这个路径该怎么写 , 

  假如你的 HDFS根目录下面   没有文件夹  /ssa  , 你想传入这个文件夹  ,你需要这样写  /ssa/001 ,必须在文件夹下面指定一个名称 ,

  否则你传上去就会是一个文件/ssa  , 无论你 /ssa  还是 /ssa/  结果都一样 , 所以 ,传入文件夹一定要再取个后缀名 

 比如我想传入文件夹  /abby , 并且也有了这个文件夹  , 你需要写路径   /abby/001  , 如果还想键目录  那就 /abby/001/2001 这样就是2级目录

posted @ 2020-05-11 07:39  挪威森林猫Zzz  阅读(971)  评论(0编辑  收藏  举报