使用canda 安装 pyhdfs 实现文件上传到 HDFS
// python 文件上传到 HDFS
1.安装 anaconda ,打开 Navigator . python 怎么用conda 创造的环境不多叙述
这里安装好之后 , 其实 Pycharm里面就能用了
代码很简单
新建文件 upload001.py
from hdfs.client import Client client = Client("http://hadoop100:50070") local_file='D:\\t1.txt' hdfs_path='/now4/20200512/文件名' client.upload(hdfs_path,local_file) #(HDFS,本地 或者 源) print('finish')
第一个网址是你所能访问到的50070端口 ,
我主要解释下 hdfs_path 这个路径该怎么写 ,
假如你的 HDFS根目录下面 没有文件夹 /ssa , 你想传入这个文件夹 ,你需要这样写 /ssa/001 ,必须在文件夹下面指定一个名称 ,
否则你传上去就会是一个文件/ssa , 无论你 /ssa 还是 /ssa/ 结果都一样 , 所以 ,传入文件夹一定要再取个后缀名
比如我想传入文件夹 /abby , 并且也有了这个文件夹 , 你需要写路径 /abby/001 , 如果还想键目录 那就 /abby/001/2001 这样就是2级目录