Python使用hdfs上传文件至hadoop报错

合集 - 问题集锦(7)

1.py2exe打包datatable程序后运行时提示No module named 'datatable.utils'2023-01-172.pyinstaller打包Python程序报错OSError: Python library not found: libpython3.8.so, libpython3.8m.so2023-01-183.使用加密算法时报错:ModuleNotFoundError: No module named ‘Crypto‘2023-07-10

4.Python使用hdfs上传文件至hadoop报错2023-07-14

5.vue问题：不存在div或者多个div2023-08-086.django静态资源访问404问题2023-08-107.记一次pycharm在使用git提交时需要输入ssh key的密码的问题2024-09-25

收起

报错代码：

from hdfs.client import Client

hdfs_client = Client('http://IP:端口')
hdfs_client.makedirs(hdfs_dir)

在与hadoop创建链接后建文件夹时报错

报错信息：

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x00\x00\x00|{\x08ÿÿÿÿ\x0f\x10\x02\x18\t")org.apache.hadoop.ipc.RPC$VersionMismatch*>Server IPC version 9 cannot communicate with client version 470\x0e:\x00@\x01'))

 

解决思路：

检查所请求的端口，在hadoop的配置文件下的 hdfs-site.xml的 dfs.namenode.http-address.mycluster.nn1(NameNode HTTP Server端口) 配置下的端口号 

修改端口号后正常传输数据~