最近项目需要使用ftp 直接访问 hdfs上的目录,hdfs分布式文件系统提供了不同的接口,以便客户端可以与其进行交互。除了HDFS Shell,文件系统还通过WebDAV,Thrift,FTP和FUSE。下面是实施记录。
hdfs环境
cdh,hdf,apache,星环,华为等,这里使用公司现有的环境cdh集群(nanenode 的ip :10.32.8.235)
ftp环境
ftp机器ip:10.32.8.124
在此机器上安装ftp服务,直接访问cdh集群hdfs目录。
介质:
git:https://github.com/iponweb/hdfs-over-ftp
编译安装
安装jdk1.8 略
安装maven 略
解压安装介质后,到解压目录,修改 pom.xml文件
切换到解压目录 src/main/resources 下修改hdfs信息和ftp-user信息分别对应文件【hdfs-over-ftp.properties】【users.properties】
修改user.properties文件,在文件中添加FTP用户,需要配置多个用户时,按照下面的配置在文件中继续配置即可。密码是手动使用MD5工具进行加密的,加密的命令为:
[root@oracle resources]# echo -n 12345678 | openssl md5 (stdin)= 25d55ad283aa400af464c76d713c07ad
进入到解压目录,执行脚本:
[root@oracle hdfs-over-ftp-master]# ./hdfs-over-ftp.sh
测试
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?