如何获取Flume连接HDFS所需要的包

在学习Hadoop工具中的Flume时,有的小伙伴会遇到这句话:

“Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包”

然后小伙伴就懵逼了,这些包要去什么地方来找呢?
(远在天边,近在眼前)



首先,我们需要的包有

commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar

这些包要放在/flume/lib文件夹下。

其中,后两个jar为1.99版本flume必须引用的jar。其他版本可以不引用。



接下来找到你的Hadoop文件

都学到Flume了,肯定能找到自己的Hadoop文件吧(心虚)

进入hadoop-3.3.0\share\hadoop路径

然后在这个位置搜索上面你所需要的几个包
注意:搜索时只能搜索包的名字,不要带版本号,不然容易搜不到

这样就找到了,接下来只需要打开你的Xshell或者其他什么东西连接linux主机,把这些文件拖拽进/flume/lib就可以用了

posted @   你这过氧化氢掺水了  阅读(39)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示