flume采集数据及环境配置

Flume采集数据的工作图

Flume采集数据的工作流程

Flume配置过程

[root@node1 ~]# pwd 
/opt/software/
[root@node1 software]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/app/
 
 
[root@node1 software]# pwd 
/opt/app/
[root@node1 app]# mv apache-flume-1.8.0-bin/ flume-1.8.0
 
 
vi /etc/profile
{
export FLUME_HOME=/opt/app/flume-1.8.0
export PATH=$PATH:$FLUME_HOME/bin
}
source /etc/profile
 
 
[root@node1 conf]# pwd
/opt/app/flume-1.8.0/conf
[root@node1 conf]# mv flume-env.sh.template flume-env.sh
[root@node1 conf]# vi flume-env.sh
export JAVA_HOME = /opt/app/jdk1.8.0_321
 
[root@node1 bin]# pwd
/opt/app/flume-1.8.0/bin
[root@node1 bin]# vi flume-ng
JAVA_OPTS="-Xmx1024m"  // 意思是调整flume占用1024内存
posted @   jsqup  阅读(67)  评论(0)  编辑  收藏  举报
相关博文：
·  案例七：启动一个flume采集数据程序，要求采集指定端口、指定目录、指定文件的数据，其中端口数据发送到HDFS和flume日志中，目录数据只发送给hdfs、文件数据只发送给logger
·  案例九：启动flume采集程序，其中采集两个数据源的数据，其中第一个数据源是服务器1上的端口数据。第二个数据源是服务器2上的目录数据。现在实现将服务器1和服务器2数据源上的数据统一输出到flume日志中
·  Flume安装配置
·  大数据之—Flume环境搭建
·  Flume安装与配置
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配，妙~啊~
· .NET Core 中如何实现缓存的预热？
点击右上角即可分享
微信分享提示
SQL AI 助手