摘要:
需求:配置我们的网络收集的配置文件;从某socket端口采集数据,采集到的数据打印到console控制台 在flume的conf目录下新建一个配置文件(采集方案) cd /bigdata/install/flume-1.9.0/conf vim netcat-logger.conf 内容如下 # 定 阅读全文
摘要:
第一步:下载解压修改配置文件 Flume的安装非常简单,只需要解压即可 上传安装包到数据源所在节点上 这里我们在第三台机器hadoop03来进行安装 cd /bigdata/soft tar -xzvf apache-flume-1.9.0-bin.tar.gz -C /bigdata/instal 阅读全文
摘要:
1. 前言 在一个完整的离线大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统, 而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示: 2. Flume基本介绍 1. 概述 Flume是一个分 阅读全文
摘要:
需求: 将hdfs上数据文件 user.txt 导入到mysql数据库的user表中。 1、创建作业的配置文件(json格式) 查看配置模板,执行脚本命令 [hadoop@hadoop03 ~]$ cd /bigdata/install/datax [hadoop@hadoop03 datax]$ 阅读全文
摘要:
需求: 将mysql表student的数据导入到hdfs的 /datax/mysql2hdfs/ 路径下面去。 1、创建mysql数据库和需要用到的表结构,并导入实战案例需要用到的数据 [hadoop@hadoop02 ~] mysql -uroot -p123456 mysql> create d 阅读全文