摘要：
需求：配置我们的网络收集的配置文件；从某socket端口采集数据，采集到的数据打印到console控制台 在flume的conf目录下新建一个配置文件（采集方案） cd /bigdata/install/flume-1.9.0/conf vim netcat-logger.conf 内容如下 # 定 阅读全文
摘要：
第一步：下载解压修改配置文件 Flume的安装非常简单，只需要解压即可 上传安装包到数据源所在节点上 这里我们在第三台机器hadoop03来进行安装 cd /bigdata/soft tar -xzvf apache-flume-1.9.0-bin.tar.gz -C /bigdata/instal 阅读全文
摘要：
1. 前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统， 而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 2. Flume基本介绍 1. 概述 Flume是一个分 阅读全文
摘要：
需求: 将hdfs上数据文件 user.txt 导入到mysql数据库的user表中。 1、创建作业的配置文件（json格式） 查看配置模板，执行脚本命令 [hadoop@hadoop03 ~]$ cd /bigdata/install/datax [hadoop@hadoop03 datax]$ 阅读全文
摘要：
需求: 将mysql表student的数据导入到hdfs的 /datax/mysql2hdfs/ 路径下面去。 1、创建mysql数据库和需要用到的表结构，并导入实战案例需要用到的数据 [hadoop@hadoop02 ~] mysql -uroot -p123456 mysql> create d 阅读全文