摘要： 因为环境不足，所以没有用flume收集日志，而是用的已经从别的渠道的日志 日志截图： 编写以下脚本，将收集的日志文件上传至HDFS MR清洗数据 创建工程导入依赖库: Mapper类 Driver类 打jar包 上传jar包到虚拟机，执行命令 hadoop jar /home/wang/mrclic 阅读全文

摘要： sqoop数据迁移 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出 阅读全文

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Agent主要由:source,channel,sink三个组 阅读全文

摘要： Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用 阅读全文

摘要： wordcount-java： pom.xml文件如下: 阅读全文

摘要： 直接考copy就能成功下载了 https://www.52pojie.cn/thread-767941-1-1.html（转发网址） 阅读全文

摘要： 编程规范 （1）用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) （2）Mapper的输入数据是KV对的形式（KV的类型可自定义） （3）Mapper的输出数据是KV对的形式（KV的类型可自定义） （4）Mapper中的业务逻辑写在map()方法中 阅读全文

摘要： maven搭建（前提是在你的Windows电脑上有Java，并且能用） 下图为maven官网（http://maven.apache.org/） 安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目，我用的是3.5.2。 使用本地的maven环境 阅读全文

摘要： hadoop常用的命令 hdfs dfs -mkdir -p /user/wang/hadoop 递归创建目录 hdfs dfs -ls /user 查看/user下内容 hdfs dfs -ls -R /user 递归查看 hdfs dfs -help put hdfs dfs -put inde 阅读全文

摘要： 通过hadoop自带的demo运行单词统计（测试） 在家目录下操作： 执行结果截图： 阅读全文