摘要： 这个项目用到的东西就是一些常用的hive、sqoop、mysql以及涉及到MR的编写，总体难度不大，但是中间细节太多，需要很细心才能完整的做好这个项目。 比如其中的sqoop，虽然你只要写对，一分钟就能搞定，但是有时候中间不免有点卡带，就像我，有的时候，一个东西得写好几遍，反复对比才能知道错误在哪， 阅读全文

摘要： 安装PHPstudy 按照步骤安装，完成之后启动 打开浏览器，输入localhost，出现以下界面 可视化工具用的是 echarts 在phpstudy安装目录下的www文件夹里新建目录chart（名称自定义），然后将echarts.js移动到该目录下 新建一个以 .php为后缀名的文件 保存，然后 阅读全文

摘要： 因为环境不足，所以没有用flume收集日志，而是用的已经从别的渠道的日志 日志截图： 编写以下脚本，将收集的日志文件上传至HDFS MR清洗数据 创建工程导入依赖库: Mapper类 Driver类 打jar包 上传jar包到虚拟机，执行命令 hadoop jar /home/wang/mrclic 阅读全文

摘要： sqoop数据迁移 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出 阅读全文

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Agent主要由:source,channel,sink三个组 阅读全文

摘要： Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用 阅读全文