摘要:
1:在flume/job下配置flume-file-logger.conf配置文件 2:在flume根目录下开启监听(注意,如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件) 3:操作hive产生日志文件,查看控制台 阅读全文
摘要:
1:将Hadoop相关jar包放到/opt/module/flume/lib文件夹下 2:在flume/job文件夹下创建 flume-file-hdfs.conf文件 3:在配置文件中添加如下配置 4:在flume根目录执行监控配置 5:开启hdfs、yarn、hive 6:执行hive操作产生日 阅读全文
摘要:
一:DDL 1:创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] //对数据库的描述 [LOCATION hdfs_path] //手动设置数据库存储路径 [WITH DBPROPERTIES 阅读全文
摘要:
一:什么是Hive? Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。 Hive本质是:将 HQL 转化成 MapReduce 程序 Hive 处理的数据存储在 阅读全文
摘要:
一:创建永久节点 二:获取节点数据 三:设置节点数据 阅读全文
摘要:
一:ZK的选举机制 假使有3台服务器,id分别为1、2、3: 1、服务器1启动,投自己一票,启动的服务器未达半数以上,此时状态为looking 2、服务器2启动,重新投票,1和2都投自己1票并交换选票信息,1发现2的id比自己大,把自己的票重写投给2,此时服务器已经启动半数以上,完成选举。1为0票, 阅读全文
摘要:
一:什么是Zookeeper? ZK是一个开源的分布式协调服务。他提供了一组简单的原生接口,分布式应用可以基于它实现,高水准的同步,集群,配置管理和命名服务。它基于开发, 使用简单的原则而设计。使用类似于文件系统目录树结构的数据模型。它基于java实现,可以为c和java应用服务。 二:他能干什么? 阅读全文
摘要:
一:Combiner概念 (1)Combiner是MR程序中Mapper和Reduce之外的一种组件 (2)Combiner组件的父类就是Reducer (3)Combiner和Reduce的区别主要在于运行位置 Combiner是在每一个MapTask所在的节点运行 Reduce是在接受全局所有M 阅读全文
摘要:
一:排序概述 排序时是MapReduce框架最重要的操作之一 MapTask和ReduceTask均会对数据按照key进行排序,该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序,不管你是否需要。 默认排序是按照字典顺序排序,实现该排序的方法是快速排序 二:排序分类 (1)全排序 只 阅读全文
摘要:
一:每次从环形缓存区溢写的数据都会写到一组分区的某一个里面,最后通过归约排序将所有组的分区归成一组分区。配合设置ReduceTast的个数可以实现将数据最终写出到多个文件中。 二:默认分区是根据key的hasCode对ReduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区里。 三 阅读全文