2019年4月11日
HADOOP高可用机制
摘要： HADOOP高可用机制 HA运作机制 什么是HA HADOOP如何实现HA HDFS-HA详解 HA集群搭建 目标： 掌握分布式系统中HA机制的思想 掌握HADOOP内置HA的运作机制 掌握HADOOP2.x的HA集群机制配置 1 Hadoop的HA机制 前言：正式引入HA机制是从hadoop2.0 阅读全文
posted @ 2019-04-11 15:57 烽火连城516 阅读(592) 评论(0) 推荐(0) 编辑
HDFS详解
摘要： HDFS详解大纲 Hadoop HDFS 分布式文件系统DFS简介 HDFS的系统组成介绍 HDFS的组成部分详解 副本存放策略及路由规则 命令行接口 Java接口 客户端与HDFS的数据流讲解 目标： 掌握hdfs的shell操作 掌握hdfs的java api操作 理解hdfs的工作原理 *** 阅读全文
posted @ 2019-04-11 15:49 烽火连城516 阅读(343) 评论(0) 推荐(0) 编辑
HBase详解
摘要： 1. hbase简介 1.1. 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组 阅读全文
posted @ 2019-04-11 15:30 烽火连城516 阅读(1748) 评论(0) 推荐(0) 编辑
2019年4月9日
大数据计算
摘要： 实时计算：flume+kafka+storm/sparkstreaming+redis/hbase离线计算：flume/ftp/sqoop(获取数据)+hdfs(存储数据)+hive(数据仓库)+SparkSQL(进行数据离线计算)+sqoop+mysql/hbase/redis(计算后的数据存储) 阅读全文
posted @ 2019-04-09 10:59 烽火连城516 阅读(268) 评论(0) 推荐(0) 编辑
Flume+Sqoop+Azkaban笔记
摘要： 大纲（辅助系统） 离线辅助系统 数据接入 Flume介绍 Flume组件 Flume实战案例 任务调度 调度器基础 市面上调度工具 Oozie的使用 Oozie的流程定义详解 数据导出 sqoop基础知识 sqoop实战及原理 Sqoop数据导入实战 Sqoop数据导出实战 Sqoop作业操作 Sq 阅读全文
posted @ 2019-04-09 09:28 烽火连城516 阅读(947) 评论(0) 推荐(0) 编辑
Kafka知识总结
摘要： 1、kafka是什么 类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是 阅读全文
posted @ 2019-04-09 09:00 烽火连城516 阅读(196) 评论(0) 推荐(0) 编辑
2019年4月8日
Kafka集群安装部署、Kafka生产者、Kafka消费者
摘要： Storm上游数据源之Kakfa 目标： 理解Storm消费的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。对流式计算的生态环境有深入的了解，具备流式计算项目架构的能力。 大纲： 1、 kafka是什么？ 2、 JMS规范是什么？ 3、 为 阅读全文
posted @ 2019-04-08 17:59 烽火连城516 阅读(1431) 评论(0) 推荐(0) 编辑
Hive详解
摘要： 1. Hive基本概念 1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2 为什么使用Hive 面临的问题 人员学习成本太高 项目周期要求太短 我只是需要一个简单的环境 Map 阅读全文
posted @ 2019-04-08 17:37 烽火连城516 阅读(1336) 评论(0) 推荐(0) 编辑
2019年4月4日
Spark面试相关
摘要： Spark Core面试篇01 一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Dr 阅读全文
posted @ 2019-04-04 09:26 烽火连城516 阅读(1034) 评论(0) 推荐(1) 编辑
2019年3月27日
HDFS常用操作命令
摘要： 1. 文件操作 (1) 列出HDFS下的文件 (2) 列出HDFS文件下名为in的文档中的文件 (3) 上传文件 将hadoop目录下的test1文件上传到HDFS上并重命名为test： (4) 文件被复制到本地系统中 将HDFS中的in文件复制到本地系统并命名为getin： (5) 删除文档 删除 阅读全文
posted @ 2019-03-27 14:53 烽火连城516 阅读(715) 评论(0) 推荐(0) 编辑