多弗朗明哥

摘要： 第1章 RDD概述 1.1 什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 1.2 RDD的属性 1) 一组分区（Partition），即数 阅读全文

摘要： 第1章 Spark概述 1.1 什么是Spark 1.2 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称R 阅读全文

摘要： 前置： 文件host 脚本init_kafka.sh 获取新增服务器host文件，迭代循环每个host服务器，分别新增一个kafka用户，然后将该服务器上的kafka安装文件夹修改所属权限为kafka用户，然后创建kafka-log的日志文件，分别放在/data和/data1下，然后修改kafka- 阅读全文

摘要： 第1章 Kafka概述 1.1 消息队列 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也 阅读全文

摘要： 第1章 HA高可用 1.1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障（single point of failure，SPOF）。单点故障是一个组件发生故障，就会导致整个系统无法运行。HA严格来说应该分成各 阅读全文

摘要： 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如 阅读全文

摘要： 一. MapTask并行度决定机制 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度 那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ 1.1 mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定 而客户端对m 阅读全文

摘要： 1.MapTask工作机制 整个map阶段流程大体如上图所示。简单概述：input File通过getSplits被逻辑切分为多个split文件，通通过RecordReader(默认使用lineRecordReader)按行读取内容给map(用户自己实现的map方法)，进行处理，数据被map处理结束 阅读全文

摘要： 这个build失败的解决方案就是不要把你项目的 target目录放在src repository 里面，还有 .project 和 .classpath最好也别放到src repository 里。具体的做法就是在新建项目的时候，在第一次commit 到 SVN 之前，先在项目的根目录设置一个 SV 阅读全文

摘要： 某td的input（保存按钮）上绑定方法，点击按钮保存该行所有数据 另一个例子 阅读全文