摘要：
Redis应用开发 要求： Redis简介 Redis是一个基于网络的，高性能key-value内存数据库 Redis根memcached类似，不过数据可持久化，而且支持的数据类型很丰富。支持在服务端计算集合的并、交和补集等，还支持多种排序功能。 Redis使用场景有如下几个特点： Redis应用场 阅读全文
摘要：
SparkStreaming概述 SparkStreaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。SparkStreaming原理 SparkStreaming数据源 可靠性（二次开发） SparkStreaming代码流程常见业务代码逻辑 阅读全文
摘要：
Spark应用开发 要求： 了解Spark基本原理 搭建Spark开发环境 开发Spark应用程序 调试运行Spark应用程序 YARN资源调度，可以和Hadoop集群无缝对接 Spark适用场景 大多数现有集群计算框架如MapReduce等基于从稳定存储（文件系统）到稳定存储的非循环数据流，数据重 阅读全文
摘要：
Kafka应用开发 了解Kafka应用开发适用场景 熟悉Kafka应用开发流程 熟悉并使用Kafka常用API 进行Kafka应用开发 Kafka的定义 Kafka是一个高吞吐、分布式、基于发布订阅的消息系统Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 Kafk 阅读全文
摘要：
sorl应用开发 要求： Solr简介 Solr概念体系-总述常见术语： Config Set:Solr Core提供一组配置文件 , Core:即Solr Core ， Shard：Collection的逻辑分片 Replice：Shard下的实际存储索引的一个副本，与Core对应 Leader： 阅读全文
摘要：
Hive应用开发 了解Hive的基本架构原理 掌握JDBC客户端开发流程 了解ODBC客户端的开发流程 了解python客户端的开发流程 了解Hcatalog/webHcat开发接口 掌握Hive开发规则 1. 了解Hive的基本架构原理 守护进程： HiveServer（Thrift/Compil 阅读全文
摘要：
MapReduce 1. MapReduce的基本定义及过程 MapReduce是面向大数据并行处理的计算模型、框架和平台，其资源调度由Yarn完成，任务资源隐含了以下三层含义： 1）MapReduce是 一个基于集群的高性能并行计算平台（cluster Infrastructure）。 2）Map 阅读全文