摘要：
一. 1、对比：离线计算和实时计算 离线计算：MapReduce，批量处理（Sqoop-->HDFS--> MR > HDFS） 实时计算：Storm和Spark Sparking，数据实时性（Flume > Kafka > 流式计算 > Redis） 2、常见的实时计算（流式计算）代表 （1）Ap 阅读全文
摘要：
一、Redis内存数据库 一个key-value存储系统，支持存储的value包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。数据存在缓存中。 与MemCached区别： （*）支持持久化 （*）丰富的数据类型 （*） 阅读全文
摘要：
一、为什么要把数据存入内存？ 1、原因：快2、常见的内存数据库 （*）MemCached：看成Redis的前身，严格来说Memcached的不能叫数据库，原因：不支持持久化 （*）Redis：内存数据库，持久化（RDB、AOF） （*）Oracle TimesTen （*）SAP HANA 二、Me 阅读全文
摘要：
一.Sqoop数据采集引擎 采集关系型数据库中的数据 用在离线计算的应用中 强调：批量 （1）数据交换引擎： RDBMS < > Sqoop < > HDFS、HBase、Hive （2）底层依赖MapReduce （3）依赖JDBC （4）安装：tar -zxvf sqoop-1.4.5.bin_ 阅读全文