摘要：
sqoop：数据迁移工具实际上就是一个mapreduce程序，可以将关系型数据库导入到hdoop存储系统中，也可以将hadoop存储系统中的数据导出到关系型数据库中 阅读全文
摘要：
flume数据采集 各种各样的数据源--》读数据，缓存数据，写数据--各种各样的目标存储系统 缓存数据：内存，本地磁盘文件 读数据：任何数据都封装成event对象；组件接口（source），根据各种数据源写source实现类 event：head{描述信息}，body{数据} 写数据：组件接口（si 阅读全文
摘要：
hbase简单来说就是一个nosql数据库，非结构化数据库，Hbase的表数据存储在HDFS文件系统中，hbase具备如下特性：存储容量可以线性扩展； 数据存储的安全性可靠性极高！能实时的做增删改查 文件系统：存储数据 l Hbase的表模型与关系型数据库的表模型不同： l Hbase的表没有固定的 阅读全文
摘要：
hive:基于hadoop的一个数据仓库工具（离线），可以将结构化的数据文件映射成为一张数据库表，并提供sql查询功能 hive里面的表的字段对应文件里的一些数据字段，解析sql语法，组装成一个mapreduce job到yarn运行，在到hdfs里面查找 会sql即可 阅读全文