上一页 1 ··· 3 4 5 6 7 8 9 10 下一页
摘要: 一、Redis内存数据库 一个key-value存储系统,支持存储的value包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。数据存在缓存中。 与MemCached区别: (*)支持持久化 (*)丰富的数据类型 (*) 阅读全文
posted @ 2018-03-27 17:33 梦里南柯 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 一、为什么要把数据存入内存? 1、原因:快2、常见的内存数据库 (*)MemCached:看成Redis的前身,严格来说Memcached的不能叫数据库,原因:不支持持久化 (*)Redis:内存数据库,持久化(RDB、AOF) (*)Oracle TimesTen (*)SAP HANA 二、Me 阅读全文
posted @ 2018-03-27 15:59 梦里南柯 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 一.Sqoop数据采集引擎 采集关系型数据库中的数据 用在离线计算的应用中 强调:批量 (1)数据交换引擎: RDBMS < > Sqoop < > HDFS、HBase、Hive (2)底层依赖MapReduce (3)依赖JDBC (4)安装:tar -zxvf sqoop-1.4.5.bin_ 阅读全文
posted @ 2018-03-27 14:29 梦里南柯 阅读(497) 评论(0) 推荐(0) 编辑
摘要: Pig的自定义函数有三种:1、自定义过滤函数:相当于where条件2、自定义运算函数:3、自定义加载函数:使用load语句加载数据,生成一个bag 默认:一行解析成一个Tuple 需要MR的jar包 一.自定义过滤函数 二.自定义运算函数 三.自定义加载函数 注册jar包: register def 阅读全文
posted @ 2018-03-26 22:27 梦里南柯 阅读(563) 评论(0) 推荐(1) 编辑
摘要: 一、Pig简介和Pig的安装配置 1、最早是由Yahoo开发,后来给了Apache 2、支持语言:PigLatin 类似SQL 3、翻译器 PigLatin > MapReduce(Spark) 4、安装和配置 (1)tar -zxvf pig-0.17.0.tar.gz -C ~/training 阅读全文
posted @ 2018-03-26 21:46 梦里南柯 阅读(532) 评论(0) 推荐(0) 编辑
摘要: 一.Hive的Java客户端 JDBC工具类:JDBCUtils.java DemoTest.java 启动HiveServer:hiveserver2,会报错: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException:Us 阅读全文
posted @ 2018-03-26 21:14 梦里南柯 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 一.常见的数据分析引擎 Hive HDFS 表 目录 数据 文件 分区 目2 2.Pig 3.Impala 4.Spark SQL 二.Hive 的体系结构 用户接口主要有三个: 1.CLI Shell命令行 2.JDBC/ODBC:Hive的Java,与传统JDBC相似 3.Web管理界面 三.H 阅读全文
posted @ 2018-03-26 20:41 梦里南柯 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 一. HBase过滤器 1、列值过滤器 2、列名前缀过滤器 3、多个列名前缀过滤器 4、行键过滤器5、组合过滤器 二. HDFS上的mapreduce 建立表 create 'word','content' put 'word','1','content:info','I love Beijing' 阅读全文
posted @ 2018-03-26 14:03 梦里南柯 阅读(548) 评论(0) 推荐(0) 编辑
摘要: 一.HBase的表结构和体系结构 1.HBase的表结构 把所有的数据存到一张表中。通过牺牲表空间,换取良好的性能。 HBase的列以列族的形式存在。每一个列族包括若干列 2.HBase的体系结构 主从结构: 主节点:HBase 从节点:RegionServer 包含多个Region,一个列族就是一 阅读全文
posted @ 2018-03-10 18:43 梦里南柯 阅读(969) 评论(0) 推荐(0) 编辑
摘要: package demo.wc; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.a... 阅读全文
posted @ 2018-03-10 15:42 梦里南柯 阅读(283) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 下一页