摘要: 1、compression 默认值是 NONE 即不使用压缩, 这个参数意思是该列族是否采用压缩,采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 , HBase 中,在 Snappy 阅读全文
posted @ 2018-09-18 15:02 麻辣小虾 阅读(4761) 评论(0) 推荐(0) 编辑
摘要: 一 基础理论 Hbase是一个非分布式的,面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上,备份机制 线性扩展 cluster / slave Hmaster Regionserver Hbase架构图: 组件功能: Hbase数据模型: NameSpace Rowkey fam 阅读全文
posted @ 2018-09-18 14:57 麻辣小虾 阅读(10742) 评论(0) 推荐(0) 编辑
摘要: 打通实时数据处理 1).流程图 LoggerGenerator <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7InRleHQtaW5kZW50IjoxLCJhbGlnb 阅读全文
posted @ 2018-09-18 14:45 麻辣小虾 阅读(1333) 评论(0) 推荐(0) 编辑
摘要: SparkStreaming 1).概述:可扩展、高可用、容错性 一站式解决方案 2).原理 粗粒度:Spark Streaming 接受实时流数据,将数据切分为批次数据,交由Spark Engine处理数据。组RDD,微批处理。 细粒度: 3).核心 StreamingContext: start 阅读全文
posted @ 2018-09-18 14:39 麻辣小虾 阅读(831) 评论(0) 推荐(0) 编辑
摘要: 本文参考:https://www.cnblogs.com/skyl/p/4803738.html 阅读全文
posted @ 2018-09-18 14:32 麻辣小虾 阅读(483) 评论(0) 推荐(0) 编辑