摘要:
1、compression 默认值是 NONE 即不使用压缩, 这个参数意思是该列族是否采用压缩,采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 , HBase 中,在 Snappy 阅读全文
摘要:
一 基础理论 Hbase是一个非分布式的,面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上,备份机制 线性扩展 cluster / slave Hmaster Regionserver Hbase架构图: 组件功能: Hbase数据模型: NameSpace Rowkey fam 阅读全文
摘要:
打通实时数据处理 1).流程图 LoggerGenerator <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7InRleHQtaW5kZW50IjoxLCJhbGlnb 阅读全文
摘要:
SparkStreaming 1).概述:可扩展、高可用、容错性 一站式解决方案 2).原理 粗粒度:Spark Streaming 接受实时流数据,将数据切分为批次数据,交由Spark Engine处理数据。组RDD,微批处理。 细粒度: 3).核心 StreamingContext: start 阅读全文
摘要:
本文参考:https://www.cnblogs.com/skyl/p/4803738.html 阅读全文