摘要：
Phoenix创建Hbase二级索引 官方文档 1. 配置Hbase支持Phoenix创建二级索引 1. 添加如下配置到Hbase的Hregionserver节点的hbase-site.xml <!-- phoenix regionserver 配置参数 --> <property> <name>h 阅读全文
摘要：
HBase的设计目标就是为了那些巨大的表，如数十亿行、数百万列。 面向列，准确的说是面向列族。每行数据列可以不同。 架构 HMaster会到ZK中进行注册，ZK中一主二备; 当主宕机时，zk通知备机, 备机中选择一个当主机;HRegionServer负责数据的存储读写;HMaster做负载均衡数据均 阅读全文
摘要：
1. 与Hive的集成 Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL， 通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduc 阅读全文
摘要：
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告 https://clickhouse.yandex/docs/zh/ 1 安装前的准备1.1 CentOS取消打开文件数限制 在/e 阅读全文
摘要：
Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处理 阅读全文
摘要：
|的ascII最大ctrl+shift+t查找类 ctrl+p显示提示 HBase API操作 依赖的jar包 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</arti 阅读全文
摘要：
GFS -->hdfsmapreduce >hadoop mrbigtable-->hbase HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 海量存储；列式存储；极易扩展；高并发；稀疏（针对HBase列的灵活性，在列族中，你可以指定任意多的列；稀疏性体现了它的非结构化特点） hb 阅读全文
摘要：
概述 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指 阅读全文
摘要：
1.什么是DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 https://github.com/kris-2018/Data 阅读全文
摘要：
1. 作用： 同步mysql；做拉链表；更新redis 某些情况无法从日志中获取信息，而又无法利用sqoop等ETL工具对数据实时的监控 2. canal的工作原理： canal的工作原理很简单，就是把自己伪装成slave，假装从master复制数据。 3. mysql的binlog MySQL的二 阅读全文