摘要：
存储过程如下： dao层的sql Controller层调用： html页面 没有使用pagehelper分页之前，可以正常使用 使用了pagehelper之后就报错 ### Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc 阅读全文
摘要：
Yarn的概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 Yarn的重要概念 1、 yarn并不清楚用户提交的程序的运行机制 2、 yarn只提供运算资源的调度（用户程序向yarn 阅读全文
摘要：
MapReducer基本概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 基本结构 一个完整的mapr 阅读全文
摘要：
转自：https://blog.csdn.net/xinzhi8/article/details/71455883 操作： 其中一个表较小，但是key集中 group by 维度过小，某值的数量过多 原因： 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句 阅读全文
摘要：
数据倾斜：就是大量的相同key被partition分配到一个分区里，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长， 这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的re 阅读全文
摘要：
Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服 阅读全文
摘要：
Hbase Shell操作 创建表：create ‘table1’, ‘tab1’, ‘tab2’ 回车即可 说明：创建表table1,列族2个，分别为tab1和tab2 列出所有表：list 查看表的构造：describe "table1" 插入数据：put ‘table1’, ‘rk-00001 阅读全文
摘要：
Rowkey设计 Region: 基于RowKey的分区，可理解成MySQL的水平切分。 每个Region Server就是Hadoop集群中一台机器上的一个进程。 比如我们的有1-300号的RowKey, 那么1-100号RowKey的行被分配到Region Server 1上，同样，101-20 阅读全文
摘要：
写操作流程 (1) Client通过Zookeeper的调度，向RegionServer发出写数据请求，在Region中写数据。 (2) 数据被写入Region的MemStore，直到MemStore达到预设阈值。 (3) MemStore中的数据被Flush成一个StoreFile。 (4) 随着 阅读全文
摘要：
HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个列组 阅读全文