HBase API
摘要：
package hbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apac 阅读全文
posted @ 2021-10-11 23:43 糟糟张 阅读(172) 评论(0) 推荐(0) 编辑
2021年10月11日 #
HBase面试
摘要：
宕机问题： MapReduce读写HBase HBase特点： 1.大：一个表可以有上亿行，上百万列 2.面向列：面向列表（蔟）的存储和权限控制，列（蔟）独立检索 3.稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计非常稀疏 4.无模式：每一行都有一个可以排序的主键和任意多的列，列 阅读全文
posted @ 2021-10-11 18:55 糟糟张 阅读(89) 评论(0) 推荐(0) 编辑
2021年10月10日 #
杂1
摘要：
1.linux中 free -h：以适于人类可读方式显示内存信息。-h与其他命令最大不同是-h选项会在数字后面加上适于人类可读的单位 Mem：Memory机器的物理内存 swap：swap place，即交换区。当内存不够的时候，被踢出的进程被暂时存储到交换区。当需要这条被踢出的进程的时候，就从交换 阅读全文
posted @ 2021-10-10 20:59 糟糟张 阅读(311) 评论(0) 推荐(0) 编辑
HBase常用shell操作
摘要：
行（row），列（Column），列蔟（Column Family），列标识符（Column Qualifier）和单元格（Cell） 行：由一个个行键（rowkey）和一个多个列组成。其中rowkey是按照字典顺序排序 列：列由列蔟（Column Family）和列限定符（Column Quali 阅读全文
posted @ 2021-10-10 15:12 糟糟张 阅读(552) 评论(0) 推荐(0) 编辑
HBase基础
摘要：
Hadoop生态系统 HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同 阅读全文
posted @ 2021-10-10 09:43 糟糟张 阅读(94) 评论(0) 推荐(0) 编辑
2021年10月9日 #
Hbase安装
摘要：
Hbased的元数据保存在zookeeper 删除数据 hdfs hadoop dfs -rmr /hbase 删除元数据 zk zkCli.sh rmr /hbase 1.启动Hadoop集群 start-all.sh 2.启动zookeeper（三台都启动） zkServer.sh startz 阅读全文
posted @ 2021-10-09 18:47 糟糟张 阅读(62) 评论(0) 推荐(0) 编辑
2021年10月8日 #
Hive数仓
摘要：
分层设计 ODS（Operational Data Store）：数据运营层 “面向主题的”数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。 一般来讲，为了 阅读全文
posted @ 2021-10-08 22:56 糟糟张 阅读(149) 评论(0) 推荐(0) 编辑
Hive调优
摘要：
Hive建表优化 1，分区，分桶 一般是按照业务日期进行分区 每天的数据放在一个分区里 2，一般使用外部表，避免数据误删 3，选择适当的文件储存格式及压缩格式 4，命名要规范 5，数据分层，表分离，但是也不要分的太散 Hive查询优化 分区裁剪 where过滤， 先过滤，后join 分区分桶， 合并 阅读全文
posted @ 2021-10-08 21:32 糟糟张 阅读(110) 评论(0) 推荐(0) 编辑
2021年9月26日 #
Hive大全
摘要：
Hive是基于Hadoop的一个数据仓库，可将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其实，Hive的本质是将HiveSQL语句转化成MapReduce任务执行。 count(*)、count(1) 、count('字段名') 区别： count(*)包括了所有的列，相当于行数， 阅读全文
posted @ 2021-09-26 20:46 糟糟张 阅读(373) 评论(0) 推荐(0) 编辑
2021年9月25日 #