上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 19 下一页
2019年10月20日
Hbase 分页设计
摘要： hbase 数据获取方式 hbase 数据排序怎么做？ 我觉得这个分两种情况，一是数据量比较少，业务上每次拉取所有的数据，可以在客户端做排序，二是数据比较多，需要分页，这种情况下客户端做显然不合适，因为要从服务器拉取所有数据，排序完成，获取某一页，剩余的数据全都不用，资源损耗比较严重，比较推荐做法是 阅读全文
posted @ 2019-10-20 20:22 花未全开*月未圆 阅读(2409) 评论(0) 推荐(0) 编辑
Spark RDD :Spark API--图解Spark API
摘要： 面试题引出： 简述Spark的宽窄依赖，以及Spark如何划分stage，每个stage又根据什么决定task个数? Stage：根据RDD之间的依赖关系的不同将Job划分成不同的Stage，遇到一个宽依赖则划分一个Stage。 Task：Stage是一个TaskSet，将Stage根据分区数划分成 阅读全文
posted @ 2019-10-20 20:18 花未全开*月未圆 阅读(1782) 评论(0) 推荐(0) 编辑
2019年10月13日
Hive元数据配置到MySql
摘要： 1 驱动拷贝 1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包 2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connect 阅读全文
posted @ 2019-10-13 21:55 花未全开*月未圆 阅读(725) 评论(0) 推荐(0) 编辑
Hive入门
摘要： 1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据 阅读全文
posted @ 2019-10-13 21:51 花未全开*月未圆 阅读(180) 评论(0) 推荐(0) 编辑
Hbase扩展
摘要： 1 HBase在商业项目中的能力 每天： 1) 消息量：发送和接收的消息数超过60亿 2) 将近1000亿条数据的读写 3) 高峰期每秒150万左右操作 4) 整体读取数据占有约55%，写入占有45% 5) 超过2PB的数据，涉及冗余共6PB数据 6) 数据每月大概增长300千兆字节。 2 布隆过滤 阅读全文
posted @ 2019-10-13 21:46 花未全开*月未圆 阅读(275) 评论(0) 推荐(0) 编辑
HBase优化
摘要： 1 高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1．关闭HBase集群（如果 阅读全文
posted @ 2019-10-13 21:32 花未全开*月未圆 阅读(127) 评论(0) 推荐(0) 编辑
hbase与Hive的集成
摘要： 1 HBase与Hive的对比 1．Hive (1) 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 (2) 用于数据分析、清洗 Hive适用于离线的数据分析和清洗，延迟较高。 (3) 基于HDFS、MapReduce Hi 阅读全文
posted @ 2019-10-13 21:19 花未全开*月未圆 阅读(858) 评论(0) 推荐(0) 编辑
HBase API操作
摘要： 环境准备 新建项目后在pom.xml中添加依赖： 2 HBaseAPI 2.1 获取Configuration对象 2.2 判断表是否存在 2.3 创建表 2.4 删除表 2.5 向表中插入数据 2.6 删除多行数据 public static void deleteMultiRow(String 阅读全文
posted @ 2019-10-13 21:15 花未全开*月未圆 阅读(461) 评论(0) 推荐(0) 编辑
HBase原理
摘要： 读流程 HBase读数据流程如图3所示 1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2）根据namespace、表名和rowkey在meta表中找到对应的region信息； 3）找到这个reg 阅读全文
posted @ 2019-10-13 21:02 花未全开*月未圆 阅读(294) 评论(0) 推荐(0) 编辑
HBase数据结构
摘要： 1 RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个RowKey访问 2.通过RowKey的range（正则） 3.全表扫描 RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度 阅读全文
posted @ 2019-10-13 21:01 花未全开*月未圆 阅读(480) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 19 下一页