上一页 1 2 3 4 5 6 ··· 22 下一页

2019年12月22日

HBase查询优化之Short-Circuit Local Reads

摘要: 1.概述 在《HBase查询优化》一文中,介绍了基于HBase层面的读取优化。由于HBase的实际数据是以HFile的形式,存储在HDFS上。那么,HDFS层面也有它自己的优化点,即:Short-Circuit Local Reads。本篇博客笔者将从HDFS层面来进行优化,从而间接的提升HBase 阅读全文

posted @ 2019-12-22 14:17 cxhfuujust 阅读(350) 评论(0) 推荐(0) 编辑

2019年12月13日

Linux查看大文件日志

摘要: Linux 查看大日志文件1、使用 less 命令 less filename 但是使用上述命令的坏处是,默认打开的位置在第一行,并且当切换到实时滚动模式(按 F ,实现效果类似 tail -f 效果 )或者想要滚动到最底部的时候(按 G ),会卡在计算行数一段时间。如果卡的时间比较长的话,可以直接 阅读全文

posted @ 2019-12-13 19:16 cxhfuujust 阅读(5042) 评论(1) 推荐(2) 编辑

2019年12月12日

maven导出工程pom文件中依赖的jar包

摘要: 在工程的pom文件里加上下面plugin, 然后执行mvn clean package -Dmaven.test.skip=true命令,就可以lib包收集起来了 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>mav 阅读全文

posted @ 2019-12-12 14:41 cxhfuujust 阅读(823) 评论(0) 推荐(0) 编辑

通过生成HFile导入HBase

摘要: 要实现DataFrame通过HFile导入HBase有两个关键步骤 第一个是要生成Hfile第二个是HFile导入HBase 测试DataFrame数据来自mysql,如果对读取mysql作为DataFrame不熟悉的人可以参考 Spark:读取mysql数据作为DataFrame当然也可以自己决定 阅读全文

posted @ 2019-12-12 11:09 cxhfuujust 阅读(2069) 评论(0) 推荐(0) 编辑

2019年12月9日

hbase之RPC详解

摘要: Hbase的RPC主要由HBaseRPC、RpcEngine、HBaseClient、HBaseServer、VersionedProtocol 5个概念组成。 1、HBaseRPC是hbase RPC的实现类,核心方法: 1)、RpcEngine getProtocolEngine():返回Rpc 阅读全文

posted @ 2019-12-09 14:58 cxhfuujust 阅读(1860) 评论(0) 推荐(0) 编辑

2019年12月6日

HBase最佳实践-读性能优化策略

摘要: 任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大 阅读全文

posted @ 2019-12-06 17:30 cxhfuujust 阅读(195) 评论(0) 推荐(0) 编辑

HBaseRegionServer宕机数据恢复

摘要: 本文由 网易云 发布 作者:范欣欣 本篇文章仅限内部分享,如需转载,请联系网易获取授权。 众所周知,HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松地支撑每天10T 的写入量。当然,为了支持更高吞吐量的写入,HBase还在不断地进行优化和修正,这篇文 阅读全文

posted @ 2019-12-06 16:57 cxhfuujust 阅读(690) 评论(0) 推荐(0) 编辑

HBase–RegionServer宕机恢复原理

摘要: Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器。但也正因为廉价机器,由于网络硬盘等各方面的原因,机器宕机的概率就会相对比较大。RegionServer作为H 阅读全文

posted @ 2019-12-06 16:54 cxhfuujust 阅读(1257) 评论(0) 推荐(0) 编辑

2019年12月5日

为什么不建议在 HBase 中使用过多的列族

摘要: 我们知道,一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述:A typical schema has between 1 and 3 column families per table. HBase tables should not be 阅读全文

posted @ 2019-12-05 11:32 cxhfuujust 阅读(329) 评论(0) 推荐(0) 编辑

HBase 中加盐之后的表如何读取:Spark 篇

摘要: 在 《HBase 中加盐之后的表如何读取:协处理器篇》 文章中介绍了使用协处理器来查询加盐之后的表,本文将介绍第二种方法来实现相同的功能。 我们知道,HBase 为我们提供了 hbase-mapreduce 工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这 阅读全文

posted @ 2019-12-05 11:04 cxhfuujust 阅读(390) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 22 下一页

导航