Spark——Yarn模式下的日志存储及配置
摘要：前言 在YARN术语中，执行者和应用程序masters在“容器”内部运行。在应用程序完成后，YARN有两种处理容器日志的模式。 如果打开日志聚合（使用 yarn.log-aggregation-enable配置），容器日志将复制到HDFS中，而本地计算机上的日志将被删除。查看日志可以通过 yarn
阅读全文
posted @ 2020-09-09 10:02
09 2020 档案
HBase——PerformanceEvaluation（压测工具）
摘要：简介 在项目开发过程中，我们经常需要一些benchmark工具来对系统进行压测，以获得系统的性能参数，极限吞吐等等指标。 而在HBase中，就自带了一个benchmark工具—PerformanceEvaluation，可以非常方便地对HBase的Put、Get、Scan等API进行性能测试，并提供
阅读全文
posted @ 2020-09-09 10:01
HBase——Snapshot（快照）
摘要：前言 HBase数据迁移方案有很多种，但今天我们来通过Snapshot方式来实现HBase的数据迁移(即将A集群HBase的数据迁移到B集群)。 HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和恢复操作的时候不包括数
阅读全文
posted @ 2020-09-09 09:59
HBase——Replication（复制）实践
摘要：前言 Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念， 可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。 它的难点在于数据通常是不断变化的，需要持续的将变化也反映到多
阅读全文
posted @ 2020-09-09 09:58
HBase——Replication（复制）原理
摘要：前言 Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念， 可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。 它的难点在于数据通常是不断变化的，需要持续的将变化也反映到多
阅读全文
posted @ 2020-09-09 09:51
HBase——冷热分离方案
摘要：前言 HBase是当下流行的一款海量数据存储的分布式数据库。往往海量数据存储会涉及到一个成本问题，如何降低成本。 常见的方案就是通过冷热分离来治理数据。冷数据可以用更高的压缩比算法（ZSTD），更低副本数算法（Erasure Coding），更便宜存储设备（HDD，高密集型存储机型）。 HBase冷
阅读全文
posted @ 2020-09-09 09:45
Hadoop——HDFS异构存储&HBase冷热分离
摘要：前言 总体上HDFS异构存储的价值在于，根据数据热度采用不同策略从而提升集群整体资源使用效率。 对于频繁访问的数据，将其全部或部分保存在更高访问性能的存储介质（内存或SSD）上，提升其读写性能； 对于几乎不会访问的数据，保存在归档存储介质上，降低其存储成本。 但是HDFS异构存储的配置需要用户对目录
阅读全文
posted @ 2020-09-09 09:43
