【重要】大数据性能基准测试工具

大数据具有3V特性，Volume(海量)、Velocity（高速）、Variety（多样）

大数据测试基准的选择考虑因素

• 与其自身业务的相关性
• 模拟数据生成要具有真实性
• 工作负载的设定具有可扩展性
• 度量的选取的可理解性
• 客观性和公平性
• 健壮性
• SQL标准兼容
• 通用性/可迁移性

大数据测试基准对比

 

 

大数据基准测试简介

大数据基准测试的主要目的是对各种大数据产品进行测试，评估他们在不同硬件平台、不同数据质量和不同计算任务下的性能表现。大数据基准测试需要参考特定的评测基准测试集。

大数据基准测试的步骤

大数据基准测试主要有3个步骤，即数据准备、负载选择和指标度量。

数据准备

数据准备主要是构造满足大数据特点的各类型的数据。因为真实数据的敏感性和局限性，所以大数据基准测试通常借用工具合成数据。这个过程分为数据筛选、数据处理、数据生成和格式转换。

负载选择

负载选择是通过选择合适的负载以运行数据产生结果。负载是大数据基准测试需要执行的具体任务，用来处理数据并产生结果。负载可分为计算密集型任务、I/O密集型任务和混合密集型任务。

对于负载选择，有两种策略：

• 从企业的应用场景出发，模拟企业应用流程，采用应用中的真实数据进行测试。比如银行的账单查询、账目更改等，可以抽象为对数据库表的查询和更改。
• 从通用的角度来考量，从测试整个大数据处理平台的角度出发，选择负载时需要覆盖分布式计算框架、分布式文件系统和分布式存储等大数据处理平台的主要组件。比如Hadoop平台，负载主要测试Hadoop（包括HDFS和马MapReduce）、数据仓库（hive）和NoSQL数据库的性能

指标度量

指标度量主要是确定衡量的维度，以便从不同方面评估大数据系统。

• 用户角度

可选取每秒执行请求数、请求延时和每秒执行操作数等测试指标。

• 系统架构

可选取每秒浮点计算次数、每秒数据吞吐量等测试指标。

在实际的大数据测试中，通常从性能、能耗、性价比和可靠性4个维度进行度量。

大数据基准测试工具

分类	工具名称	测试场景	备注	特点
微型负载专用工具	TeraSort	文本数据排序	Hadoop自带的工具	应用场景较单一，但效率高、成本低。另外，它无法整体衡量大数据平台的性能。
	Gridmix	Hadoop集群性能	Hadoop自带的工具
	YCSB	NoSQL数据库性能	Yahoo
	LinkBench	存储社交图谱和网络服务的数据库	Facebook
	sysbench	MySQL基准测试工具	开源工具
	TestDFSIO	HDFS基准性能测试	Hadoop自带的工具
	PerformanceEvaluation	HBase性能测试	HBase自带的工具
	NNBench	Namenode硬件加载过程	Hadoop自带的工具
	MRBench	MapReduce小型作业的快速响应能力	Hadoop自带的工具
综合类测试工具	HiBench	微型负载搜索业务、机器学习和分析请求	英特尔	场景覆盖面比较广，能够较全面地考量大数据平台执行不同类型任务的性能，通用性好。
	BigDataBench	搜索引擎、社交网络和电子网络	中科院计算所
	CloudBM	云数据管理系统基准测试	CloudBM Web Solutions
	AMP Benchmarks	实时分析类应用场景	UC Berkeley Lab
	TPCx-HS kit	在MapReduce或spark流基础上的实时分析	TPC
端到端的测试工具	BigBench	大数据离线分析	TPC	实现了对企业特定业务的模拟，与企业的应用场景结合紧密，可以满足企业大数据业务全流程的模拟和测试。

BigBench

BigBench是一款面向商品零售业的基准，它扩展了TPC-DS，综合考虑多种数据模态，增加了半结构化数据Web Log和非结构化数据Reviews。其负载的生成是TPC-DS定制化的版本。BigBench包含30个查询。BigBench基本数据模型如图2所示：

 

 

BigFrame

   BigFrame是一个测试基准生成器[5]，用户可以根据自己的需求定制专有测试基准。在目前实现中，其关系模型与BigBench类似，也是基于TPC-DS。同时它扩展了半结构化和非结构化的数据Tweets以及图形化数据Followee/Follower。BigFrame基本数据模型如图3所示：

 

 详细内文见：https://cloud.tencent.com/developer/news/74744