性能测试-Oceanus 测试FLink mysql到Iceberg性能

一、任务依赖信息

1、mysql测试库信息

地址：127.0.0.1、gomysql_bdg_test

库：bdg_test

表：order_info1

2、iceberg库

hive地址：thrift://127:7004

catalog-name：spark_catalog

Format版本:v2

库：iceberg_test

表：order_info1

3、kafka信息

地址：腾讯kafka

topic：test_wangshida_order

group：read-test-wang

分区数：10

4、任务信息

全量增量同步：test_mysql_iceberg_order_info3

mysql到kafka：test_mysql_kafka_order

kafka到iceberg：test_kafka_iceberg_order

 

二、元数据信息

1、mysql建表

CREATE TABLE `order_info1` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `order_number` bigint(20) NOT NULL COMMENT '订单号，由外部提供（全局唯一）',
  `user_id` bigint(20) NOT NULL COMMENT '下单的用户Id student_number'
PRIMARY KEY (`id`),
  UNIQUE KEY `orderInfoNumberUniqueIndex` (`order_number`),
  KEY `idx_create_time` (`create_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC COMMENT='订单信息'

 

2、iceberg建表

CREATE TABLE iceberg_test.order_info1(
  `id` bigint
  ,`order_number` bigint
  ,`user_id` bigint
)USING iceberg
TBLPROPERTIES('format-version'='2','property-version'='2','write.upsert.enabled'='true')

 

3、kafka信息

CREATE TABLE test_kafka_order(
    `id` bigint
    ,`order_number` bigint
    ,`user_id` bigint
) WITH (
    -- 定义 Kafka 参数
    'connector' = 'kafka',
    'topic' = 'test_wangshida_order',
    'scan.startup.mode' = 'earliest-offset', -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets / timestamp 的任何一种
    'properties.bootstrap.servers' = '127:9092',  -- 替换为您的 Kafka 连接地址
    'properties.group.id' = 'read-test-wang', -- 必选参数, 一定要指定 Group ID
    -- 定义数据格式 (JSON 格式)
    'format' = 'json',
    'json.fail-on-missing-field' = 'false',  -- 如果设置为 false, 则遇到缺失字段不会报错。
    'json.ignore-parse-errors' = 'true'    -- 如果设置为 true，则忽略任何解析报错。
);

 

 

三、任务配置信息

1、引用jar包

2、高级参数

pipeline.max-parallelism: 2048
security.kerberos.login.principal: bdg_app@EMR
security.kerberos.login.keytab: bdg_app.keytab
security.kerberos.login.conf: krb5.conf
containerized.taskmanager.env.HADOOP_USER_NAME: bdg_app
containerized.master.env.HADOOP_USER_NAME: bdg_app
rest.flamegraph.enabled: true

四、任务运行信息

1、全量同步性能

同步表	同步数据量	TaskManager规格	并发	全量花费时间	速率	mysqlcpu使用率	TaskManager内存使用率	延迟时间
order_info1	2 6119 6181	1CU	2	3小时26分	高峰2.42万条/s 低峰2.19万条/s	3.5%	88%	checkpoint设置一分钟情况下，一般下个checkpoint就可以写入，偶尔2个checkpoint
order_info1	2 6119 6181	0.5CU	20	37分	高峰14.24万条/s 低峰12.01万条/s	22.35%	83%	checkpoint设置一分钟情况下，一般下个checkpoint就可以写入，偶尔2个checkpoint 测试1条、10条、100条、1千条、1万条、10万条
order_info1	2 6119 6181	0.5CU	48	19分	高峰30.11万条/s 低峰21.05万条/s	57.2%	80%

资源情况如下，全量同步完成后可以缩减资源运行。可以全量阶段加资源，全量完成后保存checkpoint，然后缩减资源重启任务。

 

2、增量同步性能

数据表	更新数据量	TM规格	并发	花费时间	速率	mysql cpu使用率	备注
order_info1	1000 0000	2CU	1	6分钟	高峰4.05万条/s 低峰4.01万条/s	波动 0%	因使用binlog更新，在更新阶段对mysql无影响，cpu等mysql指标无波动。

3、更新数据性能

数据表	更新数据量	TM规格	并发	花费时间	速率	mysql cpu使用率	备注
order_info1	1000 0000	2CU	1	7分钟	高峰6.10万条/s 低峰6.03万条/s	波动 0%	1、更新操作是先删再增，统计数据实际2000万条数据操作。 2、因使用binlog更新，在更新阶段对mysql无影响，cpu等mysql指标无波动。 3、腾讯binlog消费速度没限制，阿里的有做限制，大多网络和磁盘io是瓶颈。 4、flink cdc读取binlog是单线程读取，对应Oceanus的1CU（1核4G）且只能使用一核。 分配过多的CU和并行度对速度提升较少。因写入iceberg也需要一些资源，建议增量阶段分配2CU 1并行度即可。提给Oceanus团队尝试优化Flink cdc期望有些逻辑可以并行处理。
order_info1	1000 0000	0.5CU	1	-	高峰0.86万条/s 低峰0.73万条/s	波动 0%
test_wangshida_order（kafka）	2100 0000	2CU	10	3分钟内	高峰29.17万条/s 低峰4.17万条/s	波动 0%	1、数据源数kafka开启10并行度，消费数据更新iceberg表。更新速度最高可达29万，3分钟内可以处理2000万数据。iceberg可以并行更新。

 

 

五、参数调优

修改参数：ALTER TABLE order_info3 SET TBLPROPERTIES('write.distribution-mode'='hash');

1、写入参数介绍

属性	默认值	描述
write.format.default	parquet	表的默认文件格式。parquet、avro、orc
write.delete.format.default	数据文件格式	表的默认删除文件格式。parquet、avro、orc
write.parquet.row-group-size-bytes	128 MB	Row Group大小，最细数据块大小
write.parquet.page-size-bytes	1 MB	Page最小存储单元
write.parquet.compression-codec	gzip	parquet压缩编解码器。zstd, brotli, lz4, gzip, snappy, uncompressed
write.parquet.compression-level	null	parquet压缩等级
write.avro.compression-codec	gzip	Avro压缩编解码器。gzip(deflate with 9 level), zstd, snappy, uncompressed
write.avro.compression-level	null	Avro压缩等级
write.metadata.compression-codec	none	元数据压缩编码。none、gzip
write.target-file-size-bytes	512MB	控制生成的文件的大小
write.delete.target-file-size-bytes	64MB	控制生成的删除文件的大小
write.distribution-mode	none	写数据的分布方式。none不处理；Hash按分区键散列；range如果表有SortOrder则按分区键或排序键范围分布
write.delete.distribution-mode	hash	写删除数据时分布方式
write.update.distribution-mode	hash	写更新数据时分布方式
write.merge.distribution-mode	none	写合并数据时分布方式
write.metadata.delete-after-commit.enabled	false	是否在提交后删除最旧跟踪版本元数据文件
write.metadata.previous-versions-max	100	提交后删除之前保留的旧版本元数据文件最大值
write.data.path	table location+/data	数据文件的基本位置
write.metadata.path	table location+/metadata	元数据文件的基本位置
write.delete.mode	copy-on-write	用于删除命令的模式:写时复制copy-on-write或读时合并merge-on-read(仅限v2)
write.update.mode	copy-on-write	用于更新命令的模式:写时复制copy-on-write或读时合并merge-on-read(仅限v2)
write.merge.mode	copy-on-write	用于合并命令的模式:写时复制copy-on-write或读时合并merge-on-read(仅限v2)
write.merge.isolation-level	serializable	合并命令的隔离级别:serializable、snapshot

 

2、表行为属性

属性	默认值	描述
属性	默认值	描述
commit.retry.num-retries	4	在失败之前重试提交的次数
commit.retry.min-wait-ms	100	重试提交之前等待的最小时间(以毫秒为单位)
commit.retry.max-wait-ms	60000（1 min）	重试提交前等待的最大时间(以毫秒为单位)
commit.retry.total-timeout-ms	1800000 (30 min)	提交的总重试超时时间(以毫秒计)
commit.status-check.num-retries	3	由于提交状态未知导致提交失败之前，连接丢失后检查提交是否成功的次数
commit.status-check.min-wait-ms	1000（1s）	重新尝试状态检查之前等待的最小时间(以毫秒为单位)
commit.status-check.max-wait-ms	60000 (1 min)	在重新尝试状态检查之前等待的最大时间(以毫秒为单位)
commit.status-check.total-timeout-ms	1800000 (30 min)	提交状态检查必须成功的总超时时间，以毫秒为单位
commit.manifest.target-size-bytes	8388608 (8 MB)	合并清单文件时的目标大小
commit.manifest.min-count-to-merge	100	合并前要累积的最少清单数
commit.manifest-merge.enabled	true	控制是否在写时自动合并清单
history.expire.max-snapshot-age-ms	432000000 (5 days)	快照到期时保留在表及其所有分支上的默认最大快照年龄
history.expire.min-snapshots-to-keep	1	快照到期时保留在表及其所有分支上的默认最小快照数
history.expire.max-ref-age-ms	Long.MAX_VALUE (永久)	对于除主分支以外的快照引用，在快照过期时要保留的快照引用的默认最大年龄。主干永不过期。

其它属性参考官网地址

 

六、测试结论

checkpoint设置1分钟场景下，一般情况下一个checkpoint就写入
1、一次写入10条，则下个checkpoint就进入
2、连续1分钟写一次，下个checkpoint就进入
3、删除数据，下个checkpoint就逻辑删除

 

七、更新数据

1、更新数据
update order_info1 set purchase_info_id='test6' where id>10000000 and id<=10100000;
update order_info1 set purchase_info_id='test6' where id>10100000 and id<=10200000;
update order_info1 set purchase_info_id='test6' where id>10200000 and id<=10300000;
update order_info1 set purchase_info_id='test6' where id>10300000 and id<=10400000;
update order_info1 set purchase_info_id='test6' where id>10400000 and id<=10500000;
update order_info1 set purchase_info_id='test6' where id>10500000 and id<=10600000;
update order_info1 set purchase_info_id='test6' where id>10600000 and id<=10700000;
update order_info1 set purchase_info_id='test6' where id>10700000 and id<=10800000;
update order_info1 set purchase_info_id='test6' where id>10800000 and id<=10900000;
update order_info1 set purchase_info_id='test6' where id>10900000 and id<=11000000;
2、插入数据
insert into order_info1 (order_number,user_id,sub_clazz_number,clazz_number,course_number,purchased_minutes,follow_order,order_status,time_expire,purchase_info_id,paid_time,pay_channel,create_time,original_price,spike_price_id,voucher_price,user_voucher_id,manual_price,price,refund_price,refund_time,order_type,parent_order_number,update_time,user_address_id,pay_number,coupon_price,activity_number,course_original_price,course_price,activity_type,activity_ext_info,activity_price,business_type,replay_limit,biz_line,app_version,app_id,service_period) SELECT id as order_number,user_id,sub_clazz_number,clazz_number,course_number,purchased_minutes,follow_order,order_status,time_expire,purchase_info_id,paid_time,pay_channel,create_time,original_price,spike_price_id,voucher_price,user_voucher_id,manual_price,price,refund_price,refund_time,order_type,parent_order_number,update_time,user_address_id,pay_number,coupon_price,activity_number,course_original_price,course_price,activity_type,activity_ext_info,activity_price,business_type,replay_limit,biz_line,app_version,app_id,service_period from order_info1 where id>10000000 and id<=12000000;

八、参考文档

1、iceberg官网-建表

https://iceberg.apache.org/docs/latest/configuration/

2、iceberg官网-flink写入

https://iceberg.apache.org/docs/latest/flink-connector/