04 2023 档案

[protobuf] 0值不显示
摘要：在protobuf中，如果一个字段的值为默认值（例如数字类型为0、字符串类型为""、枚举类型为第一个枚举值），并且该字段未被设置，那么默认值将不会被序列化成对应的二进制数据，也就是不会被显示。这是因为protobuf默认会优化掉这些默认字段，从而减小序列化后数据的大小。 如果需要显示这些默认值，可以 阅读全文
posted @ 2023-04-24 09:10 蛇啊蛇啊 阅读(1375) 评论(0) 推荐(0) 编辑
hiveSQL mapreduce任务调优
摘要：set hive.merge.mapredfiles=true; --在Map-Reduce的任务结束时合并小文件 set mapred.max.split.size=30000000; -- 决定每个map处理的最大的文件大小，单位为B --set mapred.min.split.size=10 阅读全文
posted @ 2023-04-21 13:35 蛇啊蛇啊 阅读(34) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示