大数据平台-元数据详情字段乱码问题排查过程
问题背景:
大数据平台中,数据资产(表、字段都属于资产)存储在Hive数据库中。用户可以搜索、点击查看元数据列表、详情等操作。
问题现象:
点击元数据详情,查看字段信息时,展示出的字段信息出现乱码现象。
问题原因:
初步分析大致又两种可能:
- 平台后端服务获取到数据时,无乱码问题,经由平台服务处理后展示时出现转码异常。
- 平台后端服务获取到的数据就已经时乱码,说明Hive元数据中存储的数据存在乱码(表名:COLUMNS_V2)。
由于第2个问题方便验证,直接先验证第2种可能。
(不了解Hive架构的需要补一下课 https://www.cnblogs.com/qingyunzong/p/8710356.html#_label1 )
问题排查
果然,发现Hive元数据库Mysql对应存储字段的表中COLUMNS_V2,存在乱码问题。
问题解决
//todo 待学习
ps:联系运维处理