Fork me on github

基于UnicodeData包,实现中文字符串规范化

import unicodedata
def normalize_str(s: str) -> str:
"""
规范化字符串。
在测试中,可能会遇到字符等价的问题,如字符“⾯”和“面”在语义上等价的,
但它们的编码不同,故需要进行Unicode规范化,以解决此类问题。
参见:https://xobo.org/unicode-normalization-nfd-nfc-nfkd-nfkc/
:param s: 待规范化的字符串。
:return: 规范好的字符串
"""
s_normalized: str = unicodedata.normalize('NFKD', s)
s_normalized.encode('utf-8')
return s_normalized
posted @   fang-d  阅读(25)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)
点击右上角即可分享
微信分享提示