基于UnicodeData包,实现中文字符串规范化
import unicodedata def normalize_str(s: str) -> str: """ 规范化字符串。 在测试中,可能会遇到字符等价的问题,如字符“⾯”和“面”在语义上等价的, 但它们的编码不同,故需要进行Unicode规范化,以解决此类问题。 参见:https://xobo.org/unicode-normalization-nfd-nfc-nfkd-nfkc/ :param s: 待规范化的字符串。 :return: 规范好的字符串 """ s_normalized: str = unicodedata.normalize('NFKD', s) s_normalized.encode('utf-8') return s_normalized
本文版权,除注明引用的部分外,归作者所有。本文严禁商业用途的转载。非商业用途的转载需在网页明显处署上作者名称及原文链接。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)