字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析

在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将详细介绍这个问题。

字符串相似度

当我们有两个数字时，我们可以通过从一个数字中减去另一个数字并观察结果的符号和大小来轻松比较它们。这种比较方式也可以用于向量，并且有许多方法可以做到这一点。例如常见的：余弦距离、欧几里得距离、曼哈顿距离、闵可夫斯基公式的p距离等等

但是对于字符串来说就比较复杂了，因为有时需要比较单词、句子或一般的字符串。一种简单的方法是比较字符串或单词之间的公共字母。

总的来说，有三种主要类型的算法用于衡量字符串的相似度，我们将一一介绍：

1. 基于编辑的算法
2. 基于令牌的算法
3. 基于序列的算法

https://avoid.overfit.cn/post/43c11a3fee684fecb81eebf5647159aa