5分钟NLP：Python文本生成的Beam Search解码
贪婪搜索是在每个时间步中选择概率最高的单词，也是我们最常用的一种方法，Beam Search不取每个标记本身的绝对概率，而是考虑每个标记的所有可能扩展。然后根据其对数概率选择最合适的标记序列。
例如令牌的概率如下所示:
例如，Pancakes + looks时间段1的概率等效于：
Pancakes looks so = log（0.2） + log（0.7）= -1.9Pancakes looks fluffy = log（0.2） + log（0.3）= -2.8
所以我们需要定义一个函数来完成整句的概率计算：
完整文章：
https://avoid.overfit.cn/post/ba2eb47bb35d43d99fb58333d37f13cb
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了