2022年顶级AI研究

　　OpenAI与Politecnico di Milano，CMU和UC Berkeley共同获得了NeurIPS 2022最佳论文奖。

　　关于神经信息处理系统（俗称NeurIPS）的会议可以说是本年度最重要的机器学习聚会。像OpenAI和DeepMind这样的主要研究实验室展示了他们最引人注目的一些工作，成千上万的研究人员有机会进行交流和交流想法，并开展一系列冬季运动。

　　因此，将共享NeurIPS 2022最佳论文奖的论文称为2022年人工智能方面的最佳研究，就像将洛杉矶湖人队称为世界冠军一样极端。世界上的另一个团队可能会更好，但是他们已经完成了手续并除尘了。

　　上周，第三十四届年会是一次纯粹的虚拟活动。提交了超过一万两千份摘要，共提交了近9.500篇论文。尽管与2022年相比，提交的论文数量增加了40％，但只有20％的论文被接受（尽管有人可以认为这对于NeurIPS来说是相当不错的接受率）。

　　这个故事总结了分享2022年最佳论文奖的前三篇论文。对于那些无法参加会议的人，可以在线获取一些录制的演示文稿。

　　对于那些对AI和MLOps的世界感到好奇的人，Learning Rate是一份新闻通讯。每个星期五您都会收到我的来信，其中包含有关最新AI新闻和文章的更新和想法。在这里订阅！

　　语言模型

　　GPT-2的短篇小说写作技巧令世界震惊，OpenAI肯定会通过不发布整个模型来避免其所谓的有害影响（例如传播计算机生成的假冒文章）来宣传结果。

　　今年，实验室为我们带来了模型的第三次迭代，这是有史以来最大，最复杂的语言模型。该团队使用前所未有的计算量和数据量，创建了一个如此精确的模型，无需额外培训即可解决各种语言挑战。实际上，从电影场景到Python代码，仅需几个自然语言提示就足以使模型生成所需的任何内容。这被称为几次学习，因此标题为：语言模型是few-shot学习。

　　结果在语言挑战方面令人印象深刻，例如回答问题，生成合理的文本，评估评论情绪以及机器翻译。我谈到了像这样的系统在开发人员社区中可能带来的一些影响，并在下面的文章中研究了新的OpenAI API。

　　相关平衡

　　想象一个没有警察执行法律的世界。如果政府希望通过一项新法律并希望每个人都遵守该法律，则应设计该法律，以使任何人都没有动力去破坏它。

　　我们的行为取决于他人的行为，但它们也会影响他人的行为。为了合理地开始行为，在没有警察执行规则的情况下，我们应该消除这种相互依存关系，并取得一定的平衡。这就是经济学家和博弈论者所说的均衡。但是，创建自动程序来找到平衡点非常困难。

　　更重要的是，相关平衡描述了让外部信号向决策者提出建议的想法，决策者据此选择行动。一个具体的例子是交通信号灯。表示红色时，汽车应停止行驶。违反交通信号灯的建议将不会符合任何人的最大利益。

　　广义形式相关平衡的无悔学习动力学，Andrea Celli等人的论文（

　　proceedings.neurips/paper/2022/file/5763abe87ed1938799203fb6e8650025-Paper.pdf）。米兰理工大学（Politecnico di Milano）和卡内基梅隆大学（Carnegie Mellon University）的共同努力表明，即使部分地观察环境，完全独立发挥作用的学习算法也可以达到这种平衡。这项工作可能会对当今的"零工经济"产生重大影响，因为独立承包商，值班人员，临时工和在线平台工作人员都需要集中监督。

　　数据汇总

　　第三篇也是最后一篇文章是关于数据汇总的。有时，显示原始数据不切实际。这是因为数据可能非常复杂，也可能很大。因此，数据汇总旨在以一种可理解的方式概述大型数据集。

　　现在，这一挑战比以往更加重要。由于任何人都可以使用大型数据集，因此有效地表征它们的需求至关重要。因此，我们需要确定数据中可以形成代表性子集的某些属性。例如，如果我们有一个文本数据集，并且想要有效地提取数据集的主题，那么我们应该确定某些可以创建代表性子集的文档。

　　到现在为止，这个问题一直被认为是棘手的。但是Micha?Dereziński等人的工作（

　　来自伯克利的研究表明，这些分析过于悲观。这篇题为"改进的保证和用于列子集选择和Nystrom方法的多重下降曲线"的论文得出的结论是，我们将尽快创建准确，可解释且有效生成的数据摘要。这将大大增强我们吸收和处理复杂数据集的能力。

　　关于作者

　　我叫Dimitris Poulopoulos，我是Arrikto的机器学习工程师。我已经为主要客户设计并实施了AI和软件解决方案，例如欧盟委员会，欧盟统计局，IMF，欧洲中央银行，经合组织和宜家。

　　所表达的观点仅是我自己的，并不代表雇主的观点。