机器学习个人总结
检索一些文献或者网页资讯,记录机器学习等人工智能领域的前沿技术介绍、展望、应用,了解我们国家的先进或不足,存在的卡脖子技术等(选取一种技术方向即可)
在加拿大温哥华举行的NeurIPS 2019会议上,机器学习成为最大的焦点。来自全世界各地的13000名研究人员探索了诸如神经科学、如何解释神经网络输出,以及AI如何帮助解决现实世界中的重大问题等。
其中Google AI负责人Jeff Dean在研讨会上进行演讲,讨论机器学习如何帮助应对气候变化带来的威胁以及机器学习如何重塑系统和半导体。
相信很多人对Google在使用ML创建机器学习半导体方面的早期工作、Google的BERT(NLP模型)对会话式AI的影响以及2020年值得关注的机器学习趋势非常感兴趣。VentureBeat就上述问题采访了Jeff Dean,具体采访内容篇幅过长,以自己的理解简要说一下。
-
提到已经证明非常有效的一件事情,是芯片的专门化(相对例如通用CPU而言)用以执行一些并非完全通用的、某些特定类型的计算。Google已经从更严格的计算模型(例如GPU甚至TPU)中受益匪浅。这些模型更为严格,但实际上是根据机器学习计算需要做的事情而专门设计的。相对于通用CPU,这实际上带来了相当多的性能优势。
-
对于BERT来说,这是重要的一年。到处都是BERT,以及各种BERT。BERT之所以有趣,是因为它建立在其他研究成果不断发展的基础上,BERT的种类取决于一年前完成的Transformer工作。Transformer工作确实是在解决与基于LSTM的早期序列模型相同的问题。对在一堆文本(任意文本)上进行预训练的BERT的微调,然后对关心的特定NLP任务进行微调,对于许多希望能够解决的NLP问题来说,是一个很好的范例。
-
像现在这样,BERT和其他模型可以很好地处理数百个作为上下文的单词,但10000个单词就处理不了。因此,这是一个有趣的方向。Jeff Dean认为
多模态模型
非常有趣,例如我们可以通过有趣的方式将文本与图像,音频或视频相结合。Google已经做了一些工作,社区的其他成员也做了一些工作,这在将来将变得越来越重要。 -
Dean认为与人工智能相关的工作将是重要的。总的来说,世界将不断提高技术水平,进行基础研究,以提高我们在许多重要领域的能力,比如NLP或语言模型、视觉或多式化的东西。机器人是一个很难解决的问题--让机器人在任意的环境中工作,就像一个大会议室里有椅子之类的东西,在过去的几年里,Google在这方面取得了相当大的进步。