AI 2021 年度报告
建议大伙有空还是自己亲自读一下,虽然有点长,188页ppt。
很多诸如deepmind在生物医学方面的突破什么的,大家自己也能总结出来,但总体上信息量还是比较大的。这里分享一些还记得的有趣点。
NLP今年的热点不再是大型pretrained+fine tune, 而是pretrained,prompt, predict。这个基于prompt的预测,很有意思,背后有很多的哲学思想。GPT-3出来时,为什么有人在说是不是通用模型时代快到来了,提到的就是大型语言模型这方面的能力,读书无数,自然无所不知。
自动写代码貌似不是说说玩着来的,OpenAI的Codex在继续努力,某些时候表现还是很可以,总体上需要继续努力。
transformer衍生到cv领域了。CNN的最大问题就是context没有很好的利用,transformer正好擅长这方面,所以渗透到各个领域也不是什么稀奇事。当然,CNN在CV里的重要地位使得它是绝对不可抛弃的,所以下一代自然就是transformer+cnn。
中国的ai在学术领域的重要度继续走高,必须proud。
AI道德问题更加重视,年初的谷歌事件也榜上有名。当然还有各种后续。对我国的各种AI应用的使用的各种指指点点还在继续。
苹果的neural hash是不是违反侵犯隐私。随着数据隐私越来越敏感,这种乱七八糟的fingerprint,hash暂时是一种比较保险的利用用户数据的方法。
女性比例继续持低,在中国居然只有4%,而印度高达30%。
deepmind想脱离谷歌,希望以非盈利组织的身份进行AGI的研究。
欧洲在gdpr之后,继续突出关于AI的管理条例,而且必须有专门组织对其是否compiant作出评估。
。。。
打住剧透。
作者简介:
Dagis: 现居住在瑞典,某AI公司的Data Scientist, 学习通信出身,喜欢数学,更喜欢把数学用于实际。