谷歌发布万亿参数语言模型，语言模型何时超越人类语言能力？【新智元导读】处理过程更加

【新智元导读】处理过程更加复杂的人类语言模型在近几年得到了迅速发展，近日Google提出万亿参数语言模型SwitchTransformer ，进一步提高了语言模型可以达到的顶峰。这一切都表明，语言模型领域正处于「快速升温」的阶段，未来如何，我们拭目以待。
在短短几年时间里，深度学习算法经过了飞速的进化，已经具有了可以打败世界最顶尖棋手的水平，并能以不低于人类识别的准确度来精确地识别人脸。
但事实证明，掌握独特而复杂的人类语言，是人工智能面临的最艰巨挑战之一。
这种现状会被改变吗?
如果计算机可以具有有效理解所有人类语言的能力，那么这将会彻底改变世界各地的品牌、企业和组织之间打交道的方式。
可媲美人类的视觉识别模型「率先登场」
直到2015年，能够以与人类相当的准确率识别人脸的算法才出现：脸书DeepFace的准确率为97.4% ，略低于人类的97.5% 。
而作为参考， FBI的面部识别算法仅达到85%的准确率，这意味着仍然有超过七分之一的情况是错误的。
FBI的算法是由一组工程师手工设计的：每个功能，比如鼻子的大小和眼睛的相对位置，都是手动编程的。
而Facebook的算法则主要处理学习到的特征，它使用了一种特殊的深度学习架构，称为卷积神经网络，这个网络模仿了我们视觉皮层不同层次处理图像的方式。

文章图片
Facebook之所以能够做到如此高的准确率，是因为它恰当的利用了可以实现学习功能的架构和数百万用户在分享的照片中标记好友的高质量数据，这两个元素成为了训练好的视觉模型可以达到人类识别水平的关键。
多语种高精度语言模型「姗姗来迟」
相比起视觉问题，语言似乎要复杂得多——据我们所知，人类是目前唯一使用复杂语言交流的物种。
不到十年前，如果要理解文本是什么，人工智能算法只会计算特定单词出现的频率。但这种方法显然忽略了一个事实:单词有同义词，而且只有在特定的上下文中才有意义。
2013年， TomasMikolov和他在谷歌的团队发现了如何创建一个能够学习单词含义的结构：
他们的word2vec算法可以将同义词之间彼此映射，并且能够对同义词的大小、性别、速度进行建模，甚至还可以学习到诸如国家和首都等函数的关系。

文章图片
然而，仍有很重要的一部分没有得到处理——语境（上下文关系）。
这一领域的真正突破出现在2018年，当时，谷歌重磅引入了BERT模型：
【谷歌发布万亿参数语言模型，语言模型何时超越人类语言能力？】JacobDevlin和他的团队利用了一种典型的用于机器翻译的架构，并使其学习与句子上下文相关的单词的含义。通过教会这个模型去填补维基百科文章中缺失的单词，这个团队能够将语言结构嵌入到BERT模型中。

文章图片
仅用有限数量的高质量标记数据，他们就能让BERT适应多种任务，包括找到问题的正确答案以及真正理解一个句子是关于什么的。

文章图片
因此，他们成为了第一个真正把握语言理解的两要素的人:正确的架构和大量高质量的数据。
2019年，脸书的研究人员将这一研究进行了进一步的推进：
他们训练了一个从BERT衍生出的模型，令其同时学习100多种语言。训练的结果是，该模型能够学习一种语言的任务，例如英语，并使用它来完成其他任何语言的相同任务，如阿拉伯语、汉语和印地语。

文章图片
这个语言无关模型在语言上可以与BERT有相同的表现，此外，在该模型中，语言转换过程中的一些干扰的影响是非常有限的。
在2020年初， Google的研究人员终于能够在广泛的语言理解任务中击败人类：
谷歌通过在更多数据上训练更大的网络，将BERT架构推向了极限——现在，这种T5模型在标注句子和找到问题的正确答案方面可以比人类表现得更好。
而10月份发布的语言无关的mT5模型，在从一种语言切换到另一种语言的能力方面，几乎可以与双语者一样出色。同时，它在处理语言种类方面有着不可思议的效果——它可以同时处理100多种语言。