谷歌发布万亿参数语言模型，语言模型何时超越人类语言能力？( 二 ) 【新智元导读】处理过程更加

文章图片
本周公布的万亿参数模型SwitchTransformer使语言模型变得更庞大，效果也变得更强大。

文章图片
图：SwitchTransformer编码块
畅想未来，语言模型潜力巨大
想象一下，聊天机器人可以理解你的任何想法：
他们会真正理解语境并记住过去的对话。而你会得到的答案不再是泛泛的回答，而是正切主题的。
搜索引擎将能够理解你的任何问题：
你甚至不需要使用正确的关键字，他们也会给出正确的答案。
你将得到一个了解你公司所有程序的「AI同事」：
如果你知道正确的「行话」，就不用再问其他同事问题了。当然，也不再会有同事和你说：「为什么不把公司所有文件都看一遍再问我？」。
数据库的新时代即将到来：
跟结构化数据的繁琐工作说再见吧。任何备忘录，电子邮件，报告等，将得到自动解释，存储和索引。你将不再需要IT部门运行查询来创建报告，只需要和数据库说一下就行了。
而这，还只是冰山一角——
任何目前仍需要人类去理解语言的过程，都正处于被破坏或被自动化的边缘。
Talkisn’tcheap：庞大语言模型耗费巨大
在构建宏伟蓝图的同时，别忘了，还有个「陷阱」在这里：
为什么这些算法不是随处可见?
一般情况下，训练这些模型大概率要花费极其昂贵的价格。举个例子，训练T5算法的云计算成本约为130万美元。

文章图片
虽然谷歌的研究人员非常友好地分享了这些模型，但是，针对当前的特定任务，如果不对它们进行微调，那么这些模型在具体任务中很可能就无法使用。
因此，即使大公司开源了这些模型，对于其他人来说，直接拿来使用也是一件代价高昂的事情。
而且，一旦使用者针对特定的问题优化了这些模型，执行的过程中仍然需要大量的计算能力和超长的时间消耗。
随着时间的推移，随着各大公司在微调上的投入，我们将看到新的的应用出现。
而且，如果大家相信摩尔定律，我们可以在大约五年内看到更复杂的应用。此外，可以超越T5算法的新的模型也将会出现。
2021年初，我们距离人工智能最重大的突破以及由此带来的无限可能，仅仅只有一步之遥。
参考链接：
https://venturebeat.com/2021/01/17/language-ai-is-really-heating-up/