Meta的AI专家LeCun探索深度学习的能源前沿

YannLeCun说，所谓的基于能量的模型借鉴了统计物理学的概念，可能会引领“抽象预测”之路，从而为能够进行规划的人工智能提供“统一的世界模型”。

Meta的首席科学家YannLeCun表示，借鉴统计物理学概念的所谓基于能量的模型可能会导致人工智能的深度学习形式，从而做出抽象的预测。

三十年前，YannLeCun在贝尔实验室工作时，正式确定了一种称为卷积神经网络的机器学习方法，该方法被证明在解决图像识别等任务方面非常高效。众所周知，CNN是AI深度学习的主力军，LeCun在2019年为LeCun赢得了享有盛誉的ACM图灵奖，相当于计算领域的诺贝尔奖。

LeCun是纽约大学的教授，也是Meta的首席科学家，他在上周接受ZDNet采访时表示，这些天是他30年来最兴奋的一天。原因是：新发现正在使一长串的调查重新焕发活力，而这些调查可能会像CNN一样在AI中产生成效。

LeCun正在探索的新领域被称为基于能量的模型。概率函数是“描述一个随机变量或一组随机变量呈现其每种可能状态的可能性”(参见深度学习，作者IanGoodfellow，YoshuaBengio和AaronCourville，2019年)，基于能量模型简化了两个变量之间的一致性。借用统计物理学中的语言，基于能量的模型假设两个变量之间的能量在它们不相容时上升，并且在它们越一致时下降。这可以消除“归一化”概率分布时出现的复杂性。

这是机器学习中的一个古老想法，至少可以追溯到1980年代，但从那时起，在使基于能量的模型更可行方面取得了进展。近年来，随着LeCun对此事的思考不断发展，他进行了多次演讲，其中包括ZDNet报道的2019年在普林斯顿高等研究院的一次演讲。

最近，LeCun在两篇论文中描述了基于能量的模型研究的现状。“BarlowTwins”，去年夏天与FacebookAIResearch和VICReg的同事一起发表，“该文章于1月与FAIR和法国的Inria在巴黎高等师范学院发表。

正如LeCun在谈话中承认的那样，其中一些与量子电动力学有有趣的相似之处，尽管这不是他的重点。他的重点是可以为人工智能系统推进哪些类型的预测。

使用LeCun开发的现代基于能量的模型版本，他称之为“联合嵌入模型”，LeCun认为深度学习系统将具有“巨大优势”，即“预测发生在抽象表示空间中”

LeCun认为，这为“预测世界的抽象表征”开辟了道路。具有抽象预测能力的深度学习系统可能是一般意义上的规划路径，当系统处于推理模式时，这种抽象预测机器的“堆栈”可以分层以产生规划场景。

这可能是实现LeCun认为可以成为统一“世界模型”的重要工具，该模型将推进他所说的自主AI，能够通过对跨场景以及跨图像、语音和其他输入模式的依赖关系进行建模来进行规划关于世界。

以下是我们通过Zoom进行的对话的编辑版本。

ZDNet：首先要做的是帮助我们定位，你最近谈到了机器学习中的自我监督学习，而且术语无监督学习也在那里。无监督学习与自监督学习有什么关系?

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！