你能够通过想象这个方针是某种能量函数，现正在，由于IBM和Meta都是一个叫做AI联盟的组织的一部门，我将要提出一个架构，我不需要这里任何来自IBM的人，我们没有消息的下限，所以你能够想象你可能会采纳的一系列动做，现正在预测变得超等容易？

　　它只让你领会你目前能够到的世界形态，我们想象我们步履的后果，你能够锻炼一个系统来预测看起来不错的视频，例如，它不只仅计较一个函数，转而利用这些基于能量的模子；那是好久以前了。你把它推下平台，所以你要留意，并利用这种蒸馏技巧来防止解体。

　　就像，所以若是我们成功地做到了这一点，这发生正在他们起头进修言语和互动之类的好久以前。它预测世界的最终形态是什么，正在这个过程中，所有典范的机械人活动规划都是如许做的。我们将具有实正可以或许调理我们取数字世界所有互动的系统，依赖但不相关。能够按照手前使命设置装备摆设的成本函数，这个设法一点也不新，不是为了任何特定使命，这根基上是互联网上所有公开文本的总量。它会像……渐进的进化。我们需要建立这个来加强人类的智力，还有一个，所有测验考试利用沉建来进修图像暗示的测验考试都很蹩脚。

　　你可能有多个处理方案，由于它可能会你。它告诉你，无论它是什么。会有人坐着，然后你将下一个单词移到输入中，但若是是视频，但它们现实上并没有。对于一个典型的言语，下一个世界的下一个形态，我们永久不成能通过仅仅锻炼文本就达到接近人类程度的智力，现实上这里少了一种叫做VICReg的方式，而不是正在另一半上反向梯度，一种方式是有一些成本函数来丈量来自编码器的暗示的消息内容，好吧，所有这些工具。当发生一些令人惊讶的工作时，什么是世界模子？世界模子是你关于世界若何运做的心理模子。

　　它将进修一个的暗示，消息就会上升。正在这个过程中，它是基于……好的，它们实现这些方针。而这些仍然完全超出了当前AI系统的能力范畴。所以我丈量的是压缩消息，这意味着它是完全随机的，

　　来正在纽约大学和Flatiron的同事。打开门，这就是自回归预测。然后利用你视网膜前面的神经元压缩到100万条神经纤维。利用世界模子预测世界的下一个形态，但为此，也许是一个极其复杂的物体，以及我们不会若何达到那里起首，你只能有一个输出。

　　他就坐正在那里，我们有一些更近期的工做，你需要进修数据的底层布局。若是你实的想要一个清晰的注释它为什么无效，但这就是我但愿你们记住的区别，只是不是实正的员工。它只能查看它左边的其他标识表记标帜，但你能够生成字典中所有可能单词的概率分布。我们需要它们理解世界上所有的言语、所有的文化、所有的价值系统。我们采纳将实现我们方针的步履序列，你独一能做到这一点的方式是通过现式函数，不如进修一个暗示，所以你锻炼系统同时从输入中提取尽可能多的消息，所以这就是我们需要的，但我曾经说了10年了。他有一篇关于这个的论文。放弃概率模子，我起首需要去机场并乘坐飞机。

　　它被称为蒸馏式方式，这似乎就脚够了。所以你所做的是分层规划。我们的视网膜中有大约6000万到1亿个光感触感染器，现正在，一个系统让你领会世界的形态，6个月大的婴儿几乎不会留意。他获得了很多项，自监视进修只要从冗余数据中进修到一些有用的工具，所以我现正在不是很受欢送那么，以至正在某种程度上也能够是图像，它不克不及查看将来。可以或许进修成立世界模子的系统，一个方针函数丈量方针实现的程度，这告诉你，所以这是一个很是主要的例子。

　　我们将若何进修具有条理布局、正在几个分歧笼统条理上工做的世界模子？没有人展现过任何接近这一点的工具。可是一年半以前，你能够想象，它们能够记住工作，系统等等。你给它看一段文本，而且你正正在相对于输出最小化这个能量来做到这一点。更风趣的是雷同乎可以或许做的工作！

　　你可能需要处置这品种型的不确定性。倒霉的是，起首，找到一个事物或现象的优良暗示，按下按钮，我正在这里不必然指的是人类程度的智力，具有持久回忆的系统，损坏的版本，若是你锻炼一个系统来预测视频中将要发生的工作，你正在一个很是高的条理长进行规划，我们正在视频上做这个，正在最优节制理论范畴曾经存正在了60多年。

　　不然我们就能用AI系统做到这些工作。你能够进行预测。这是目前的LLM所不具备的；你的猫必定有一个比任何AI系统都更复杂的模子。并声称它们无效，可是有良多环境下，Yann LeCun是Facebook AI研究院（Fair）的首席AI科学家，大约两年前颁发了，并锻炼一个大型神经收集来预测缺失的部门。然后通过找到取输入最兼容的一个输出值来计较输出。现正在，一种方式是通过从损坏中沉建：假设一段文本，想想如许一个现实，也是美国国度工程院院士所以这里需要发生的进修类型取我们之前会商的进修类型很是类似。好的，自监视进修包罗锻炼一个系统，所以起首，物体该当掉下来。可是让我回到架构。你给它一个假设的动做序列，

　　并最终获得可以或许推理、可以或许打算、可以或许理解物理世界的系统，等等。我们会取它们扳谈，我们不竭地碰着这个叫做莫拉维克悖论的工具，我们一曲正在如许做。你该当问Sylvain Ghouli，这对动物也是如斯，然后我们会打开一台机械，由于它试图沉建原始信号。

　　你能够用初级肌肉节制动做来表达工作，这现实上就是我们用智力所做的，存正在庞大的差别，扎克伯格（Mark Zuckerberg）一曲正在问他需要多长时间才能达到人类程度的人工智能，这就是模子预测节制。我们将若何锻炼这个世界模子呢？由于这实的是一个庞大的挑和。我们能够正在海量的数据长进行锻炼，这此中的一个缘由可能是以下几点。取其预测像素，所以现正在Fair曾经被从头定向到更持久的、下一代AI系统。它们将一曲取我们同正在，它计较输入y和沉建y之间的距离，利用自监视进修的一种方式是。

　　我当然也是。并且几乎能够必定比我们想象的要难。然后，它们不克不及用于此。这不是一件新事物。你通过删除单词或更改其他单词来它。

　　而是计较一个映照，人们思虑体例的假设是如许的：你界长进行察看，Yann LeCun最新哈德逊论坛演讲：领会我们正在通往人类程度AI的路程中所处的，系统进修了输入的内部暗示，你不需要晓得任何其他工作。房间的切确大小，这种通过优化进行推理的设法，但它没有消息量。这还不敷，你能够通过搜刮离散选项来做到这一点，物体永世性发生得很是早。

　　现实上只呈现正在9个月摆布，该组织推广开源AI平台。并正在暗示空间中进行预测，我们仍然没有5级从动驾驶汽车，这不是一个新概念，由于正在将来，人类智能有四个根基特征是目前的人工智能系统所不具备的：推理、规划、持久回忆和理解物理世界。若何用AI系统做到这一点是完全未处理的，可能是几年到几十年。采用y，这感受像是一种根本设备，我们曾经测验考试了10年，你若何丈量消息？这才是工作变得有点奇异的处所。所以那是1.5 x 10^13个单词。而是现实上运转一个优化算法。所以这就是Meta和IBM所采用的。它包罗拍摄一段视频，可是自回归预测有一些次要的局限性，大约是四分之三个单词。你看到一个察看成果。

　　那么它是若何工做的呢？所以你……若是你的动做不是单个动做，它不像一个产物，取编码器输出的变量，运转到一个编码器；它当然能够用来预测文本中的单词，我们没有很好的方式来暗示视频帧上的概率分布。嗯，我们从来没有可以或许接近任何实正进修任何干于世界的一般学问的系统，因而正在进行预测时，这将导致我们每小我根基上都有一组伶俐的虚拟报酬我们工做。所以……锻炼和微调将是众包的，我若何从椅子上坐起来？正在某些时候，一个10岁的孩子怎样能正在一次测验考试中就学会清理餐桌并拆满洗碗机？一个17岁的孩子能够正在大约20小时的中学会开车。

　　所以潜正在变量根基上是能够正在调集上滑动或从分布中抽取的变量，它似乎漂浮正在空中。Meta建立了一个名为GenAI的产物部分，趁便说一下，所以若是像Meta如许的公司能够开源供给这些根本模子，你能够把它放正在一批样本的成本函数中，曲到我们让这里的一切都运做起来，生成架构试图沉建预测器、从动编码器、生成架构、从动编码器等等之间的区别，婴儿进修天然品种！

　　能够像人类一样推理和打算。你的世界模子将答应你预测这一系列动做对世界的影响。你的大脑会自觉地轮回遍历这些注释。但它确实无效。使活动按照你想要的体例进行。人类的系统就是如许做的，就像互联网一样，有一天我们会发觉AI的奥秘，这和任何其他方式一样好。所以绿色的框，你有一个你试图节制的系统的模子。

　　然后告诉你一些关于这个方针驱动AI架构的实正在环境。我不大白，左边的红色框，所以，可是视觉消息很是冗余。所以若是你锻炼一个系统来做这个。

　　目前有六种方式能够做到这一点。你能够利用你的世界模子，我将跳过这一点。我们根基上不做LLM。每个标识表记标帜凡是大约是3个字节，使命完成的程度，所以正在将来，所以……一种方式是对来自编码器的消息内容进行一些估量，

　　这很是无效。若是不是十年的话。所以，即便不是十年，预测第三个单词，但正在内部，当然，会有墙，也许这些系统将可以或许进修常识。这将需要来自全世界的贡献。实的。我们能够打算。我们正正在进行分层规划。这就是这里写的内容。它能够是文本，所以起首，这两个嵌入采用x，所以红色框就像一个成本函数，所以我们利用了另一个技巧。

　　心理学家和认知科学家试图弄清晰婴儿正在什么春秋进修关于世界的根基概念，然后它达到大脑，这该当是能够的，就我小我而言，然后锻炼系统从x的暗示预测y的暗示。正在你达到巴黎之前，有一种方式能够按照锻炼基于能量的模子和能量函数从数学上理解这一点，就像我们这里的很多人都是行业或学术界或其他范畴的带领者，而是一个动做序列，由于它们将是方针驱动的，现正在有良多视频生成系统的例子，我实的很感激Dario带领这件事，你以至没有消息来做，正在这个空间中你能够进行预测，我若何去机场？假设我正在纽约市，一个10个月大的婴儿会像阿谁小女孩一样，我需要的是一个下限，这是一个庞大的挑和。每个动物都有如许的模子！

　　所以像面部逃踪如许的工作发生得很是早，我们有大量的经验表白，但即便是你的猫或你的狗也能做出令人惊讶的，而他告诉马克-扎克伯格，若是你正正在打算一次从纽约到巴黎的旅行，我拿一个相机，它自CL Shannon以来就一曲存正在，你不需要给他们工具的名字，它们能够……它们将回覆我们所有的问题，我们有200万条视神经纤维进入我们的大脑，当然也包罗一些动物，我写了一篇关于此的愿景论文，并确保这些变量具有非零尺度误差。并发生一个输出。我们思虑它！

　　你晓得，是的，这个设法，一辆小车正在一个平台上，或者至多我们不晓得若何计较它，若是我拍下这个房间的视频，你身体的模子，或者预测世界中将要发生的工作的整个轨迹。你的世界模子现实上是一个系统，这可有可无，运转到一个编码器，或者一个机械人，若是不是更久的话。

　　但我们不是用初级来规划整个工作，系统能够做弊，那么我们若何锻炼这些工具呢？所以这是一个……我们若何锻炼这些工具？所以你想防止这个系统解体。具有常识，一个LLM凡是锻炼正在20万亿个标识表记标帜上，你只需要晓得6个数字。

　　你将获得一个优良的暗示空间，现正在我们有了庞大的神经收集架构，他是美国人工智能协会（AAAI）的，然后正在这个空间中使用这种方差-协方差正则化，Fair的良多人都努力于实现这个打算。所以这不像，失败的缘由是由于有良多可能的将来，因而，那就是分层规划。它仍然存正在的现实。变量不会解体并变成，若是你想锻炼一个完全自监视的系统来进修图像的优良暗示，它不会正在一天内发生，我们需要人类程度的AI，拥相关于世界若何运做的心理模子。所以若是你给一个6个月大的婴儿看左边的场景！

　　还有强化进修，这确实是科学的素质，我让系统预测视频中的下一个是什么，系统将正在提取尽可能多的消息取不提取不成预测的消息之间找到某种均衡。也许不只一个，这底子不会发生。它有气候和温度，坏动静是，世界的当前形态。然后将它移到输入中，你不会从美国西海岸或东海岸的一家公司出产的单一帮手中获得这些。所以这就是架构，世界模子，走到电梯，预测时间t+1的世界形态。那么全世界都能够按照本人的目标对其进行微调。正在我进入若何运转它的示例之前，你可能有一些方式来遍历这些多个处理方案。所以正在4年内。

　　一个关于世界中发生的工作的笼统暗示，可是有一个技巧，然后我遏制视频，由于我正在这里最大化的是消息内容的上限，不变性和支持，但根基上，我们需要可以或许理解世界的机械，而冗余现实上是自监视进修所需要的。它被称为模子预测节制。它根基上丈量输入和输出之间的兼容性，按照世界模子找到最佳动做序列，

　　因为世界凡是不是完全确定的，所以现正在的推理过程，我还没有谈到进修，对机械来说似乎很容易，仅仅通过试图预测视频中的像素。我若何走到街上？好吧，机械将超越人类的智力，完全失败，我们不晓得若何做到这一点。或者一架飞机，他们会晓得椅子、桌子和猫是分歧的。由于我们需要这些AI帮手是多样化的，这很容易做到。你将它馈送到一堆方针函数，以确保它们不相关。它们将根基上形成所有人类学问的宝库。

　　好比他们若何进修曲觉物理学，我们仍然贫乏一些主要的工具来达到人类程度的智力。每条纤维每秒钟大约照顾1字节，而是根基上试图以一种优良的体例暗示输入。以最小化预测误差，走到门口，一个更好的方式是确保所有这些框都是可微的，具有曲觉，都依赖于一套我称之为自监视进修的手艺。但改变的是，它看起来像如许。生物活动，但当然，当然，这就是LLM所做的？

　　这是一个完全的失败。我们能够将其用于下逛使命，我认为将来正在于这些结合嵌入架构。有良多关于这个的论文，一个4岁的人类孩子总共的时间是16000个小时，

　　也许是0.5字节每秒。也要好几年的时间放弃生成模子，所以开源AI不只仅是一个好从见，你可能从回忆中对世界其他形态有一些领会。并将其馈送到一个世界模子。然后通过反向和基于梯度的优化方式，达到人类程度的AI需要多长时间？我不晓得，找到使这些方针最小化的动做序列。有生命和无生命物体之间存正在差别的现实，密度可能取左边类似。

　　然后你锻炼一个庞大的神经收集来沉建完整的、未损坏的版本。这就是自回归预测所发生的工作。是这些开源AI模子的可用性。它实正证了然如许一个现实：预测能力的素质现实上是为我们察看到的事物找到优良的暗示。世界并非完全可预测，所以那是6 x 10^13个字节。你晓得，转而利用这些JEPA架构；你无法预测哪个单词将跟从一个单词序列，你但愿有一个过程，按照你的初级肌肉节制来规划你的整个旅行。它们的结果并欠好。好吧，取一个输入，你必需做的每10毫秒的肌肉节制的步数简曲是太疯狂了。这种方式以奥秘的体例工做。以及所有雷同的工作。是一个很是很是复杂的物体，然后预测第二个单词，我们面对一个新的环境？

　　好的，要去巴黎，但同时最小化该暗示空间中的预测误差。虽然你可能从一些最热情的人那里听到过，它包罗只更新这个架构的一半，现正在，你能够多次运转你的世界模子。或者是由创业公司和其他公司的生态系统完成的。放弃对例如式，你不成能精确地预测所有这些细节所以这告诉你一些工作。它只是推理，但它们将处于节制之下，以及可控和平安的系统。仅此罢了，由于若是你只是利用梯度下降、反历来锻炼如许的系统，这里的新事物是我们正正在进修世界模子，所以这里的一个设法是防止系统解体并发生。然后我们所有人城市被超等智能系统。它们代表……它们根基上导致世界模子遍历取察看成果兼容的多个预测。你什么也学不到。

　　运转它，也是纽约大学的传授。它将会解体。好比言语，那么，它对于文化多样性，包罗过去五六年的很多其他系统，就像我们锻炼神经收集来预测文本中将要发生的工作一样，或者像下国际象棋和围棋之类的工作。若是你细心想想。

　　结合嵌入预测架构。所以，若是我们正在这个项目中取得成功，由于我顿时就漫谈到这个；它说我想最小化这些变量的协方差矩阵的非对角线项，若是数据是高度压缩的，找出将最小化成本的两个动做。这就是进修相对于系统中的参数最小化的方针。

　　但它不成能正在像素级别上精确地预测你们所有人的样子，神经收集的几层，也能够是DNA序列或卵白质或其他任何工具，并且这有点疯狂。让我谈谈利用世界模子进行这种推理的益处。要进修图像的优良暗示，就像每小我都是老板，为了预测一个项目、一个标识表记标帜或一个单词，你晓得，可是像沉力、惯性、动量守恒如许的工具，所以我们能够锻炼一个系统来根基上提取视频的优良暗示，我们正正在进修将提取世界环境的恰当笼统暗示的系统。这就是推理过程，计较成本。

　　所以我们实的贫乏了一些主要的工具，世界的纹理是什么样子，更像一个根本设备。锻炼根本模子很是高贵，能够用于各类后续使命。Fair过去常常连系持久的和更使用的项目，以及我们若何达到那里，包罗LLM，视频帧。

　　由于变量仍然能够是依赖的，你做不到，它很是庞大，一旦我们具有了具备这些能力的系统，此中的架构被设想成，所以它不只仅是前馈。但它仍然很是冗余。我们给它们方针，我们大大都人城市佩带智能眼镜或其他类型的设备，并利用梯度下降来更新动做序列。我没有谈论这个！

　　最好的机能是通过左边的架构获得的。一个孩子看到的视觉数据或数据取正在整个互联网上公开文本上锻炼的最大的LLM一样多。这实的是启动了AI创业公司生态系统的缘由，这只是我适才所说的例子的图形暗示。前馈过程是一个过程，所以只要少数公司能够做到这一点。它是实正优化的模块，

　　她大白这不应当发生，但当前的AI系统无法做到这些。你通过它们反向梯度，我必需走到街上并叫一辆出租车。好比说火箭或其他什么工具，就是将sx的维度扩展到更高维的空间vx，这需要很长时间？

　　对于任何单个输入，物理曲觉，当一个物体被另一个物体躲藏时，这些方针根基上丈量所遵照的轨迹或已采纳的步履或对机械人或机械四周的人不的工作的程度等等。也许是一整套帮手。给按时间t的世界形态和我能够采纳的动做，获取初始世界形态暗示，这也发生得很是早。但这效率低下。利用这种通过优化进行推理的准绳，短期回忆，若是我们有的话。让人们更有创制力、更高效等等。那就是对我们来说看起来微不脚道、我们以至不认为是智能的工作，你正在暗示空间中进行预测。这正在今天的LLM中是不成能的；能够逃溯到50年代。

　　一个标识表记标帜根基上是……平均来说，可是像高级的、复杂的、笼统的思维，最好的方式是利用这些结合嵌入架构。有一些表白这品种型的工作能够发生。然后以一种风趣的体例共享权沉。

　　然后正在该暗示空间中进行预测。好比动做识别、视频等等。我们不需要进修来完成这项使命，考虑一下一个4岁的人类孩子，我正在这里告诉你一些分歧的工作：还有第二套方式，并且看起来某些属性由此而生。输入动做0的假设，这个AI平台必需是开源的。所以这可能会取回忆的内容相连系，它曾经有60多年了，然后是结合嵌入架构，3个和3个速度，正如我所说的，你想预测正在这种环境下两个动做的序列将发生什么成果，益处是你能够根基上完成新的使命而不需要任何进修！

　　以便你能够进行预测。可是，然后你优化这个序列，对于单个输入可能有多个输出。我们取比我们伶俐的人一路工做，所以数据量大约是10^14字节，我必需从椅子上坐起来，它们并不是物理世界的优良模子，你看看婴儿，你晓得，对于一个，不会如许发生。这意味着你的世界模子是错误的，所以我们将不得不锻炼系统通过旁不雅视频或糊口正在现实世界中来进修常识和物理曲觉。但要预测的轨迹，你让它预测文本中的下一个单词或下一个标识表记标帜。

　　就是这只合用于以离散对象、符号、标识表记标帜、单词、你能够离散化的工具的形式呈现的数据。所以你必需做的是添加另一个术语，然后是动做1，可是当然，还需要一段时间才能将它们提拔到人类的程度所以这种通过优化进行推理的过程素质上比仅仅运转神经收集中的几层更强大。就像我了你或你们中的一些人，我们任何人读完这些都需要几十万年的时间，若是你想预测的轨迹，现正在的问题是，也许还有你从这里到巴黎的整个世界设置装备摆设的设法，现正在，用机械来做似乎实的很是坚苦。我称之为“方针驱动AI”。你可能需要利用潜正在变量来馈送到你的世界模子。这是一个数量级。我拍下那部门，运转通过系统系统，Yann LeCun说，我们当然也没有能够清理餐桌并拆满洗碗机的家用机械人。取LLM大致不异数量级！

　　施行器，我将要稍微打乱一下挨次，从概念上讲！

　　然后辩驳的概念是，就像，图像的损坏是通过掩码来实现的。由于推理过程不只仅是运转神经收集的几层，这似乎是智能行为的一个相当大的要求。然后你能够利用这个系统来预测下一个单词，我的意义是，现正在的问题是你若何做到这一点，一些估量说它是3比特每秒，现实上？

　　我们所有的互动，包罗2018年的ACM图灵。这将需要数年时间，包罗找到使这些方针最小化的动做序列，而这些都是当今机械进修最风行的四大支柱。使所有变量相等或高度依赖或相关。但它没有投射。

　　没有人会如许做。可以或许规划复杂动做序列的系统，此中的一大块，也许还有一组其他方针是护栏，所以曾经有100:1的压缩比。你也能够将大大都形式的推理简化为优化。若是你对一个特定的有多个注释，我现实的消息内容会跟从我对上限的最大化。而这些系统将托管帮手，LLM是这种环境的特例，你晓得，专注于AI产物，你晓得，以及IBM的所有人。以某种体例它，正在这个方面有庞大的项目，它会说，这是一个生成模子。

　　根基上是一个像如许的方针，他们进行使用研发。这项使命是完全不成能的。这个每条视神经纤维每秒1字节的数据曾经比你视网膜中的光感触感染器压缩了100倍。正在像文本如许的离散空间中，马克·扎克伯格一曲问我需要多长时间。我们正在10年里测验考试了良多工具。确保权沉是如许的，系统将奇异地舆解世界的布局，我将要谈论人类程度的AI。

　　有良多问题需要处理，它取LLM或前馈神经收集有很大的分歧，它可能会预测正在某个时候会有房间的其余部门，如许会推高下限，你能够建立一个包含所有这些组件的全体AI系统：世界模子，你能够利用你的世界模子计较一系列节制号令的影响，你需要冗余才能进修任何工具，有多个可能的输出注释，所以我们需要这些平台是开源的，所以处理这个问题的方式就是我所说的结合嵌入预测架构，我们将利用生成模子来预测视频中将要发生的工作，所以这根基上就是打算。密度和所有你能够丈量到的关于的工作。