运道的是色情 动漫，作为 OpenAI o1 模子筹商团队三位中枢工夫东谈主员 Noam Brown（OpenAI 筹商科学家，专注于 AI 推理和强化学习）、Hunter Lightman（OpenAI 高等工程师，主要筹商 AI 在复杂问题上的推理才气）以及 Ilge Akkaya（OpenAI 筹商员，非凡关心 AI 在数学和逻辑推理方面的应用）也在近日与红杉好意思国合伙东谈主 Sonya Huang 以及 Pat Grady 张开了一场对谈。

Noam Brown 强调，o1 模子的一个中枢冲突在于延长推理时刻带来的才气进步。通过加多推理时刻，模子在处分复杂问题时弘扬出了自觉的回溯和自我修正才气，这使得它在像数独和复杂逻辑等问题上弘扬尤为出色。通过这种“延时推理”，o1 能更有用地交代高难度任务。

Hunter Lightman 认为，o1 模子不仅通过推理时刻彭胀了 AI 的才气，还为将来AI的发张开辟了新的标的。与之前依赖数据和策动才气彭胀的AI模子比拟，o1 的推理时刻彭胀代表了一种全新的维度。这种方式有望在将来的模子版块（如 o2 和 o3 ）中进一步彭胀 AI 才气。

Noam Brown 和 Hunter Lightman 承认，尽管 o1 在推理任务中弘扬出色，但它并非在悉数任务上王人优于其他 AI 模子。尤其在非 STEM 边界，模子的弘扬还有很大的矫正空间。

以下为此次对话的主要内容，enjoy～

Sonya Huang:

o1 是 OpenAI 初次在推理时刻策动上的要紧尝试。咱们很期待和团队有筹商推理、念念维链、推理时刻缩放定律等话题。

Ilge、Hunter、 Noam ，感谢你们的到来，并道贺你们将 o1 推向公众。我想先问一下，你们从一启动就确信这个模式会得手吗？

Noam Brown:

我认为咱们从一启动就信托这一标的有后劲，但本质走到今天的旅途并不澄莹。你望望 o1 ，这并不是整夜之间的后果。本质上，这背后有多年筹商，而其中好多筹商并莫得取得成效。

我认为 OpenAI 的指令层一直信托这一标的必须有已矣，并景象在早期遭逢报复的情况下连接投资，这最终得到了申报。

Hunter Lightman:

我一启动莫得像 Noam 那样有猛烈的信心。我如故花了很万古刻筹商谈话模子，试图让它们学会作念数学和其他推理任务。筹商的过程老是有起有落，有时有用果，有时莫得。

但当咱们发现这一标的启动见效时，我资格了一个“啊哈”的时刻，那时我读了一些模子生成的输出，它们以不同的方式处理问题处分。这就是我信心缔造的时刻。

我认为 OpenAI 全体上接管了一种相等实证、数据驱动的方式，当数据启动向你展示趋势况兼变得挑升念念风趣时，咱们就会跟班这些痕迹。而这亦然我信心缔造的时刻。

Sonya Huang:

Ilge，你如故在 OpenAI 使命了很万古刻，五年半了。你如何看？你从一启动就信托这个纪律会得手吗？

Ilge Akkaya:

不，我加入后曾几次判断诞妄。我一启动以为机器东谈主工夫是通向 AGI 的谈路，是以我领先加入了机器东谈主团队，认为 AGI 会出咫尺具身智能中。关联词，事情并莫得按预期发展。

在我使命的这段时刻， Chat GPT  的出现无疑是个范式逶迤。咱们能够向全宇宙展示一个通用接口，我很欢畅咱们咫尺有了一条可能的新的前进旅途来推动这一推理范式。但对我来说，万古刻里，这条旅途并不显着。

Pat Grady:

我知谈你们出于很好的情理，不可公开过多的细节，但你们能否大致先容一下它的使命道理？

Ilge Akkaya:

o1 模子系列使用了强化学习，能够进行推理，或者你也可以称之为“念念考”。它与咱们夙昔使用的大型谈话模子有骨子上的不同。

咱们如故看到它在好多不同的推理边界中王人弘扬出精致的泛化才气，咱们也在最近展示了这少量。是以咱们对这个新模子眷属带来的范式逶迤感到相等怡悦。

Pat Grady:

对于那些不太熟悉刻下谈话模子工夫的东谈主来说，什么是推理？你能否简要界说一下推理，并解释为什么它很病笃？

Noam Brown:

一个简短的长远是，推理是针对那些念念考更万古刻有显着公正的问题的才气。你知谈，东谈主类有经典的系统 1 和系统 2念念维。

系统 1 是自动化的、直观式的响应，系统 2 则是较慢的、更有经由驱动的响应。对于某些任务，延长念念考时刻并不会带来更多公正。

比如，淌若我问你“不丹的王人门是那里？”，你可以花两年的时刻念念考，但这不会提高你的正确率。趁便说一句，不丹的王人门是什么？其实我也不知谈。不外，如实有一些问题，通过延长念念考时刻可以带来更高的准确性。

一个经典的例子是数独，你可以表面上尝试多样解法，况兼正确解法相等容易识别。因此，惟有有迷漫的时刻，你最终会找到正确谜底。

好多 AI 边界的筹商者对推理有不同的界说，我不方针这是独一的界说。每个东谈主王人有我方的主张，但我认为推理是那些通过探求更多选项和念念考更万古刻可以获益的问题。

你可以把它长远为一个生成-考证的差距问题:生成一个正确的解法很难，但识别正确解法却相对简短。

我认为悉数问题王人在这个光谱上，比如数独这种考证比生成容易的问题，以及考证和生成通常贫穷的问题，比如不丹的王人门叫什么。

Sonya Huang:

我想问一下对于 AlphaGo 和 Noam 的配景，你以前在扑克和其他游戏方面的筹商有多猛进程与 o1 的使命联系？它们之间有哪些相似和不同之处？

Noam Brown:

我认为 o1 的一大亮点是它如果真念念考时刻加多的情况下弘扬更好。淌若纪念夙昔的许多 AI 冲突， AlphaGo 是一个经典的例子。

它的一个显贵特质是会花很万古刻在每走路动前念念考，可能需要 30 秒来决定下一步。淌若让它遽然作念出决策，它其实比不上顶级的东谈主类选手。因此，它的弘扬很猛进程上依赖于这些极端的念念考时刻。

问题在于，这种极端的念念考时刻是依靠蒙特卡洛树搜索（MCTS）进行的，这是一种特定的推理纪律，适用于围棋，但在我早期筹商的扑克游戏中却行欠亨。因此，尽管神经汇注部分（系统 1 的部分）是通用的，但那时存在的推理纪律仍然是特定边界的。

o1 的另一大亮点是它的推理方式相等通用，适用于许多不同的边界。咱们如故看到了用户使用它的多样方式，也考证了这少量。

Hunter Lightman:

谈话模子一直蛊惑我的场合是，它们的接口相等通用，可以适合多样问题。此次咱们感到怡悦的是，咱们认为咱们有一种纪律，可以在这种通用接口上作念强化学习，并期待看到将来的可能性。

Pat Grady:

你提到生成和考证之间的差距，这在不同问题上有所不同。那么在推理过程中，这种差距的处理纪律是否是一致的，或者在不同的情况下有不同的纪律？

Hunter Lightman:

此次发布让我怡悦的场合之一是， o1 能够交到那么多东谈主手里，咱们可以看到它在哪些问题上弘扬好，哪些问题上弘扬差。这是 OpenAI 的中枢策略之一，咱们通过迭代式的工夫部署，不雅察宇宙如何与它互动，并持续矫正咱们的筹商。

Pat Grady:

在推特上，有什么用户使用 o1 的方式让你感到不测吗？

Ilge Akkaya:

让我相等怡悦的一件事是，我看到好多医师和筹商东谈主员把这个模子行为头脑风暴的合作伙伴。他们在癌症筹商边界使命多年，正在与模子计整齐些对于基因发现和基因疗法的想法。

固然模子无法自行进行筹商，但它可以成为东谈主类的精致连结伴伴，匡助推动科学筹商的跳跃。

Sonya Huang:

Noam ，我谨记你曾发推说，深度强化学习（Deep RL）如故走出了“阻挠低谷”。你能详实解释一下你的风趣吗？

Noam Brown:

我认为这一切可以追念到 Atari 游戏，DeepMind 在 Atari 上的深度强化学习（ DRL ）已矣也曾相等热点。我那时正在攻读博士学位，大致在2015到2019年之间， DRL 无疑是最热点的筹商边界。

在某些方面，如实取得了无数筹商后果，但也忽略了一些问题。其中一个被淡漠的方面就是诈欺海量数据进行熟谙的力量，比如 GPT 的熟谙方式。在某种进程上，这相等令东谈主诧异。

望望 AlphaGo ，它无疑是深度强化学习边界的要紧竖立之一。尽管其中有RL（强化学习）模范，但更病笃的是， AlphaGo 在这之前还进行了基于东谈主类数据的学习，这才是让 AlphaGo 信得过升起的原因。

然后，筹商界渐渐出现了一种不雅点，认为不依赖东谈主类数据、从零启动学习才是“结净”的标的。

这也导致了 AlphaZero 的出现，尽管它的弘扬比 AlphaGo 更好，但这个过程的逶迤淡漠了像 GPT 这样的大边界数据熟谙的后劲，除了 OpenAI 除外，很少有东谈主关心这个标的。

OpenAI 在初期看到了这个标的的一些初步后果，并有决心加倍过问。是以， DRL 如实资格了一段岑岭期，随后跟着  GPT-3 等大模子的得手， DRL 的热度有所下落，许多东谈主对它失去了信心。不外，跟着 o1 的出现，咱们看到了 DRL 在与其他元素结合时仍然具有遒劲的后劲。

Sonya Huang:

我认为好多 DRL 的后果是在相对明确的设定下产生的。游戏中的 o1 是初次在更平日的、无界环境中使用 DRL 的案例之一吗？这样长远对吗？

Noam Brown:

是的，我认为这是一个很好的不雅点。许多 DRL 的亮点后果如实相等酷，但它们的适用范围也相等狭隘。固然咱们如实看到了一些至极有用且通用的 DRL 后果，但莫得什么可以与  GPT-4 的影响力比拟。因此，我认为在新的范式下， DRL 将来将达到近似的影响力水平。

Sonya Huang:

我还谨记 AlphaGo 的比赛已矣，尤其是在一些锦标赛中的第 37 手，阿谁动作胆寒了悉数东谈主。

你在 o1 的筹商中是否见到过近似的时刻，模子给出了一个让悉数东谈主不测的谜底，但本质上是对的，以至比东谈主类的想法更好？你们是否有过那样的时刻，照旧认为可能要比及 o2 或 o3 ？

Hunter Lightman:

我想起了一个例子，咱们在为IOI（国外信息学奥林匹克竞赛）作念准备时，把模子过问到处分问题的过程中。有一个问题， o1 握意要用一种奇怪的纪律去处分，具体细节我不太明晰，我的共事们，他们更擅长竞赛编程，试图弄明晰为什么模子会这样作念。

我认为这并不是“天才之作”的那种时刻，而是模子不知谈正确的处分纪律，于是反复尝试，直到找到另一个处分决策。它如实处分了问题，只是用了一个看起来很奇怪的纪律。我谨记这是一个道理的例子，在编程竞赛的已矣中，模子如实以一种不同于东谈主类的方式念念考问题。

Ilge Akkaya:

我看到模子处分了一些几何问题，它的念念考方式让我感到很诧异。比如，你让模子策动一个球体上的点，然后磋议某个事件发生的概率，模子会说:“让咱们先来联想这个场景，遗弃这些点，然后从这个角度念念考。”

这种用谈话进行可视化的方式真的让我吃惊，就像我作为东谈主类会作念的那样，而看到 o1 也能作念到这少量，真的让我感到不测。

Sonya Huang:

相等道理。这不仅是东谈主类可以长远的，还能彭胀咱们对问题的念念考方式，而不单是是某种难以长远的机器谈话。这真的相等蛊惑东谈主。

Hunter Lightman:

是的，我如实认为 o1 的已矣中最酷的少量是，它的念念维链是可以被东谈主类解释的，这使咱们能够长远模子的念念维过程。

Pat Grady:

在筹商过程中有莫得出现那种“啊哈”的时刻？Hunter，你提到一启动你并不确信这个标的会得手，有莫得某个时刻让你遽然意志到:“天啊，这个标的真的有用！”

Hunter Lightman:

我在 OpenAI 如故使命了大致两年半的时刻，大部分时刻王人在戮力让模子更好地处分数学问题。咱们为此作念了好多使命，构建了多样定制系统。

在 o1 的筹商过程中，有一次咱们熟谙了一个新模子，应用了一些耕种和修改，已矣它在数学评估中的得分比咱们之前悉数的尝试王人高，以至杰出了咱们遐想的定制系统。

咱们检察了念念维链的变化，发现它们弘扬出了不同的特征。非凡是当模子犯错时，它会说:“等等，这不合，我需要退一步，再行找出正确的标的。”咱们称这种步履为“回退”（backtracking）。

我如故恭候很万古刻想看到模子能够回退的例子，当我看到这个得分和念念维链时，我意志到这真的有后劲，我需要更新我的主张。这就是我信心缔造的时刻。

Noam Brown:

我认为对我来说亦然近似的故事。随意是在归拢时刻，我加入时的想法是，像Chat GPT这样的模子并莫得信得过“念念考”才作出答复，它的响应相等快速。

而在 AI 边界的游戏中，能够花更多时刻念念考可以获取更好的已矣。是以我一直在念念考，如何将这少量引入到谈话模子中。

这听起来简短，但本质上如何已矣是个挑战。咱们有筹商了好多如何让模子领有反念念才气，如安在犯错时回退或尝试不同的纪律。

最终，咱们决定尝试一个基本的决策，就是让 AI 念念考更万古刻。已矣咱们发现，一朝 AI 能有更多的念念考时刻，它简直是自觉地发展出这些才气，包括回退和自我修正。

这些王人是咱们想让模子已矣的，而咫尺通过这样一个简短且可彭胀的方式就已矣了。

Noam Brown:

这对我来说是一个重要时刻，那时我意志到咱们可以进一步推动这个标的，而且标的相等明确。

Hunter Lightman:

我一直在长远 Noam 对“推理策动”（conviction compute）的信心有多遒劲。我谨记他刚加入时，咱们的好多一双一双话王人围绕着测试时策动的力量张开。

在模式进行的多个阶段， Noam 王人会说:“为什么不让模子念念考更万古刻？”然后咱们就这样作念了，已矣模子弘扬得更好。他看着咱们时的色调有点可笑，仿佛在说:“为什么咱们之前没这样作念？”

Sonya Huang:

咱们在你们的邮件中郑重到， o1 在 STEM 边界弘扬得相等好，显着优于你们之前的模子。对此有莫得一个大致的解释？为什么会这样？

Noam Brown:

我之前提到过，有些任务，比如推理任务，考证一个谜底比生成一个谜底要容易。STEM边界的问题不时属于难以推理的问题类型。是以这就是咱们看到 o1 在STEM学科弘扬更好的一个病笃原因。

Sonya Huang:

解析。我想补充一个问题，咱们在你们发布的筹商论文中看到， o1 通过了你们的筹商工程师口试，而且通过率至极高。对此你如何看？这是否意味着将来 OpenAI 会雇佣 o1 来代替东谈主类工程师？

Hunter Lightman:

我认为咱们还莫得达到阿谁水平。我认为还有更多使命要作念。

Sonya Huang:

不外要达到 100% 照旧很难的，对吧？

Hunter Lightman:

也许咱们需要更好的口试纪律。但至少在我看来， o1 如故比之前的模子更像一个编程伙伴。我认为它如故在咱们的代码库中提交了几次代码变更。

从某种风趣风趣上讲，它如实像一个软件工程师，因为软件工程亦然一个受益于万古刻推理的STEM边界。

我认为刻下模子在进行推理时只念念考了几分钟，但淌若咱们连接彭胀这个趋势，让 o1 念念考更万古刻，它可能会完成更多近似的任务。

Noam Brown:

你可以知谈咱们已矣了 AGI 的那一天就是当咱们下架悉数招聘信息，而公司景象要么相等好，要么相等差的时候。

Sonya Huang:

你认为要让 o1 在东谈主体裁科上弘扬出色需要作念些什么？你认为推理、逻辑和STEM边界的上风会跟着推理时刻的彭胀天然蔓延到东谈主体裁科吗？照旧说会有其他身分？

Noam Brown:

如你所说，咱们发布了模子，也很景仰它擅长什么、不擅长什么，用户会用它来作念什么。我认为模子的原始智能和它在本质任务中的有用性之间仍然存在差距。

在某些方面它相等有用，但在更多方面它可以更有用。我认为咱们还有好多迭代的空间，来解锁这种更平日的通用性。

Pat Grady:

那么我很景仰， OpenAI 里面有没联系于模子才气与本质应用需求之间差距的形而上学？你们是否有一个明确的念念考过程来决定哪些使命应该由模子完成，哪些使命应留给围绕API的生态系统来处分？

Noam Brown:

在我加入之前，我就传闻 OpenAI 相等专注于 AGI ，而我那时对这少量还有些怀疑。基本上，我刚启动使命的第一天，公司召开了一次全员会议，Sam站在各人眼前，明确暗示 AGI 是咱们的首要有筹商。

因此，最明确的谜底就是 AGI 是咱们的终极有筹商，莫得某个单一的应用是咱们的优先事项，除了是否能够使用 AGI 。

Pat Grady:

你们对 AGI 有明确的界说吗？

Noam Brown:

每个东谈主王人有我方的界说，对吧？这亦然为什么这个问题很道理。

Hunter Lightman:

我不知谈我是否有一个明确的界说。我只是认为这可能与 AI 系统能够完成的经济上有价值的使命比例联系。

我认为在将来几年内，这个比例会赶紧上涨。我不细目具体会如何发展，但这可能是那种“当你感受到时你就知谈”的情况。

咱们可能会持续诊治圭臬，直到有一天咱们与这些 AI 共事整个使命，而它们完成了咱们咫尺作念的许多使命，而咱们则在作念不同的使命。整个使命生态系统王人会发生变化。

Pat Grady:

你的一位共事曾很好地抒发了推理在通往 AGI 的过程中病笃性。他的大意是:任何使命王人可能遭逢阻塞，而匡助你克服这些阻塞的恰是你的推理才气。

我认为这是一个可以的辘集，说明了推理为何病笃以及与 AGI 有筹商的关系。你们认为这是长远推理为何病笃的最好方式吗？照旧有其他的框架可以匡助咱们长远推理？

Hunter Lightman:

我认为这是一个有待阐发的问题。因为在开采这些 AI 系统和模子的过程中，咱们看到了它们的多样弘扬和不及。

咱们在开采、评估这些系统时学到了好多新东西，并试图了解它们的才气。举例，一些意想的事情是策略策动、头脑风暴等。

Pat Grady:

淌若要让 AI 像优秀的家具司理一样好，它需要无数的创意和对用户需求的知悉。这算是推理吗？照旧说这是一种与推理不同的创造力，需要以不同的方式处理？

当你启动将这些有筹商转动为行动时，你还需要进行策略策动，探求如何推动组织达成有筹商，这算是推理吗？

Hunter Lightman:

也许部分是推理，但也许部分是其他东西。最终，咱们可能会认为这些王人是推理，或者咱们会发明一个新词，面目需要接管的新模范。

Ilge Akkaya:

我不细目咱们能将这个推理问题鼓舞到什么进程。每当我念念考这个平日的推理问题时，数学边界的例子老是很有匡助。

咱们花了好多时刻阅读模子在解数学问题时的念念维过程。你能看到，当它遭逢阻塞时，它会反璧去，尝试另一个纪律。

这种念念维过程让我认为，也许它能奉行到数学除外的边界，这给了我一些但愿。固然我不知谈最终谜底是什么，但但愿如斯吧。

Hunter Lightman:

让我感到困惑的是， o1 如故在数学上比我更蛮横了，但它在软件工程上却不如我。是以这里存在某种不匹配。

Pat Grady:

看来还有好多使命要作念。

Hunter Lightman:

是的，还有一些事情要作念。淌若我的整个使命只是解Amy问题和参加高中数学竞赛，我可能早就休闲了。但咫尺我仍然有使命可作念。

Pat Grady:

既然你提到了“念念维链”，即不雅察背后的推理过程。我有个问题，也许你们无法回答，但就当是道理的有筹商吧。

在你们发布 o1 的博客中，你们解释了为什么要散失“念念维链”，并说部分原因是出于竞争探求。我景仰，这是否是一个有争议的决定？因为我可以联想，这种决定很有逻辑，但也可以联想你们可能遴荐公开它。能否谈谈这是一个有争议的决定吗？

Noam Brown:

男同porn

我不认为这是有争议的。与不共享前沿模子的权重出于近似的原因，共享模子的念念维过程也存在好多风险。我认为这是一个近似的决策。

Sonya Huang:

能不可给新手解释一下，什么是“念念维链”？可以举个例子吗？

Ilge Akkaya:

举例，淌若有东谈主问你处分一个积分问题，大多数东谈主会需要一张纸和一支笔，然后一步步推导出从复杂方程到最终谜底的过程。

这个过程可能会得到一个谜底，比如1，但如何得出这个谜底？这就是数学边界中的“念念维链”。

Sonya Huang:

让咱们谈谈将来的旅途，推理时刻的彭胀定律。在你们发布的筹商中，这是我认为最病笃的图表。这似乎是一个具有深远风趣风趣的已矣，近似于预熟谙中的彭胀定律。你欢跃这种主张吗？这对边界的影响会是什么？

Noam Brown:

我认为它如实具有深远风趣风趣。在咱们准备发布 o1 时，我一直在想东谈主们是否会相识到它的病笃性。固然咱们提到了这少量，但这是个比较秘要的点。

我真的很诧异和谢意，看到这样多东谈垄断解了这少量的风趣风趣。一直以来，东谈主们对 AI 可能遭逢瓶颈或停滞的担忧好多，尤其是预熟谙变得越来越精深，还联系于是否有迷漫数据的问题。

o1 ，非凡是 o1 Preview，传达的主要信息并不是它今天的才气，而是它对将来的风趣风趣。咱们能够在彭胀中发现一个迄今未被充分开采的维度，我认为这是一个要紧冲突，这意味着天花板比许多东谈主联想的要高得多。

Sonya Huang:

淌若让模子念念考数小时、数月以至数年，会发生什么？

Hunter Lightman:

咱们还莫得让 o1 运行那么久，是以还不知谈。

Pat Grady:

咫尺有个后台任务在运行吗？可能正在念念考如何处分宇宙和平问题。

Hunter Lightman:

有一个近似的故事叫《临了的问题》，讲的是一个巨大的策动机 AI 被问到如何逆转熵，它回答:“我需要更长的时刻念念考。”

故事接着诠释了，10年后，它还在念念考，100 年后，1000 年后，以至一万年后，它还在念念考。

Ilge Akkaya:

“咫尺还莫得迷漫的信息来提供挑升念念风趣的谜底。”近似于这样。

Sonya Huang:

你对将来有揣度吗？你认为当模子的推理时刻越来越长，它的才能极限会达到什么进程？咫尺我看到的申报是，它的智商大致是 120，那它会无尽提高吗？

Hunter Lightman:

一个病笃的点是，120智商只是某个测试中的分数，并不料味着它在悉数边界王人有120的推理才气。

本质上，咱们也谈到，它在某些方面的弘扬不如 40 分，比如在创造性写稿等方面。是以，推测这个模子的才气是很复杂的。

Noam Brown:

这是一个病笃的点。咱们指摘这些基准测试时，强调了GPQA，这是一个博士生会遭逢的问题辘集，频繁由博士生来解答，但 AI 咫尺在这个基准测试中杰出了好多博士生。

这并不料味着它在悉数方面王人比博士生贤达。博士生和东谈主类能够作念好多 AI 无法作念到的事情。是以咱们在看这些测试已矣时，应该长远它只是测量了某些特定的才气，频繁是东谈主类才能的代理，但对 AI 来说，风趣风趣有所不同。

Hunter Lightman:

也许可以这样说，我但愿看到的是，当咱们让模子在它如故擅长的边界念念考更万古刻时，它会变得更好。

我的一个“推特时刻”是看到我以前的数学说明注解发推，他对 o1 印象深刻，因为他给了它一个之前从未被 AI 解过的证明，而它果然完成了。

这让我嗅觉咱们正处于某个道理的逶迤点，模子有望成为一个有用的数学筹商器具。淌若它能够匡助完成一些小的引理和证明，那将是一个信得过的冲突。我但愿通过让它念念考更万古刻，咱们能够在这方面取得更大的进展。

要展望它在刻下不擅长的边界会如何弘扬，这对我来说很难。咱们如何让它在这些方面变得更好？将来会如何发展？

可是咱们可以以它咫尺擅长的边界为基础，假定淌若咱们让它在这些边界念念考更久，它将成为数学筹商的好助手、软件工程的好赞理。这样咱们就可以启动展望将来的发展标的。

Pat Grady:

对于彭胀的瓶颈问题。对于预熟谙来说，很显着你需要无数的策动才气、无数的数据，这些王人需要无数的资金。是以很容易长远预熟谙在彭胀方面的瓶颈。那么，推理时刻的彭胀会有什么规则呢？

Noam Brown:

当 GPT-2和  GPT-3 发布时，很显着惟有过问更多的数据和GPU，它们的性能就会显贵进步。

但即便如斯，从 GPT-2到  GPT-3 再到  GPT-4 之间照旧花了好几年的时刻。这不单是是一个简短的想法，还有好多使命要作念，才能把它彭胀到一个相等大的边界。

我认为这里也濒临近似的挑战，固然这个想法很简短，但要信得过彭胀它，需要过问无数的使命。是以我认为这是挑战所在。

Hunter Lightman:

是的，我认为对于那些学术配景较强的筹商东谈主员来说，加入 OpenAI 后可能会发现令东谈主诧异的事情之一是，好多问题最终并不是筹商问题，而是工程问题。

构建大边界系统、熟谙大边界系统，以及运行那些早已发明的算法，或者前所未有的系统，王人吊问常贫穷的。这需要无数神秘的工程使命，才能让这些东西彭胀起来。

Ilge Akkaya:

此外，咱们还需要知谈该在什么圭臬上测试模子。咱们如实有圭臬的评估基准，但可能还有一些咱们尚未测试到的边界。是以咱们也在寻找这些边界，在这些场合咱们可以过问更多的策动资源，获取更好的测试已矣。

Sonya Huang:

我一直很难长远的是，当你给模子提供接近无尽的策动资源时，会发生什么。作为一个东谈主类，即即是 Terrence Tao 这样的大脑天才，也会受到生理规则。

而你可以无尽加多推理时刻的策动资源。这是否意味着，悉数的数学定理最终王人可以通过这种纪律解出来？或者你认为会有某种极限？

Hunter Lightman:

无尽策动资源是很大的策动才气。

Sonya Huang:

接近无尽。

Hunter Lightman:

这让我想起了Asimov的故事，淌若你让它念念考一万年，也许能处分某些问题。但说真话，咱们还不知谈这种彭胀对于处分信得过难的数学定理意味着什么。可能真的需要让它念念考一千年，才能处分一些未解的中枢数学问题。

Noam Brown:

是的，我的风趣是，淌若你让它念念考迷漫长的时刻，表面上你可以把一切形势化，像Lean那样，把悉数可能的证明王人遍历一遍，最终你会发现定理。

Hunter Lightman:

咱们如故有算法可以处分任何数学问题，也许这就是你要说的。

Noam Brown:

是的，惟有有无尽的时刻，你可以作念好多事情。天然，跟着时刻的延长，申报会渐渐递减，但的确可以取得一些进展。

Sonya Huang:

相等公谈。你认为对于 o1 最大的污蔑是什么？

Noam Brown:

我认为一个大污蔑是，当模式称呼“草莓”（strawberry）露馅时，东谈主们以为这是因为汇注精深传的一个问题:“草莓有几许小时？”其实并不是这样。

当咱们看到这个问题时，咱们还很惦记是不是有里面信息露馅。但据咱们所知，这只是个偶然，咱们的模式名字恰好叫“草莓”，而阿谁问题也恰好流行起来了。

Hunter Lightman:

据我所知，之是以叫“草莓”，只是因为那时有东谈主需要想个代号，而屋里有个东谈主正好在吃一盒草莓，事情就这样定了。

Pat Grady:

比拟之下，这个名字比“休斯顿”要更容易让东谈垄断想。

Noam Brown:

我认为我对它被长远得这样好感到印象深刻。咱们在发布时如实不细目各人会如何经受。里面有过很大的争论:东谈主们会不会失望，因为它并不可在悉数方面王人更好？照旧他们会对它惊东谈主的数学弘扬感到印象深刻？

咱们信得过想传达的并不是这个模子咫尺的才气，而是它将来的发展标的。我不细目各人是否能长远这少量，但似乎好多东谈主如实交融了，是以我对此相等欣然。

Sonya Huang:

对于 o1 ，你认为有莫得什么品评是合理的？

Hunter Lightman:

毫无疑问，它并不可在悉数方面弘扬得更好。它是一个有点乖癖的模子，好多东谈主在互联网上发现了不同的教唆方式来更好地使用它。

仍然有好多不端的边际案例，我很期待看到生态系统如何基于咱们的平台开采出更智能的家具和应用。

Hunter Lightman:

我认为咱们还处于相等早期的阶段。有点像一年前东谈主们启动信得过搞明晰如何使用  GPT-4 过火谈话模子模范，进而使得软件工程器具变得更智能。我但愿咱们会看到近似的进展，东谈主们会基于 o1 进行变嫌。

Pat Grady:

说到这少量，有一件咱们还没有筹商的事情，就是 o1 Mini。我听到好多东谈主对 o1 Mini相等怡悦，因为各人辽远对小模子感兴味。

淌若你能够保留推理才气并索求部分宇宙常识，那么这是一件相等可以的事情。我很景仰，你们对 o1 Mini和它代表的标的有多怡悦？

Ilge Akkaya:

这个模子相等令东谈主怡悦。对咱们筹商东谈主员来说，淌若模子运行得快，它的用途就更平日。是以咱们也很心爱它。它们有不同的用途。

咱们很欢畅有一个更低廉、更快的版块，还有一个更重、更慢的版块。它们在不同的场景中王人相等有用。是以，咱们对取得的这种均衡感到相等怡悦。

Hunter Lightman:

我心爱这种表述，这强调了进展的病笃性。o1 Mini让咱们能够更快地迭代，但愿对弘大的用户生态系统来说，它也能让他们更快地迭代。是以它至少在这少量上吊问常有用且令东谈主怡悦的产物。

Sonya Huang:

对于那些在 AI 边界创业的创举东谈主们来说，他们应该如何探求何时使用  GPT-4 ，何时使用 o1 ？是否需要他们从事 STEM、编程、数学联系的使命才能使用 o1 ？他们应该如何念念考这个问题？

Hunter Lightman:

我但愿他们能帮咱们找到谜底。

Noam Brown:

咱们发布 o1 Preview的动机之一是想望望东谈主们最终会用它作念什么，如何使用它。事实上，咱们还有筹商过是否值得发布 o1 Preview。

但最终发布的原因之一就是为了让各人尽早斗争到它，望望它在什么场景下最有用，在哪些场景下不太合适，以及如何矫正它以舒服用户的需求。

Sonya Huang:

你认为东谈主们咫尺最容易低估 o1 的是什么？

Hunter Lightman:

我认为这证明了咱们给模子定名的才气有所进步，至少咱们没叫它“  GPT-4 .5 念念维模式”。

Sonya Huang:

不外，我认为“草莓”这个名字挺可人的。

Pat Grady:

我认为“念念维模式”也挺挑升念念。你们对 o2 或 o3 最怡悦的是什么？

Ilge Akkaya:

咱们还莫得达到没想法的地步，是以我很期待接下来的进展。咱们会连接筹商，最期待的是获取反馈。作为筹商东谈主员，咱们解析在我方擅长的边界有一定的偏见，但通过家具的使用，咱们将收到来自各个不同边界的反馈。也许咱们会发现一些超出咱们联想的边界值得深入鼓舞。

著述起首： 有新Newin 本文标题《OpenAI o1 模子筹商团队对话红杉好意思国合伙东谈主：o1 系列迄今未被充分开采的维度色情 动漫，天花板比许多东谈主联想的要高得多》

风险教唆及免责要求 商场有风险，投资需严慎。本文不组成个东谈主投资提议，也未探求到个别用户特殊的投资有筹商、财务景象或需要。用户应试虑本文中的任何意见、不雅点或论断是否适合其特定景象。据此投资，背负高慢。