当咱们遭逢可贵时，会在脑海中模拟多样可能的照管决议，这种"心理预演"智力是东谈主类聪惠的紧迫记号。如今，微软连络院和哥伦比亚大学的科学家们正试图将这种智力赋予东谈主工智能。2025年10月，这个由哥伦比亚大学余晓和微软连络院彭宝林共同攀附的连络团队，在ICLR 2026会议上提交了一项名为"DYNA-MIND: LEARNING TO SIMULATE FROM EXPERIENCE FOR BETTER AI AGENTS"的紧迫连络。有意思意思深入了解的读者不错通过arXiv:2510.09577v1查询圆善论文。

这项连络照管了一个关键问题：为什么咫尺的AI在数学和编程方面发达出色，但在需要永久谋略的复杂任务中却发达平平？连络团队发现，辛苦"心理模拟"智力是主要原因。他们开发了一套名为Dyna-Mind的教师框架，通过两个阶段教学AI如安在行径前进行"造谣试错"。在测试中，这套系统在多个基准测试上皆得回了权臣提高，绝顶是在需要复杂谋略的任务中发达凸起。

东谈主类大脑中的新皮质让咱们大略在心中模拟多样情景，评估后果并选拔最好行径决议，这种智力被神经科学家称为"替代试错"。连络团队以为，这恰是现时AI系统所穷乏的中枢智力。通过让AI学会在真实环境中积聚训诲，然后基于这些训诲进行内心模拟，Dyna-Mind框架有望权臣提高AI在复杂任务中的发达智力。

一、近况分析：AI的"主张盲点"

咫尺的AI系统就像一个只会按照固定递次操作的工匠，天然在特定领域本事精深，但遭逢需要活泼应变的复杂情况时就显过劲不从心。以DeepSeek-R1这么的先进推理模子为例，它在结构化的环境（如推箱子游戏）中发达出色，模拟准确率缓和利率皆很高。但是，迎面对更复杂的环境（如造谣家庭任务）时，其模拟智力急剧下落，顺利率也随之大幅缩短。

这种现象背后的根底原因是现时AI辛苦确立准确天下模子的智力。天下模子就像东谈主脑中的一张舆图，让咱们大略预测行径的后果。当一个东谈主准备过马路时，大脑会自动模拟多样场景：如果当今过马路会发生什么？如果等一分钟再过呢？这种模拟智力让东谈主类大略在复杂环境中作念出忠良决策。

连络团队通过广漠实考阐述了这一不雅点。他们发现，AI系统的模拟准确度与任务顺利率之间存在利弊的正关系关系。换句话说，越能准确预测当年景况的AI，在执行任务中的发达就越好。这个发现为改进AI系统指明了想法：不是浅显地加多更多教师数据或诊疗算法参数，而是要从根底上提高AI的环境模拟智力。

传统的教师递次经常依赖大型谈话模子生成合成数据，但这种递次容易产生无理和偏见。就像一个从未真的作念过饭的东谈主写出来的食谱，天然看起来像模像样，但执行操作时可能问题百出。因此，连络团队决定让AI径直从真实环境交互中学习，确立更准确的天下模子。

二、中枢立异：两阶段教师框架

Dyna-Mind框架的设想理念访佛于培养一个优秀的chess棋手。第一阶段异常于让棋手不雅摩广漠执行对局，学习多样步地下的最好计谋想路；第二阶段则是让棋手通过实战不断改进我方的判断和决策智力。

第一阶段被称为ReSim（推理与模拟），这是扫数这个词框架的中枢立异。传统递次就像让学死活记硬背圭表谜底，而ReSim则是教学生如何想考。具体来说，ReSim最初让AI在真实环境中进行屡次尝试，就像一个探索者在生分地形中走出多条旅途。每条旅途皆会被纪录下来，包括遭逢的情况和罢休好坏。然后，系统会将这些真实的探索训诲整合成一个圆善的推理历程，教学AI如安在濒临选拔时进行系统性想考。

这个历程的奥秘之处在于，AI学到的不是孑然的技巧，而是一套圆善的想维递次。当AI遭逢新情况时，它会自动在脑海中伸开多种可能性：如果选拔决议A会怎样？如果选拔决议B又会如何？每种决议的顺利概率有多大？通过这种内在对话，AI大略作念出愈加忠良的决策。

第二阶段被称为Dyna-GRPO，这是对传统强化学习递次的紧迫改进。传统强化学习就像一个只柔和最终考试收成的教学格式，而Dyna-GRPO则更像是一个关注学习历程的导师。它不仅奖励AI得回好的最终罢休，还会在AI进行正确推理时予以荧惑，在推理出现偏差时进行改造。

Dyna-GRPO的立异点在于引入了"模拟改进回滚"机制。当AI在某个递次作念出决策后，系统会让它执行扩张几步，然后基于真实的反馈来改进本来的推理历程。这就像是一个写稿者在完成初稿后，字据读者的执行反应来修改我方的抒发格式。通过这种格式，AI不仅能学会作念出更好的决策，还能学会如何更好地进行内心模拟。

扫数这个词教师历程吸收迭代优化的格式。系统会轮流进行两种教师：一种是提高AI的决策智力，另一种是改进AI的模拟智力。这种设想确保了AI在学会作念出正确行径的同期，也掌抓了因循这些行径的想维历程。

三、实验考证：从游戏到现实运用

为了考证Dyna-Mind框架的灵验性，连络团队选拔了三个不同复杂进度的测试环境，就像是为新药进行的分阶段临床搜检。

最初是推箱子游戏（Sokoban），这是一个看似浅显但执行上需要精密谋略的才略游戏。玩家需要在有限的空间内将箱子推到指定位置，一步走错就可能堕入无解的死局。在这个测试中，Dyna-Mind发达出色，顺利率达到82.5%，权臣超过了其他递次。更紧迫的是，系统的模拟准确度也大幅提高，这证明注解它照实学会了正确的想考格式。

第二个测试环境是ALFWorld，这是一个模拟家庭环境的文本游戏。AI需要在造谣房间中完成多样泛泛任务，比如"把书放到边桌上"。这类任务看似浅显，但需要AI浮现物体之间的关系，谋略行径序列，并粗鄙多样不测情况。在这个更复杂的环境中，Dyna-Mind的顺利率达到92.5%，大幅逾越于传统递次的62.5%。

最具挑战性的测试来自AndroidWorld，这是一个真实的安卓开导操作环境。AI需要通过屏幕截图浮现用户界面，然后扩张多样操作来完成执行的迁移运用任务。这个环境的复杂度接近真实天下的运用场景。即使在这种高难度环境中，Dyna-Mind仍然得回了权臣的性能提高，ID测试集上顺利率从32.8%提高到40.7%。

绝顶值得关注的是，连络团队还有利设想了一套评估系统来算计AI的模拟智力。他们发现，模拟智力的提高与任务顺利率之间存在利弊的正关系关系。这阐述了连络团队的中枢假定：提高AI的内心模拟智力照实大略改善其在复杂任务中的发达。

在计较效用方面，Dyna-Mind也发达出色。比拟于需要广漠推理递次的递次，Dyna-Mind生成的反馈愈加简单，平均token数目减少了约12倍，但效用更好。这意味着系统不仅更准确，还更高效。

四、时代深度：算法立异的巧想

ReSim算法的中枢立异在于将真实环境探索滚动为结构化推理教师数据的递次。传统递次依赖大模子生成合成数据，就像是让一个从未下过厨的东谈主写菜谱。而ReSim则让AI亲身下厨，通过真实的烹调体验来学习。

具体来说，ReSim最初使用深度优先搜索等算法构建基于环境交互的搜索树。系统会从现时景况启航，尝试多种不同的行径旅途，每条旅途皆会被执行扩张并纪录罢休。这个历程就像是一个探险家在未知地形中同期走出多条谈路，纪录每条路的忻悦和危急。

接下来，系统会使用价值函数对每条探索旅途进行评估。价值函数就像是一个训诲丰富的向导，大略判断哪条旅途更可能通向谋略。这个评估不仅探求最终罢休，还会探求旅途的效用和可行性。

临了，系统使用大谈话模子将扫数这个词搜索树整合成一个圆善的推理历程。这就像是将屡次实地覆按的罢休整理成一份详备的旅行指南，包含了多样情况下的最好选拔和详备情理。生成的推理文本不仅包含最终的行径决策，还包含了详备的内心模拟历程，解释了为什么某些选拔比其他选拔更好。

Dyna-GRPO算法在传统强化学习的基础上引入了两个关键立异。第一个立异是"模拟改进回滚"机制。当AI作念出某个决策后，系统不是立即参加下一步，而是让AI执行扩张几步行径，不雅察真实罢休，然后基于这些真实反馈来改进本来的推理历程。这就像是一个作者在发表作品后，字据读者的真实反应来改进我方的写稿技巧。

第二个立异是双重优化谋略的设想。传统强化学习只关注最终任务顺利与否，而Dyna-GRPO还会奖励高质地的推理历程。系统会判断AI的内心模拟是否准确，推理历程是否合理，然后予以相应的奖励或刑事包袱。这种设想确保AI不仅学会了作念正确的事情，还学会了正确的想考格式。

教师历程吸收轮流优化计谋。系统会在"计谋改进"和"模拟改进"两种模式之间切换。在计谋改进阶段，要点教师AI作念出更好的决策；在模拟改进阶段，要点提高AI的内心模拟准确度。这种轮流教师确保了两种智力的和洽发展，幸免了纳屦踵决的问题。

五、执行羡慕：从实验室到现实天下

Dyna-Mind框架的羡慕远不啻于学术连络的浮松，它可能会深远更变咱们与AI系统互动的格式。在软件开发领域，具备弘大谋略智力的AI助手大略更好地浮现复杂的编程任务，不仅能写出代码，还能料想潜在问题并提前侧目。这将大大提高软件开发的效用和质地。

在自动化办公方面，Dyna-Mind教师的AI大略处理愈加复杂的多递次任务。比如安排会议时，AI不仅能检察日程表，还能预测多样冲突情况，提前准备替代决议。当需要处理复杂的数据分析任务时，AI大略像东谈主类分析师通常进行系统性想考，探求多种分析旅途并选拔最合适的递次。

在教学领域，这种具备"心理模拟"智力的AI大略更好地浮现学生的学习历程，不仅大略判断谜底对错，还能分析学生的想路，提供更有针对性的带领。AI导师大略在学生遭逢可贵时，模拟多种解释格式，选拔最允洽该学生的教学递次。

客服和连络领域也将受益良多。传统的AI客服经常只可处理圭表化问题，而具备谋略智力的AI大略处理更复杂的客户需求。当客户提议一个触及多个递次的复杂问题时，AI大略在心中模拟扫数这个词照管历程，料想可能的可贵并准备相应的照管决议。

连络团队绝顶强调，这种时代的发展也带来了新的挑战。由于AI系统变得愈加智能和自主，咱们需要愈加严慎地探求AI安全和伦理问题。具备弘大谋略智力的AI系统如果被坏心使用，可能会带来更大的风险。因此，在鼓舞时代发展的同期，确立相应的安全保险机制显得尤为紧迫。

从计较资源的角度来看，Dyna-Mind框架展现出了高超的效用特点。天然教师阶段需要广漠的环境交互，但教师完成后的系统在执交运用中反而愈加高效，因为它大略通过内心模拟减少无须要的试错，径直找到最优照管决议。

六、当年瞻望：智能系统的新纪元

Dyna-Mind框架的顺利为AI系统的发伸开辟了新的谈路。连络团队以为，这仅仅运行，当年还有许多值得探索的想法。比如，如何让AI的内心模拟愈加丰富和准确？如那儿理愈加复杂和动态的环境？如何让多个AI系统合营完成大领域复杂任务？

在时代层面，连络团队谋略将这种递次扩展到更多类型的任务和环境中。咫尺的实验主要蚁合在相对阻塞的环境中，当年需要考证该递次在洞开天下环境中的发达。他们还谋略探索如何将这种递次与其他AI时代相鸠集，比如多模态学习、联邦学习等。

从运用角度来看，连络团队看好Dyna-Mind在机器东谈主、自动驾驶、智能制造等领域的运用远景。这些领域皆需要AI系统具备弘大的环境感知和谋略智力，而Dyna-Mind碰巧提供了这么的智力。

连络团队也强项到现时列法的局限性。在AndroidWorld这么的复杂环境中，系统的发达仍有很大提高空间。这主如若因为底层模子对GUI界面的浮现智力有限，以及从无理中规复的智力不及。当年的连络需要在这些方面得回浮松。

另一个紧迫想法是如何让AI的模拟智力愈加通用化。咫尺的递次需要针对特定环境进行教师，如何让AI学会一种通用的模拟智力，大略快速妥当新环境，这是一个具有挑战性的问题。

连络团队还谋略探索AI系统之间的合营模拟。当多个AI系统需要合营完成复杂任务时，每个系统不仅需要模拟环境的变化，还需要预测其他系统的步履。这种多智能体模拟将是当年连络的要点想法。

说到底，Dyna-Mind框架最紧迫的孝顺在于证明注解了"心理模拟"关于智能系统的紧迫性。就像东谈主类大脑进化出新皮质来维持复杂想维通常，AI系统也需要访佛的智力来处理复杂任务。这项连络不仅提供了一个具体的时代决议，更紧迫的是为AI系统的发展指明了一个紧迫想法。

归根结底，咱们正在见证AI系统简约单的模式识别器具向真的具备谋略和想考智力的智能系统调度。天然这个历程还有很长的路要走，但Dyna-Mind框架仍是迈出了紧迫的一步。关于庸碌东谈主来说，这意味着当年咱们将领有愈加智能、愈加可靠的AI助手，它们不仅能完成咱们嘱咐的任务，还能像东谈主类通常进行三想此后行，提供更好的照管决议。天然，如何确保这些愈加弘大的AI系统安全可控，将是咱们共同濒临的挑战。

Q&A

Q1：Dyna-Mind框架是什么？它照管了什么问题？

A：Dyna-Mind是微软和哥伦比亚大学开发的AI教师框架，主要照管AI辛苦"心理模拟"智力的问题。就像东谈主类遭逢复杂情况时会在脑海中模拟多样可能性通常，这个框架教学AI在行径前进行"造谣试错"，从而在需要永久谋略的复杂任务中发达更好。

Q2：ReSim和Dyna-GRPO两个教师阶段有什么远隔？

A：ReSim是第一阶段，让AI通过真实环境探索学习如何进行系统性想考和模拟；Dyna-GRPO是第二阶段，通过强化学习进一步优化AI的决策和模拟智力。第一阶段像教学生想考递次，第二阶段像通过实战教师提高手段。

Q3：庸碌东谈主什么时候能用上这种更智能的AI系统？

A：天然Dyna-Mind框架在实验中发达优秀，但从实验室到执交运用还需要时刻。咫尺这项时代主要在学术连络阶段，需要进一步优化和测试才能运用到泛泛软件和事业中。不外云开彩票，这种让AI具备谋略想考智力的想法很有远景，可能会逐渐融入多样AI居品中。