AI 见闻
精选· 重要性 5/5

NVIDIA发布Cosmos 3、Nemotron 3 Ultra及RTX Spark,推动开放物理AI

Latent Space (Swyx)··约 7 分钟阅读
中文导读

NVIDIA在Computex上发布Cosmos 3全模态世界模型、Nemotron 3 Ultra高效LLM及RTX Spark个人超算芯片,同时MiniMax M3等开放代理模型涌现,AI行业正从模型转向代理运行时和工具链。

[AINews] NVIDIA Cosmos 3、Nemotron 3 Ultra和RTX Spark詹森取得了巨大的胜利。今天的播客嘉宾是一年多前NVIDIA Cosmos的负责人,讨论了训练视频生成和世界模型。

恰如其分的是,Cosmos 3今天推出,在混合Transformer架构中统一了语言、图像、视频、音频和动作,该架构将自回归推理器与扩散生成器配对在:base Nano(16B:8B推理塔 + 8B生成器塔)Super(64B:32B推理塔 + 32B生成器塔)模型,

以及Text2Image和Image2Video的Super微调版本,它们现在是新的SOTA开放权重图像生成和视频生成模型,仅次于Nano Banana 2。

在台湾的Computex上,Jensen还推出了Nemotron 3 Ultra,这是他们的550B-A55B,非常高效/快速的开放权重LLM,是美国新的SoTA:最后,RTX Spark个人电脑1 petaflop超级芯片已与Microsoft、

OpenClaw和Hermes Agent作为发布合作伙伴进行了预览(此处有很好的分析)。AI新闻2026年5月30日至6月1日。我们检查了12个subreddits、544个Twitter账号,没有进一步的Discord。

AINews的网站允许您搜索所有过去的问题。提醒您,AINews现在是Latent Space的一部分。您可以选择加入/退出邮件频率!

AI Twitter回顾NVIDIA的Cosmos 3、Nemotron 3 Ultra以及对开放物理AI的推动NVIDIA开源周:NVIDIA主导了与Cosmos 3的开放模型对话,Cosmos 3是一个开放的物理AI全模态世界模型系列,

加上Nemotron 3 Ultra的发布,这是一个550B的开放权重模型,几个发帖者称之为迄今为止最强的美国开放模型。

Cosmos 3被构建为一个全栈发布——权重、代码、数据集和微调方案——英伟达还与Runway等合作伙伴一起发起了Cosmos联盟,为世界模型构建一个开放的生态系统 @NVIDIAAI生态系统上下文、@runwayml联盟公告、@kimmonismus Cosmos线程、

@ClementDelangue谈论英伟达的HF足迹。为什么Cosmos 3在技术上很重要:除了机器人修辞之外,更具体的细节是Cosmos 3将语言、图像、视频、音频和动作统一在一个混合Transformer设计中,将自回归推理器与扩散生成器配对。

Artificial Analysis表示,Cosmos 3在其Text-to-Image和Image-to-Video排行榜上的开放权重模型中均排名第一,并指出生成器使用结构化JSON提示,并且可以由外部提示上采样工具或其自己的推理器分支驱动。

另外,英伟达的硬件+软件推动扩展到采用OpenMDW框架和在fal等平台上的合作伙伴生态系统集成 @ArtificialAnlys、@fal。

Nemotron 3 Ultra的反响:对于新的开放版本来说,社区对Nemotron 3 Ultra的反应异常强烈。

发帖者强调了功能和服务特性,包括声称它已经领先于一些开放评估,并且在某些设置中可能以300+ tok/s的速度提供服务——比大型DeepSeek/Kimi类模型快得多 @scaling01、@ctnzr、@caspar_br。

还有一些技术讨论认为,Nemotron似乎没有Kimi K2 / DeepSeek V4等同行那么稀疏——活跃参数约10% vs 约3%——这可能会影响经济性和行为 @eliebakouch。

MiniMax M3、Qwen3.7-Plus和JetBrains Mellum2拓展开放代理模型领域MiniMax M3的发布是当天最大的模型发布:M3作为开放权重多模态代理/编码模型呈现,具有1M上下文、原生多模态和竞争性代理基准。

发布合作伙伴重复的头条数字为59.0% SWE-Bench Pro、66.0% Terminal Bench 2.1和74.2% MCP Atlas @MiniMax_AI、@PBDTokenRouter、@kimmonismus。

多个基础设施供应商提供了第0天支持——Novita、Vercel AI Gateway、Cloudflare AI Gateway、OpenClaude、Flowith等——表明生态系统采用异常迅速 @MiniMax_AI on Novita、@rauchg、

@gitlawb。基准测试与实际体验好坏参半:M3在前端生成、视觉/游戏任务和性价比方面赢得了赞誉,并排演示显示了强大的一次性UI/游戏输出和引人注目的Next基准定位。

JS代理评估 @notjazii、@lostinlatencyX、@rauchg。

但一些评估人员也报告了高令牌消耗、冗长的自我检查循环以及偶尔在长任务上的需求漂移,使M3看起来更像是一个“质量优先、效率其次”的模型 @ZhihuFrontier评论、@teortaxesTex怀疑。

Qwen3.7-Plus:阿里巴巴推出了Qwen3.7-Plus,作为一个多模态交互式混合代理,统一了GUI和CLI操作、视觉推理、编码和搜索增强的QA。

它可通过阿里云模型工作室提供API,并迅速添加到Cline等工具中 @Alibaba_Qwen launch、@cline。此次发布强化了这样一种趋势:开放的亚洲实验室不再发布“只是聊天模型”,而是发布完全具备代理能力的多模态系统。

JetBrains Mellum2:JetBrains发布了Mellum2,这是一款12B MoE模型,拥有2.5B活跃参数,在大约11T令牌上训练,并使用RLVR进行后训练,发布了基础/SFT/RL检查点和技术报告 @nv_pavlichenko、@jetbrains。

其预期的利基特别有趣:针对路由、RAG、子代理和IDE使用的超低延迟推理,并且它立即登陆到vLLM @vllm_project。这看起来是一个严肃的“面向开发者工作流程的小型快速开放模型”策略,而非追逐基准的前沿发布。

代理、沙盒、内存和搜索正在成为真正的产品表面堆栈正在从模型调用转向代理运行时:几次发布都一致认为,主要的工程杠杆现在在于工具而非模型。

Perplexity的“Search as Code”是最清晰的例子:该模型不是迭代搜索工具调用,而是针对搜索SDK编写Python,从而实现自定义排名管道、索引上的map-reduce、批处理、聚合和更低的令牌开销。

Perplexity报告其内部WANDR基准从0.152跃升至0.386,得益于这一架构 @perplexity_ai、@AravSrinivas。

托管代理+沙盒正在成为标准:Google在Gemini API中详细介绍了托管代理,其中单个API调用可以启动一个代理,该代理进行推理、编写/运行代码、管理文件并在托管的Linux沙盒内操作 @_philschmid、@GoogleAIStudio。

LangChain围绕Deep Agents、Context Hub和LangSmith Sandboxes/Engine推出了类似想法,强调持久上下文、代理生命周期工具和自动故障分类 @LangChain、@hwchase17。

内存仍然是一个缺失的原语:一个反复出现的抱怨是,巨大的上下文窗口仍然无法解决跨会话内存问题。HydraDB上的一个线程认为,“RAG + 手动上下文注入”被错误地命名为内存,而实际的持久会话知识仍然未得到充分服务 @kimmonismus。

相关研究线程指出了AdaCoM等可重复使用的上下文管理策略,该策略通过RL训练单独的LLM,以修剪/保留冻结代理的上下文 @dair_ai。

安全仍然是企业代理的门控问题:Microsoft Security Intelligence发出了一个值得注意的警告,称一个重大的npm供应链漏洞影响了90多个红帽云服务包,其中包括一个自我传播的蠕虫,

窃取npm/GitHub/AWS/SSH凭据 @MsftSecIntel。

与此同时,企业代理供应商强调沙盒、运行时隔离和安全堆栈集成是部署的先决条件,包括对NVIDIA OpenShell和LangChain沙盒主题演讲的讨论 @shannholmberg、@LangChain。

Codex、Claude Code和竞争性编码代理竞赛OpenAI将Codex扩展到更多地方:OpenAI宣布前沿模型和Codex现已在AWS / Amazon Bedrock上普遍可用,

直接针对希望在现有AWS安全/合规工作流程中拥有OpenAI功能的企业 @OpenAI、@OpenAIDevs。OpenAI还推出了Codex Python SDK,支持线程、回合、流式传输、恢复、图像和沙盒控制 @reach_vb,以及支持

原文出处
[AINews] NVIDIA Cosmos 3, Nemotron 3 Ultra, and RTX Spark

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读