AI 开发者日报

• DeepMind的Genie 3世界模型（多模态、持久化模拟）：根据@demishassabis的推文，Genie 3是一个交互式世界模拟器，可以通过文本、照片或视频进行提示，具有高级空间记忆（状态在镜头外持续存在）和实时角色控制等特性（示例、这里、还有这里）。DeepMind还发布了一个关于Genie 3潜力的播客（链接）。

• 在生成的世界中"内部"训练智能体：DeepMind的SIMA被展示在Genie生成的环境中学习——从世界生成到具身学习的闭环完全在AI内部完成（@bonniesjli）。

• 实际应用中的模拟器工具：开发者们提到模拟器用于数据生成、评估引导、上线前安全测试和轨迹分析（@ShreyaR）。Snowglobe添加了可共享的只读链接（链接）；SDK"即将很快"发布（链接）。

• Qwen-Image-Edit（Apache-2.0）→ 顶级性价比编辑工具：阿里巴巴新推出的开源图像编辑器在Image Editing Arena中获得ELO 1098（排名第2），与GPT-4o性能相当但价格仅为零头（@ArtificialAnlys；@Alibaba_Qwen）。社区示例展示了强大的局部编辑和风格保真度（建筑演示）。在设备端，Qwen3现已在Qualcomm NPU上运行于汽车/机器人中（链接）。Qwen-VL-Max进入视觉模型前20名（并列第10）。

工具支持：AI Toolkit现在支持使用3位ARA微调Qwen-Image-Edit；在单张5090显卡上训练1024分辨率LoRA并缓存文本嵌入；24GB目标接近但尚未稳定（@ostrisai）。

视频：Kling 2.1 "每帧可控" + 新参与者涌现：Kling 2.1发布起始与结束帧控制功能，声称比1.6版本提升235%，实现精确的中间帧合成（@Kling_ai；Lovart集成）。Luma的Ray 2和Runway Gen-4 Turbo在Video Arena首次亮相（详情）。谷歌本周末在Gemini App中提供3次免费Veo 3生成（Gemini，Google），Google Photos现在支持自然语言编辑（"移除汽车"、"让它更好"）（链接）。

• 发布与重点领域：DeepSeek v3.1 已在多个平台上线（Baseten；Yupp）。评论强调了两个重点用例：软件工程智能体和搜索智能体，发展轨迹指向完整的 DeepResearch 系统（@teortaxesTex，后续）。

• Apple Silicon 上的本地/集群服务：

单节点：4 位量化 v3.1 在配备 512GB RAM 的 M3 Ultra 上运行速度约为 21 tok/s，使用约 380GB（@ivanfioravanti）。

• 多节点：EXO 通过 MLX Distributed over TB5 展示了跨 Mac Studios 的线性扩展——例如，2× M3 Ultra → 一个模型 14 tok/s；4× → 两个模型 28 tok/s。EXO 1.0 将开源（@MattBeton）。

智能体编码姿态：多份报告主张默认使用非推理编码器——推理可能会在智能体循环中耗尽上下文（@nrehiew_；@Teknium1）。早期 Cline 测试发现 v3.1 在规划中"做出假设"；随着更多数据输入，正在跟踪差异编辑失败率（@cline）。

基准提示：在扩展版 NYT Connections 上，v3.1 的思考能力相比 R1 有所改进；非思考模式击败 v3-0324；参见跨模型差异（@LechMazur）。

• Intern-S1（上海AI实验室）：一个科学多模态MoE模型，拥有241B总参数/28B激活参数，在5T令牌（其中2.5T为科学内容）上持续预训练。后训练采用离线→在线强化学习的"InternBootCamp"方法，通过混合奖励（MoR） 在1000+任务上进行训练（@iScienceLuvr；HF/论文；概述）。

• SparseLoCo：通信高效的预训练方法，结合了Top-k梯度稀疏化+误差反馈与DiLoCo的不频繁外部步骤；仅通信1-3%的梯度并使用2位量化，性能优于DiLoCo和DeMo（@amir_sarfi；评论）。

• DeepConf：即插即用的推理时方法，通过剪枝并行CoT中的低置信度分支来节省令牌——声称在AIME'25上达到99.9%准确率，使用开源模型且令牌减少高达85%，在vLLM中集成仅需约50行代码（@jiawzhao；配套）。

• 预训练安全过滤：Anthropic探索从预训练语料库中移除CBRN危险内容，同时保持无害任务的性能（@AnthropicAI）。

• RL/自验证理论：字节跳动Seed将推理强化学习与SSL通过双任务推导联系起来；DuPO通过双偏好优化实现大模型自验证（讨论串，论文）。

• 可持续性核算：Google DeepMind发布了Gemini的方法论和每提示指标（中位数文本提示：0.3g CO2e，图像提示：3.0g CO2e），并开源了工具（@GoogleDeepMind；博客）。

• Altos Labs：展示了化学重编程因子，在体外比OSKM效率高50倍，并有早期证据显示改善了DNA修复；OpenAI分享了技术说明（讨论串；博客）。多位领导层确认（@gdb；@sama）。

• 健康产品重点：OpenAI聘请了健康产品负责人以更好地服务ChatGPT的大量健康相关使用（@kevinweil）。Perplexity Max为推理查询添加了GPT-5-Thinking功能（@AravSrinivas）。

• xAI的Colossus 2："世界首个千兆瓦级AI训练超级计算机"（@elonmusk）。
• xAI "Macrohard"招聘：一家纯粹的AI软件公司，使用AI端到端模拟现代软件组织（@elonmusk）。
• OpenAI印度：计划在新德里设立新办公室；征集高级用户的功能需求（@sama；后续）。
• 加沙饥荒确认（非AI相关背景）（@SkyNews；@UNGeneva）。
• Kling 2.1 "每帧可控"：起始/结束帧控制，质量大幅提升，演示视频广泛传播（@Kling_ai）。

/r/LocalLlama + /r/localLLM 回顾

• Seed-OSS-36B表现惊人 (评分: 179, 评论: 48): 字节跳动的Seed-OSS-36B-Instruct是一个 36B 参数模型，原生支持 512k 上下文长度；llama.cpp的早期支持已在PR #15490中实现。用户报告该模型能够生成长且连贯的内容而不会拒绝回答（相比Qwen3 256k 和Hunyuan等模型），在 128k 上下文长度下的RULER评分达到 94 （据chatllm.cpp维护者称）。该模型内置了"思考预算"机制，使用 **/** 标记来自我跟踪token使用情况——例如"我已使用258个token，剩余254个……现在开始回答问题"——建议使用** 512 的倍数作为预算（或 0 表示直接回答）；GGUF转换版本正在yarikdevcom/Seed-OSS-36B-Instruct-GGUF发布，修补版的llama.cpp分支在此处。 评论者发现显式的"思考预算/努力"控制特别有用。发帖者声称Seed-OSS-36B在长输出非拒绝行为方面优于Qwen3/Hunyuan，同时指出GLM-4.5也很强大但上下文长度较小。

Seed-OSS引入了可控的"思考预算"机制，通过周期性自省标记（``）来指导思维链过程，报告已消耗和剩余的token数量（例如*"我已使用393个token，剩余119个token"*），然后在预算耗尽时强制给出最终答案。如果未设置预算，推理过程不受限制；设置预算时，作者建议使用512的倍数（512、1K、2K、4K、8K、16K），因为模型在这些区间上进行了广泛训练；budget=0会产生直接回答，任何预算

Gemma 3 270M实际用途是什么？ (评分: 1457, 评论: 236): 截图显示Gemma 3 270M（IT, MLX）错误地断言"日本是中国的一部分"，突显了这个约2.7亿参数的指令调优模型缺乏世界知识，不适合开箱即用的开放域问答。技术要点是这类十亿参数以下的模型旨在作为构建块，用于设备端低延迟任务和下游微调（分类、标记、标题生成、排序、重排序），或辅助角色（如推测解码、RAG管道中的控制器），而不是作为独立的通用模型使用。 热门评论强调令人印象深刻的是在这个规模下仍能理解连贯的英语；该模型预期会使用领域数据进行微调，在这种情况下表现尚可，但未经调优时事实回忆能力较差。

• 评论者指出2.7亿参数的Gemma 3是一个最小化的基础模型，能够解析和生成连贯的英语但缺乏强大的世界知识；它旨在作为下游微调的起点（"构建块"）而非通用问答模型。重点在于其尽管规模受限，仍能理解提示词并结构化输出，事实回忆预期通过领域数据或检索来提供。
• 多个回复强调像Gemma 3 270M这样的小模型应该在特定任务数据集上进行微调（例如标题生成、标记、排序）。在这种模式下，指令/SFT或轻量级适配器方法可以使它们在明确定义的任务中有效，其中正确性基于专有数据而非参数记忆。
• 小型语言模型被定位为糟糕的百科全书式存储，但在受限自然语言任务中是强大的执行者——摘要、翻译、查询重写、工具使用和数据提取。通过有针对性的微调和精确的提示词，它们可以在这些管道组件上提供相对于更大模型具有竞争力的计算效用，特别是在延迟和占用空间重要的场景中。

• 我正在开发一款游戏，其中所有对话都由玩家+本地大模型生成 (评分: 768, 评论: 110): OP正在原型设计一款游戏，其中所有NPC对话都通过本地大模型在设备上生成，根据玩家输入进行条件化处理，意味着为对话式游戏玩法提供实时、循环内推理；分享了一个简短演示(视频)。未提供关于模型系列/大小、上下文窗口、延迟或硬件的具体细节，也未提供关于防护措施、内存或对话状态管理的详细信息。 热门评论建议通过约束工具使用来扩展NPC行为（例如"攻击玩家"、"奖励玩家"），集成TTS/STT进行语音输入输出，启用NPC间交互，并扩展到模拟经济（资源稀缺→行为变化）；其他人请求PC规格和本地设置的性能指标（吞吐量/延迟）。

技术设计：使用本地大模型处理NPC对话，加上STT/TTS和约束工具调用来处理游戏内行为（例如AttackPlayer、RewardPlayer），通过世界状态驱动涌现行为（例如食物短缺=>盗窃/反抗/奖励任务）。通过结构化解码/语法或JSON模式保持输出可机器解析（参见llama.cpp语法），并通过Whisper（STT）和Piper或Coqui TTS（TTS）在本地运行音频。这使得每次游戏都能产生独特的NPC，以及一个对模拟变量做出反应的NPC经济。

• 提示词注入/越狱处理（关于"忽略先前指令"）：将大模型视为建议引擎，并通过有限状态机+工具白名单来管控所有行为；验证意图和模式，对无效输出重新提示或拒绝。将"规则"保留在代码中而非提示词中；每轮重新初始化角色上下文，并可选择添加防护/评判模型（例如Llama Guard）或约束解码框架如Outlines来降低覆盖风险。
• 每角色提示词：为每个NPC提供一个小型、不可变的系统卡片（特质、目标、说话风格）加上一个紧凑的内存/RAG插槽，包含关系和任务标志来锚定行为。为每个角色调整temperature/top-p以保持一致的语音；原型级适配器/LoRA可以在不增加大型提示词的情况下进一步锁定个性。这种设置回答了如何在本地推理约束下保持设定个性同时保持效率的问题。

尝试给我的基于LLaMA的NPC添加长期记忆…现在他们会记仇了 (评分: 216, 评论: 41): OP为本地LLaMA 3 NPCs (Meta Llama 3)连接了一个简单的长期记忆层，实现为内存API，在每次生成前注入检索（RAG风格）。在测试中（偷面包），商贩的儿子后来拒绝交易，理由是"我爸爸告诉我你做了什么"，暗示在~4游戏小时内的持久性，通过非脚本对话，完全由检索到的记忆驱动。除了检索+生成外，未添加自定义对话逻辑。** 评论者强调了涌现的"代际记仇"现象，并探讨记忆是全局共享还是每个NPC独立（需要明确的通信/日志传播机制）。其他人请求记忆层和检索策略的具体实现细节。

• 评论者探讨内存架构：如果NPC具有每个代理隔离的内存，"代际记仇"意味着明确的继承或通信机制（例如在生成时将父级内存复制/合并到子级，或将事件记录/广播到共享世界状态）。否则，共享/全局内存存储按NPC ID或谱系键控可以解释跨NPC的延续，但如果未强制执行作用域，则存在代理间意外泄漏的风险。这引发了关于内存作用域、TTL/衰减和来源标记的设计权衡，以防止虚假的跨代理污染。
• 一个实现数据点：一位用户报告在Unity中基于Mistral的机器人在切换到memU用于持久对话历史后开始工作，使得长期行为能够在会话间涌现。仓库：https://github.com/NevaMind-AI/memU。实际上，这表明即使是一个简单的持久对话日志（相对于复杂的知识图谱）也可以产生一致的角色状态如记仇，前提是检索或重放将显著的过往回合放回提示词中。
• 有一个问题是"内存API"是否是RAG的一种形式。功能上，许多内存层都是类似RAG的：它们存储过去的交互（通常通过向量数据库中的嵌入）并检索top-k相关片段进行提示词注入，这比在上下文受限的模型如LLaMA中简单附加完整历史记录更具扩展性；替代方案包括没有嵌入的键值存储或事件日志。选择影响延迟、相关性和稳定性（例如基于嵌入的检索与按时间顺序重放），并确定长期状态（例如记仇）在生成期间如何可靠地重新出现。

为什么我的代理总是在最糟糕的时候崩溃？ (评分: 230, 评论: 11): OP报告说，长视野、多步骤的代理经常由于模糊指令/规范差距、缺失权限/ACL错误或静默死锁/超时而不可预测地失败，并且它们不会升级——只是停滞或崩溃。他们希望具有不确定性感知行为，以便代理在受阻时主动请求人工输入而不是崩溃。 顶级回复强调工程控制：添加逐步日志记录/中间结果跟踪以实现可观察性和事后分析；明确实现状态检测和在进入阻塞/错误状态时请求帮助的策略；如果你控制应用层，直接将升级行为构建到代理的控制循环中。

• 在代理"中间处理"期间进行详细的、步骤级的中间结果日志记录，使故障可诊断。捕获每个步骤的输入/输出、工具调用参数/返回、提示词/响应、时间戳和状态转换，以便你可以重建计划在何处/为何偏离并与外部系统行为相关联。
• 通过控制层减少不确定性：将任务分解为明确的子任务（让大模型生成计划），然后通过将相同的子任务路由到多个代理并使用多数/一致方案进行评分/共识来减少不确定性。添加仲裁器来决定何时继续与升级，使用temperature=0.0运行，并避免模型量化以最小化随机方差和在棘手步骤上的准确性损失。
• 明确编码"卡住"状态和恢复行为：定义谓词（例如重试次数超过、跨步骤的相同输出、未处理的工具错误、超时）并在命中时触发"请求帮助"/升级操作。通过有限状态机或防护栏实现，以便代理可靠地过渡到协助而不是循环或静默失败。

• DINOv3语义视频跟踪在浏览器中本地运行（WebGPU）（评分：168，评论：13）：**基于WebGPU的浏览器内演示使用DINOv3密集特征实现了跨视频帧的语义对象跟踪，支持完全客户端（无需服务器）的点提示实例掩码传播和跟踪。用户点击几个参考点后，目标通过DINOv3嵌入中的特征空间相似性进行帧间跟踪，适用于基于浏览器的视频编辑；代码和实时空间：https://huggingface.co/spaces/webml-community/DINOv3-video-tracking。这是之前可视化帖子的后续：https://www.reddit.com/r/LocalLLaMA/comments/1mrbtqt/dinov3_visualization_tool_running_100_locally_in/。**评论者指出这与YOLO风格的边界框跟踪不同，推断其执行的是实例级分割/基于特征的跟踪而非仅边界框。其他回复是简短的非技术性赞扬。

方法说明：基于YOLO的跟踪器通常执行边界框跟踪，而这个演示使用基于实例分割的跟踪（像素级掩码）。实例掩码可以改善遮挡处理，减少ID切换，并支持每像素操作（例如精确叠加或度量），但计算/内存成本更高——这在通过WebGPU在浏览器中运行时尤为重要。

• 评估请求：DINOv3-L与DINOv3-G在密集森林场景（杂乱背景、细结构如树枝、频繁部分遮挡）中如何处理分割？关键关注点是精细细节的召回率/精确度、跨帧的掩码碎片化和稳定性，以及在WebGPU上下文中的模型大小与实时性能/内存限制之间的权衡。

AI正在单枪匹马支撑二手GPU市场。2016年的二手P40售价约300美元。还有什么希望？（评分：247，评论：139）：备忘录风格的流程图突显了二手GPU市场的真实动态：一旦AI爱好者将较旧的高显存数据中心GPU（如NVIDIA Tesla P40，24GB，2016年）作为“廉价”推理选项，社区分享会迅速推高需求并驱动价格上涨（P40现在约300美元**）。评论比较了V100 SXM2等替代品（`

• DeepSeek V3.1 加入战局：DeepSeek V3.1（以及 deepseek-v3.1-thinking）已在 LMArena、Cursor 和 OpenRouter 平台上线——官方模型页面：DeepSeek‑V3.1 on Hugging Face——同时 DeepSeek 在 X 平台宣布支持 Anthropic API：DeepSeek on X；该厂商还表示将从 9 月 5 日起调整定价，使推理器和输入速率保持一致。

用户反馈的使用体验褒贬不一——许多人称其为*"略逊于 Gemini 2.5 pro 的版本"*，同时称赞其编码性能；其他人则指出在创意/角色扮演任务上存在退步，并注意到付费的 OpenRouter 端点能提供更快的响应速度。

字节跳动推出 36B 长上下文基础模型：字节跳动发布了 Seed‑OSS‑36B‑Base‑woSyn，这是一个密集的 36B 基础模型，宣传具有 512K 上下文窗口，并在 ~12T tokens 上进行了训练（社区指向字节跳动模型/代码的链接在 ByteDance GitHub 和通用的 Hugging Face 模型索引）。

• 社区的兴奋点集中在将该模型作为干净的基础模型（无合成指令数据）用于微调（例如 GPT‑ASS），但缺失的 GGUF 文件引发了关于自定义 vLLM/llama.cpp 不兼容性的猜测——参见关于缺失 GGUF 的讨论：https://x.com/adityastomar_/status/1958048129275805867。

• Qwen RoPE 实现 512k 上下文扩展：Qwen（30B 和 235B 2507 版本）通过使用校准数据集（重要性矩阵）的 RoPE 缩放技术，已被证明能够处理高达 512k 的上下文长度；参见 Hugging Face 上的 imatrix 校准数据集：imatrix-calibration dataset。

研究人员使用这些重要性矩阵来减少长上下文运行期间的量化/上下文错误，社区帖子强调需要精心准备的校准数据（数学/代码/语言混合）以保持多语言和编程行为。

医疗事件：CoMET 实现大规模扩展：Cosmos 医疗事件 Transformer (CoMET) 系列——在《生成式医疗事件模型随规模提升而改进》中描述——基于代表 1.18 亿患者 和 1150 亿个离散医疗事件（约 1510 亿个 token） 的记录进行预训练，使用了 Epic Cosmos（跨越 3 亿患者的 163 亿次就诊）——论文：arXiv:2508.12104。

• 研究表明 CoMET 模型通常能够匹配或超越特定任务的监督基线，引发了社区关于现实世界临床实用性、隐私限制以及医疗大模型规模驱动收益的讨论。

• MCP + Web-curl：将智能体连接到Web：开放式MCP工具持续涌现：Web-curl（Node/TypeScript）让智能体能够获取并与Web API交互——代码库：GitHub上的MCP-Web-Curl——同时MCP Boss集中管理密钥（mcp-boss.com），而AI路由网关（例如：mcp-gateway）正在兴起，能够自动选择正确的工具端点。

实践者已经开始结合这些服务来路由智能体、集中管理凭证，并暴露OpenAI兼容的端点，但集成过程中暴露出一些边缘情况——例如，某些MCP客户端（特别是Claude）似乎优先考虑工具描述而非明确的指令字段，这迫使需要服务器端路由和变通方案。

NotebookLM工作流用于长篇音频/研究：用户正在构建可复现的NotebookLM工作流来生成长篇播客和研究摘要（播客工作流示例：deeper_podcast_synthetic代码库片段），NotebookLM的自定义UI允许生成45-60分钟的剧集。

• 由于NotebookLM缺乏公共API，实践者将Gemini API和其他大模型拼接在一起作为变通方案，并使用NotebookLM进行隐私审查（例如，深入研究医疗保健隐私政策），这既带来了机遇也引发了数据敏感性担忧。

• RTX 5090：升级还是不升级？：随着市场价格稳定在2000美元左右，社区正在讨论RTX 5090的升级问题，重点关注训练中的VRAM/吞吐量权衡，以及担忧缺少P2P/NVLink等特性会阻碍多GPU工作流程。

许多用户建议继续使用现有设备（3090/4090）或等待服务器显卡；讨论强调，当网络/互操作性特性限制了扩展性时，仅凭原始TFLOPS/VRAM并不能证明升级的合理性。

MI300称霸排行榜：在trimul排行榜上的竞争性提交显示，MI300以3.50毫秒（第一名）和5.83毫秒（第二名）的成绩运行，社区排行榜频道也报告了强大的H100/B200参赛作品。

• 这些结果引发了活跃的优化讨论（编译器标志、CUDA/Triton选择以及自定义NCCL/后端），因为人们交流着如何从MI300与H100系统中挤出延迟的技巧。

• WildChat-4M-English 发布干净提示词集：WildChat-4M-English-Semantic-Deduplicated 数据集已在 Hugging Face 上发布，包含经过去重的英文提示词（当前发布截止点：提示词）。该数据集采用语义去重（Qwen-4B-Embedding + HNSW）等方法；维护者计划后续添加更大的提示词集，这使得该数据集立即适用于提示词调优和指令微调流程。

• R-Zero：无需人类数据的自进化大模型：Moonshot 分享了一份关于 R-Zero 的详细 PDF，这是一种自进化训练方法，从零人类标签开始引导模型改进（研究 PDF 已在社区发布：聊天中分享了 PDF 链接）。

• 早期评论将 R-Zero 视为具有挑战性的方法：如果方法稳健，可能减少对人类策划数据的依赖，但成员们指出了关于漂移、评估严谨性以及纯自监督引导的对齐问题等担忧。