DeepSeek 开源生产级推理框架 DeepInfer,报道单集群日处理 155T token
Latent Space 报道 DeepSeek 开源其生产推理栈 DeepInfer,称单集群日处理 155T token,离峰价格下每卡每小时收入 38 美元,估算推理毛利率超 80%、回本周期约 81 天。
推荐理由:原文汇总了 DeepInfer 的架构细节、vLLM 对比复现和多方成本测算,读者可以据此校准开源边界与收益数据。
内容类型
AI 产品与应用的功能上新、改版与商业化——谁家的产品变强了、变贵了、能用了。
5 条精选近 30 天 5 条共收录 20 条
Latent Space 报道 DeepSeek 开源其生产推理栈 DeepInfer,称单集群日处理 155T token,离峰价格下每卡每小时收入 38 美元,估算推理毛利率超 80%、回本周期约 81 天。
推荐理由:原文汇总了 DeepInfer 的架构细节、vLLM 对比复现和多方成本测算,读者可以据此校准开源边界与收益数据。
Mistral 发布 Voxtral 3,包含语音转写与语音合成模型以及基于 LiveKit 的 voice agent SDK,支持 50+ 语言转写、35+ 语言与 50+ 方言的语音合成。
推荐理由:官方给出语音转写、TTS 和 voice agent SDK 的能力细节与定价,还附自部署选项,可据此评估语音智能体方案。
Google Research 发布智能体系统 Deep Review 公开版,用于对复杂技术文档进行严格反馈与技术验证,由前身为 Paper Assistant Tool(PAT)的实验项目演化而来。
推荐理由:原文给出 Deep Review 的四阶段审稿流程、试点规模和免费额度,读者可据此判断它是否适合嵌入自己的文档审阅流程。
GitHub 官方基于 2024 Q2 至 2026 Q2 共九个季度数据指出,AI 智能体参与的 pull request 已占三分之一,但每 push 密钥检出率无统计显著上升,开发者驳回 push 拦截的比例从 6.63% 降至 3.93%。
推荐理由:作者用九个季度的数据说明开发者并非更大意,并给出毫秒级分类器扩展 push protection 的路径与开放时间表。
微软亚洲研究院发布重构并开源的 Agent Lightning v1.0,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。
推荐理由:官方详解了用真实 agent harness 做 RL 的训练范式与系统设计,并给出 Qwen3.5-9B 在 SWE-bench Verified 的提升数据,方法可参考。