跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

8 条精选近 30 天 6 条共收录 47 条

更新

部署工程的精选

10月24日周六第 1–8 条
10月23日周五
  1. Hugging Face Blog61

    微软与 Hugging Face 详解 ThinkingBox 如何将数据库判分转化为 RL 奖励并开源训练栈

    微软与 Hugging Face 发布 ThinkingBox-Training 博客并开源代码,把对数据库终态的可执行检查用作 RL 奖励,在 ThinkingBox-Bench 之外的任务上训练 Qwen3.8-27B。

    推荐理由:微软与 Hugging Face 联合复盘如何把数据库终态检查变成 RL 奖励,并公开完整训练栈,适合做有状态 Agent 后训练的参考。

    Alpha-X 解读
10月22日周四
  1. Hugging Face Blog67

    NVIDIA 发布 Kumo Relational 关系型数据基础模型,无需训练即可预测

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上通过预测查询做流失、需求、欺诈等预测,无需任务训练和特征工程。该模型在 15 个数据库的 41 项任务上超过监督式关系深度学习和梯度提升树管线,在 SAP SALT 基准上 MRR 超 AutoGluon 集成 8%,微调后领先 16%,可扩展到 500B+ 行的数据库。

    推荐理由:官方发布了面向关系型数据库的预训练基础模型并附代码和权重,读者可以了解其免训练预测架构和基准表现。

    Alpha-X 解读
10月21日周三
  1. Latent Space80

    DeepSeek 开源生产级推理框架 DeepInfer,报道单集群日处理 155T token

    Latent Space 报道 DeepSeek 开源其生产推理栈 DeepInfer,称单集群日处理 155T token,离峰价格下每卡每小时收入 38 美元,估算推理毛利率超 80%、回本周期约 81 天。

    推荐理由:原文汇总了 DeepInfer 的架构细节、vLLM 对比复现和多方成本测算,读者可以据此校准开源边界与收益数据。

    Alpha-X 解读
10月8日周四
  1. GitHub Blog · AI & ML66

    GitHub 发布 ModernBERT 分类器扩展 push protection 覆盖非结构化密钥

    GitHub 官方基于 2024 Q2 至 2026 Q2 共九个季度数据指出,AI 智能体参与的 pull request 已占三分之一,但每 push 密钥检出率无统计显著上升,开发者驳回 push 拦截的比例从 6.63% 降至 3.93%。

    推荐理由:作者用九个季度的数据说明开发者并非更大意,并给出毫秒级分类器扩展 push protection 的路径与开放时间表。

    Alpha-X 解读
  2. Microsoft Research60

    微软亚洲研究院发布 Agent Lightning v1.0:约 3500 行代码的轻量级 Harnessed Agentic RL 框架

    微软亚洲研究院发布重构并开源的 Agent Lightning v1.0,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。

    推荐理由:官方详解了用真实 agent harness 做 RL 的训练范式与系统设计,并给出 Qwen3.5-9B 在 SWE-bench Verified 的提升数据,方法可参考。

    Alpha-X 解读
9月9日周三
  1. Mistral AI61

    Mistral 复盘用 AI 智能体将 4 万行 Fortran 77 迁移到 C++ 的方法

    Mistral 介绍其为欧洲能源运营商迁移 4 万行 Fortran 77 油藏模拟代码到 C++ 的实践,目标是 30 万行代码库的第一阶段。项目先构建数值对齐验证框架,用 Vibe CLI 启动上百个智能体结合 Mistral OCR 生成文档并提交 PR;对比完全自治和纯手动两种极端后,落地为规划、编码、测试、审查智能体加人工审查节点的模块化工作流。

    推荐理由:Mistral 复盘 AI 智能体迁移大型遗留代码的完整方法,先建数值对齐验证、再补文档、最后用带人工审查的结构化工作流。

    Alpha-X 解读
7月29日周三
  1. Berkeley AI Research61

    K-Search 通过 CUDA 到 MLX 翻译层将内核优化经验迁移到 Apple Silicon

    研究者基于 UC Berkeley Sky Lab 的 K-Search 演化式内核搜索框架,新增 MLX 后端和结构化 CUDA 到 MLX 翻译层,让现有 CUDA 内核知识自动适配 Apple Silicon。

    推荐理由:原文给出结构化 CUDA 到 MLX 翻译层的做法和可复现步骤,读者能了解跨硬件迁移内核优化经验的可行路径。

    Alpha-X 解读