ITIMO创新库

实时信息流

仅保留近一个月的消息
  • 从记忆视角推导 Transformer:线性层、MLP 到 self-attention 的容量分析

    作者以联想记忆视角讲解如何从线性层逐步推导出 MLP 和 self-attention,用干扰信号比衡量各层作为键值记忆存储的容量。在 64 维键下,外积存储容量约 64 条记忆,最优线性存储和 ReLU MLP 约 128,平方 ReLU 约 2,700,β=√d_k 的 self-attention 约 120 万条;文章还讨论了用 log M 缩放注意力 logits 支撑长上下文的做法。

  • 阿里 Qwen 开源 BlenderWorld:223 道题、2651 条标准的 3D 建模基准

    10 月 17 日消息,阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。项目采用 MIT 许可证,代码与数据集已同步发布至 GitHub、Hugging Face 和 ModelScope。

    与常见的“生成一张图”不同,BlenderWorld 要求 AI 交付一个可编辑的 .blend 工程文件,并按需输出渲染图、视频或模型导出文件。在该测试中,模型不能只给出好看的画面,还要构建出材质、几何结构、灯光、相机等可被设计师继续修改的 3D 场景。

    image.png
  • 花旗、美国银行出手限制 AI 智能体访问客户账户,防范存款流失

    据《金融时报》报道,花旗集团和美国银行限制第三方 AI 智能体访问客户账户并办理交易,以免智能体自动把闲置资金转往高收益账户、导致银行存款流失。美国银行 CEO 莫伊尼汉表示资金转出必须经过人工授权,摩根大通 CEO 戴蒙也称不允许外部 AI 智能体随意进入银行系统。

  • 谷歌 DeepMind 哈萨比斯预警:AI 智能体网络攻击是前哨警报,未来一两年恐现灾难性事件

    谷歌 DeepMind 联合创始人兼董事长哈萨比斯称,近期 AI 智能体发起的网络攻击是"前哨预警",若全行业与各国政府不加大系统安全投入,未来一至两年很可能演变为灾难性重大事件。微软总裁史密斯在同一峰会上称 AI 失控行为让 2026 年成为"令人警醒的一年",呼吁出台合理平衡的 AI 安全法律与监管。哈萨比斯主张建立张弛有度、反应敏捷的国际标准机构,并动态构建与风险匹配的认证机制。

  • DeepSeek 开放自研搜索 API

    DeepSeek 网页端与 API 端的搜索能力均由自研 DeepSeek 搜索引擎提供底层支持,稳定处理每天来自全球各地的数亿次搜索请求。DeepSeek 搜索是 AI 原生的通用搜索引擎,索引了全球千亿级网页,支持多语言搜索,实时返回高相关、高权威、高时效的优质结果。针对 SEO 作弊、GEO 操纵和低质 AIGC,我们通过严格的识别机制进行过滤,确保向用户与 LLM 呈现权威可信的信息。

  • 可灵 Kling 4.0 上线:支持30秒一镜到底,作者实测动态与全能参考

    可灵AI凌晨正式上线视频模型 Kling 4.0,支持最长30秒直出和最多10帧的多帧参考,并强化全能参考与复杂打斗等大范围动态表现。作者烧数万积分实测城市追逐、电梯打斗、花样滑冰等场景,认为纸箱形变等细节体现物理规律理解的提升。

    1080P 30秒约450积分(约16元),720P约9元,4.0 Flash 720P 20秒仅120积分,官方还预告将支持10-bit 4K HDR输出。

  • NVIDIA 发布 120B 开源多模态智能体模型 Nemotron 3.5 Super VL

    NVIDIA 发布开源视觉语言模型 Nemotron 3.5 Super VL,120B 参数 MoE 架构、每 token 激活 12B,上下文最高 1M tokens,权重采用 OpenMDW-1.1 许可证,单个模型可处理文本、图像、文档和视频并支持工具调用与代码生成。

  • Meta 发布 Muse Spark Open:816B 开源权重 MoE 模型,支持 1M 上下文

    Meta Superintelligence Labs 发布 Muse Spark 模型的开源权重版本 Muse Spark Open,为 816B 总参数、每 token 激活 42B 的多模态 MoE 模型,支持文本、图像、视频和音频输入,上下文窗口 1M token。

    Muse Spark Open 在基准测试中表现如何?

    Meta 在最大推理努力下将其与 Kimi K3、GLM 5.3、Qwen3.8-2.4T-A95B 等模型进行比较。其最强结果体现在工具使用和知识可靠性方面:

    • MCP-Atlas:89.2,领先于 Qwen3.8(84.5)和 GLM 5.3(84.2)。

    • JobBench:61.8,略微领先于 GLM 5.3(61.4)。

    • HLE-Diamond,无工具:26.1,而 Kimi K3 为 22.2。

    • AA Omniscience:25,在 Meta 的表中得分最高。

    • ZeroBench 带工具:50.0,而 Kimi K3 为 41.0。

    编码是薄弱环节。在 Terminal-Bench 2.1 上使用 Terminus 2 测试框架,它得分为 76.4。Kimi K3 达到 85.0,GLM 5.3 得分为 83.9,Qwen3.8 得分为 82.0。其 Artificial Analysis Intelligence Index 为 39。这落后于 GLM 5.3(45)、Kimi K3(44)和 Qwen3.8(40)。因此“美国最强”成立,但中国开源模型整体仍领先。

    部分竞争对手的分数为自我报告;评估方法列出了每个来源。

  • PrismML 发布 Ternary Bonsai 2 系列模型,iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元

    PrismML 于 10 月 15 日发布 Ternary Bonsai 2 系列模型,含 2B、4B、9B 三种规模,基于 Qwen 3.5 基座,采用 -1、0、+1 三元权重表示,存储占用分别约 0.43GB、0.95GB 和 2GB,目标在手机、PC 和可穿戴设备上本地运行智能体。

  • vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持

    image.png

    TL;DR:Reflection 的 Beam 是一个 501B 参数的 MoE,每个 token 激活 23B 参数。vLLM 从第 0 天起就支持它,并在 NVIDIA Blackwell 上对其进行了优化:

    • 完整功能支持。推理、工具调用和结构化输出开箱即用,你可以用张量并行、数据并行或专家并行来运行该模型。

    • 智能体驱动的优化。编码智能体自主优化了该模型,使 batch-1 解码比我们的首个实现快 2.71 倍,预填充快 1.87 倍。

    • 带自适应验证的 DFlash2。借助 Beam 的 DFlash2 草稿模型,单个请求在 TP8 上达到 708 tokens/s,接受长度为 3.7。自适应验证会在每一步决定有多少草稿 token 值得验证,在高并发下额外带来 10% 的吞吐量提升。