行业分类:
加载中...
头条分类:
加载中...
唯一登台的中国大模型创始人,杨植麟美国GTC首秀,公开Kimi技术路线图
作者|江宇 编辑|云鹏 智东西3月18日报道,今日凌晨,在英伟达GTC大会上,月之暗面创始人杨植麟作为本届唯一受邀现场演讲的中国独立大模型公司创始人,发表题为《How We Scaled Kimi K2.5》的演讲,首次完整披露Kimi K2.5背后的技术路线图。 就在3月16日,月之暗面刚刚发布最新论文,提前预览了下一代模型的关键模块——注意力残差(Attention Residuals,简称AttnRes)。这篇论文的核心,是对大模型中最基础、却长期被默认接受的结构之一残差连接(Residual Connection)的重新设计。 这项进展很快引发海外AI圈关注。埃隆·马斯克(Elon Musk)称其“令人印象深刻”;前OpenAI研究副总裁、联合创始人安德烈·卡帕西(Andrej Karpathy)则直言,人们对《Attention is All You Need》这篇Transformer开山之作的理解,可能还不够充分。 而在这次GTC演讲中,杨植麟将这项研究放回Kimi更完整的技术框架中,给出了一张更系统的“路线图”。他将Kimi K2.5的进化逻辑概括为三个维度的共振:Token效率、长上下文和智能体集群(Agent Swarms)。 在杨植麟看来,当前的Scaling已经不再是单纯的资源堆砌,而是要在计算效率、长程记忆和自动化协作上同时寻找规模效应。如果能将这三个维度的技术增益相乘,模型将表现出远超现状的智能水平。 这也是自1月底Kimi发布K2.5以来,月之暗面首次把这套技术路线图系统披露。 杨植麟提出,行业目前普遍使用的很多技术标准,本质上是八九年前的产物,正逐渐成为Scaling(拓展)的瓶颈。围绕这一问题,Kimi团队选择从优化器、注意力机制和残差连接三个基础模块入手,逐一重构,并持续开源。 一、重写训练底座:MuonClip把Token效率推高到AdamW的2倍 Kimi团队把第一项重点放在Token效率上,杨植麟在演讲中重点讨论了优化器问题。 他提到,自2014年以来,Adam优化器一直是行业默认选择,但在超大规模训练中,更高Token效率的替代方案已经成为重要方向。Kimi团队在实验中验证,Muon优化器在Token效率上具备显著优势,在相近计算预算下,可以将训练Token以两倍的效率转化为模型能力。 Muon优化器在相同算力下实现约2倍Token效率 不过,杨植麟也指出,在将Muon扩展至万亿参数规模的K2模型训练过程中,Kimi团队遇到了稳定性问题:训练中出现Logits爆炸,最大值迅速超过1000,导致模型发散。 针对这一问题,Kimi团队提出MuonClip优化器。杨植麟称,该方法通过Newton-Schulz迭代结合QK-Clip机制,对训练过程中的数值进行约束。在实际训练中,Kimi K2的max logits被控制在100以内并逐步回落,同时模型loss没有受到负面影响,实现了稳定训练。 MuonClip将max logits控制在100以内,实现稳定训练 他同时提到,为了让Muon在大规模GPU集群中具备可扩展性,Kimi团队还设计了“Distributed Muon(分布式Muon)”,将优化器状态分布在数据并行组中,在需要时再聚合梯度完成计算,以提升内存效率和整体训练效率。 二、第二个重点是长上下文:Kimi Linear把128K到1M解码速度拉高5到6倍 长上下文是Kimi这次路线图的第二条主线。 在这部分,杨植麟重点介绍了Kimi Linear。这是一套基于KDA(Kimi Delta Attention,Kimi增量注意力)的混合线性注意力架构。 它的核心思路,是重新安排注意力层的组成方式,而不是默认所有层都使用全注意力(Full Attention)。 具体来看,Kimi Linear采用约3:1的KDA与全局注意力混合比例,在降低内存开销的同时,保持模型表达能力。 杨植麟在演讲中提到,Kimi Linear已经完成1.4T token规模训练,在长上下文、短上下文以及强化学习任务中均优于全注意力及其他基线方案。 更直接的变化体现在推理效率上。在128K到1M上下文范围内,解码速度可提升约5到6倍,同时在不同长度场景下保持稳定表现。 这一改动解决的是一个长期存在的问题:上下文窗口不断扩大,但推理成本和延迟同步上升,导致长任务能力难以真正落地。Kimi Linear则将长上下文从“可支持能力”转变为“可高效使用能力”。 三、改写残差连接:让每一层更主动地取信息 相比优化器和线性注意力,Attention Residuals(注意力残差)也是Kimi这次技术路线图里尤为关键的一项尝试。 残差连接是深度网络里极其基础的一层设计,已经用了十年左右。 杨植麟提到,传统残差连接采用固定加法累加方式,随着网络加深,隐藏状态会持续增长,深层信息容易被稀释。Kimi团队的做法,是将残差路径替换为基于Softmax注意力的动态聚合,使模型可以根据输入内容,有选择地从前序层获取信息。 这一变化让信息流从“逐层叠加”转向“按需读取”,在深层网络中保持更稳定的信息表达。 在这一部分,杨植麟延伸了前OpenAI首席科学家(Ilya Sutskever)在NeurIPS 2024的相关思路:如果将残差连接视为沿深度展开的简化LSTM,那么Attention可以理解为对这条信息通道的进一步扩展。 Ilya提出“将LSTM旋转90度得到残差连接”,Attention可视为其扩展 基于这一理解,Kimi提出Attention Residuals,并已将相关代码与技术报告开源。 四、视觉强化学习反哺文本能力,跨模态带来认知增益 除了模型底层架构,杨植麟在演讲中还分享了一项跨模态研究方向的重要观察。 他提到,在原生视觉-文本联合预训练过程中,引入视觉强化学习(Vision RL)后,模型不仅在视觉任务上表现提升,也会反向提升纯文本能力。消融实验结果显示,在经过视觉RL训练后,模型在MMLU-Pro和GPQA-Diamond等文本基准上的表现提升约1.7%-2.2%。 杨植麟认为,这表明空间推理与视觉逻辑能力,可以转化为更深层的通用认知能力。相关工作也指向一个方向:多模态训练的价值,已经从“扩展输入形式”,转向“提升底层推理能力”。 他同时提到,Kimi团队正在推进“首个原生联合视觉-文本能力的开放模型(First open model with native, joint vision-text capabilities)”。 五、从单Agent到集群协作:Kimi押注Agent Swarms 演讲最后一部分,杨植麟把重点落在智能体集群(Agent Swarms)上。 他在演讲中提到,未来的智能体形态将从单智能体,转向可以动态生成的集群系统。Kimi K2.5引入Orchestrator(编排器),能够根据任务需求创建多个子Agent,并将复杂任务拆解为并行子任务执行。 Orchestrator动态生成子Agent并并行执行任务 这些子Agent可以承担不同角色,例如AI Researcher(AI研究员)、Physics Researcher(物理研究员)、Fact Checker(事实核查员)等,通过分工协作完成整体任务。 杨植麟进一步补充,这类系统可以覆盖从输入到输出的完整流程,包括大规模信息获取(Input at Scale)、并行操作(Actions at Scale)、任务编排(Orchestration at Scale)以及长结果生成(Output at Scale)。 随着任务复杂度提升,智能体集群相比单Agent的效率优势会持续扩大。在实验中,执行时间可获得数倍缩短。 他同时指出,多Agent系统容易出现“串行塌缩”,即表面多Agent,实际退回单Agent执行。为此,Kimi设计了并行强化学习奖励机制,包括Instantiation reward(实例化奖励)、Finish reward(完成奖励)和Outcome reward(结果奖励),用于引导模型真正进行任务拆解和并行执行。 三类奖励机制用于防止“伪并行”和串行塌缩 结语:Kimi给出一张新的Scaling施工图 在总结中,杨植麟谈到了AI研究范式的变化。 他提到,过去受限于算力资源,研究往往难以在不同规模上验证同一方法。而随着“Scaling Ladder(缩放阶梯)”的建立,研究者可以进行更系统的规模化实验,从而得到更可靠的结论。 这也成为Kimi当前路径的基础:Adam诞生已超过11年,Kimi将其推进为MuonClip并开源;Attention提出已超过8年,Kimi发展出Kimi Linear并开源;Residual connections已有约10年历史,Kimi进一步提出Attention Residuals并开源。 整体来看,Kimi此次披露的路线图,将下一阶段大模型竞争的焦点明确到了三条主线:训练效率、长上下文能力以及智能体协作结构。这三条路径正在同时推进,并开始相互叠加。
曝华为Mate 80系列还将发布两款新机 或3月23日发布
【CNMO科技消息】3月18日,数码博主“超维界”爆料称,华为Mate 80系列还将发布两款新机。其中一款名为Mate 80青云,另一款为Mate 80 Pro Max风驰版。该博主称,Mate 80青云很有可能是此前爆料中的Mate 80GTS,内置散热风扇。而Mate 80 Pro Max风驰版也将更新配置。 华为Mate 80系列 据悉,此前传闻中的Mate 80 GTS版本已正式定名为“青云”。根据爆料信息,该机或在后摄模组下方集成微型散热风扇,并设计有专门的风道结构。这将是Mate系列首次尝试引入主动散热方案。与目前主流的VC均热板被动散热相比,物理风扇能够更快速地带走芯片热量,理论上可有效缓解高性能场景下的降频问题。 在核心配置方面,Mate 80青云预计搭载麒麟9030 Pro芯片,采用9核心架构设计。在主动散热的加持下,该机的性能释放能力有望得到进一步提升,兼顾商务影像与重度游戏需求。 与此同时,Mate 80 Pro Max风驰版也将同期亮相。作为已发售的Mate 80 Pro Max的升级版本,该机预计在屏幕刷新率、触控响应或游戏调度策略上进行针对性优化。现款Pro Max已配备6.9英寸玲珑屏、6000mAh电池及100W有线快充,并支持天通卫星通信和第二代红枫影像系统,风驰版的推出意在进一步满足极客用户对操控体验的追求。 有消息称,这两款新机或将在3月23日的华为春季全场景新品发布会上发布。此外,华为还将发布畅享90系列。
工资太低,科技大厂60000多名员工“不干了”
编译 | 刘煜 编辑 | 陈骏达 智东西3月18日消息,今天下午,三星电子三大工会组成的联合斗争本部举行的总罢工投票以93.1%的赞成通过,员工将于5月21日开始举行为期18天的罢工,这可能影响三星位于韩国首尔以南平泽市大型半导体厂区近一半的产能。 去年11月,联合斗争本部组成共同谈判团,与资方就工资协商谈判了三个多月,但双方立场对立互不妥协,最终工会于2月19日宣布谈判破裂。 三星2025年第四季度利润创下历史新高,分析师预计其今年全年营业利润将增长逾三倍,突破200万亿韩元(约合人民币9263.13亿元)。 其业绩虽然突出,但收入分配不平衡加剧了员工的不满。 联合斗争本部代表崔承浩称:“芯片行业蓬勃发展,但收益并未惠及我们。这就是我们抗争的原因。” 据韩联社报道,崔承浩警告称,若举行为期18天的罢工,三星电子损失将至少达到5万亿韩元(约合人民币231.4亿元)。 去年9月,自存储芯片厂商SK海力士接受工会薪酬改革要求后,三星员工对与主要竞争对手薪资差距的不满也日益加剧,工会成员数在几周内大幅增长,目前三星在韩员工共12.5万人,其中约9万名工会成员具备罢工投票资格,66019人参与投票,投赞成票的为61456人。 联合斗争本部提出三大诉求:1、基本工资上调7%;2、取消“绩效奖金不超过年薪50%”的上限;3、设立以营业利润为基准的奖金池,替代现行被工会称为过时、不透明的核算标准。 联合斗争本部称,一名基本工资7600万韩元的三星芯片部门员工,2025年绩效奖金为3800万韩元,还不到同薪资水平SK海力士员工的三分之一。 崔承浩称,过去三个月里,已有超100位工会成员离开三星,跳槽至SK海力士等企业。SK海力士已批准取消奖金上限,并将营业利润的10%划入员工奖金池。 特斯拉也向三星员工递来了橄榄枝。今年2月,特斯拉首席执行官埃隆・马斯克(Elon Musk)公开呼吁韩国芯片行业员工应聘特斯拉,特斯拉此时正大力推进用于自动驾驶汽车与人形机器人的AI芯片业务。 马斯克公开呼吁图(图源:X) 这不是三星工会第一次举行罢工。早在2024年,继三星集团董事长李在镕于2020年承诺放弃“无工会”政策后,三星工会就举行了三星集团史上的首次罢工。 一位三星高管称,哪怕只发生一次罢工导致生产线停摆,也会损害客户对公司的信任,而且这种信任要花好几年才能挽回,罢工是非常敏感的一件事。 三星发言人称:“半导体业务利润随市场行情大幅波动,三星会均衡分配营业利润,用于未来投资、股东回报与员工薪酬。”公司将以诚恳态度继续与员工沟通协商。 3月初三星曾试图与员工达成2026年的薪资协议。三星在内部通知中称,已提出“史无前例”的薪酬方案:基本工资上调6.2%,存储芯片部门员工每实现100万亿韩元年度营业利润,可额外获得相当于100%基本工资的特别奖金。 韩国祥明大学工商管理教授徐志勇(Seo Ji-yong)称,:“若管理层固守旧念、无视工会诉求,劳资纠纷可能给三星的盈利势头泼冷水。”现代汽车等韩国大型工业集团拥有强大的工会,而三星集团长期以来没有工会风险,这导致三星的劳资关系管理经验与专业能力不足。 结语:三星劳资关系失衡,或将加剧存储芯片短缺 当前全球存储芯片产能本就紧张,三星作为三大存储芯片巨头之一,若出现大规模、长时间罢工,可能会进一步加剧存储芯片供应短缺。届时,不仅AI数据中心建设可能受到影响,包括汽车、电脑以及手机在内的终端产品也会存在涨价风险。 若三星存储芯片供应出现短暂失衡,其竞争对手在定价上可能获得更大话语权。目前行业内高薪挖角情况加剧,人才竞争也更加激烈。于三星而言,其自身存储芯片供应链稳定运营和人才保留压力或有可能将进一步上升。
联想发布拯救者Y700五代平板:搭载骁龙8至尊版跑分超453万 首发3999元起
凤凰网科技讯 3月18日,联想正式发布拯救者Y700五代AI平板,该产品搭载第五代高通骁龙8至尊版处理器,在安兔兔V11性能测试中跑分超过453万分。新品将于3月18日20时在联想官网及各大电商平台正式开售,日常价4299元起、首发3999元起。 这款8.8英寸的电竞平板配备了3K分辨率(3040*1904)屏幕,支持165Hz高刷新率与最高480Hz多指触控采样率。在核心配置方面,除最新的骁龙处理器外,设备还采用了最高10667Mbps的满血版LPDDR5T内存与UFS 4.1 Pro存储。为保障高负载运行,机身内置了面积达17353平方毫米的VC均热板,并应用乾坤散热3.0架构。续航方面,该平板搭载9000mAh电池,并支持68W超级闪充。 软件与AI功能是此次换代的重点,新机内置天禧个人超级智能体,并首发AI战场感知系统2.0。该系统包含多项游戏辅助功能,例如AI声纹猎手2.0可将脚步声识别幅度提升10dB并扩大索敌距离,AI像素狙神2.0则用于优化触控精度和拖动平滑度。此外,设备支持AI智能调度与网络加速功能,可在多任务处理和网络拥堵时优先保障游戏及直播的数据传输。 在应用生态及扩展性上,拯救者Y700五代通过动态虚拟容器技术与高性能转译引擎,支持在移动端运行部分PC平台游戏。硬件扩展方面,设备提供支持旁路充电的双Type-C接口,并同步推出了拯救者游戏手柄G9 2026、G3有线拉伸手柄以及平板街机底座等专属外设配件。
马斯克下场点赞!Kimi 这篇论文撬动了大模型的祖传地基
同样的算力,同样的数据,凭什么效果不一样?大多数人的直觉是:模型更大、数据更好、工程师更厉害。但 Kimi 给出了一个更出人意料的答案。 3 月 16 日,月之暗面 Kimi 发布了一项重磅技术报告《Attention Residuals》(注意力残差)。 这项技术针对几乎所有现代大模型都在使用的残差连接结构进行了改造,并在实验中证明,用同样多的算力,新方法训练出的模型效果相当于基线模型花费 1.25 倍算力才能达到的效果。 报告发布后,也毫无意外得到了许多硅谷顶尖 AI 人物的点赞背书。 ▲附 GitHub 开源地址:github.com/MoonshotAI/Attention-Residuals 比如马斯克通过社交媒体表示「「Impressive work from Kimi」(令人印象深刻的工作)」OpenAI o1 主要发明者 Jerry Tworek 称其为「深度学习 2.0」的开端。 前 OpenAI 联创 Andrej Karpathy 说「看来我们还没把『Attention is All You Need』这句话按字面意思理解透。」但比起这些夸奖,技术论文背后的信号或许更值得关注:深度学习最基础的范式,正在发生变化。 十年没人动过的地基,被撬动了 过去两年,大模型的竞争主要在「上层建筑」展开:更好的注意力变体、更聪明的 MoE 路由策略、更精巧的对齐方法,大家都在 Transformer 这栋大楼的高层精装修。 唯独有一样东西,从 2015 年 ResNet 论文发表以来,几乎没人动过:残差连接(Residual Connections)。 要理解这项技术,得先知道大模型内部的基本结构。 现代大模型,其实都是由很多层神经网络叠加而成的,少则几十层,多则上百层。信息从底部输入,一层一层往上传递,每一层都对信息做一次加工,最终在顶部输出结果。 可以把它想象成一条流水线上的工人:原材料从第一道工序进来,每个工人对它加工一遍,再传给下一个,最终出来成品。问题是,流水线越长,越难训练。 假设第 50 道工序的工人犯了错,你想纠正他,就得把这个「纠错信号」一路往回传,经过 49 个工人才能传到第 1 个。传着传着,信号就消失了,底层的工人根本不知道自己哪里出了问题。 为了让这么深的网络能够训练起来,知名学者何恺明团队在 2015 年发表了一篇题为《Deep Residual Learning for Image Recognition》的论文,引入了一个关键设计,叫做残差连接(Residual Connections): 每一层在加工信息的同时,还会保留一条「直通道」,把原始输入原封不动地加到加工结果上,再往下传。这条直通道让梯度在反向传播时可以绕过中间的变换,一路流回底层,从根本上解决了深层网络难以训练的问题。 比较通俗的理解是,在每道工序旁边加一条「直通道」,把原材料原封不动地绕过这道工序,直接和加工结果合并,再往下传。这样纠错信号就可以沿着直通道一路畅通无阻地传回底层,不会消失。 这篇论文后来成为计算机视觉乃至整个深度学习领域引用次数最多的论文之一,残差连接也沿用至今,是几乎所有大模型的基石。 残差连接虽然好用,但它做信息聚合的方式非常粗暴:把所有前面层的输出,无差别地等权相加。 还是用流水线来比喻。到了第 51 道工序,这个工人手里拿到的,是前面 50 道工序所有产出物的等量混合,每道工序的产出各占一份,不多不少。他没有办法说「我想多要一点第 3 道工序的原料」,也没有办法说「第 20 道工序的东西对我没用,少给我一点」。 这带来了一个名为 PreNorm 稀释的实际问题 :随着网络越来越深,累积叠加的信息越来越多,每一层自己的贡献在庞大的总量里越来越微不足道。越靠后的层,想要让自己的声音被「听见」,就得输出越来越大的数值,否则就会被淹没。 结果就是,很多中间层其实没在认真干活。已有研究发现,大模型里相当一部分层直接删掉,效果几乎不变,这说明这些层的贡献实际上极为有限。 大多数团队早就知道这个问题,选择绕开它,转而在在现有架构上叠加更好的数据配比、更精巧的训练策略、更长的上下文窗口。这些工作当然有价值,但本质上是在一个已有的技术框架内做增量优化。 Kimi 选择的是一条更孤独也更难的路:回到最基础的结构,用第一性原理重新审视那些「理所当然」的设计。 今天凌晨,Kimi 创始人杨植麟在 GTC 2026 演讲中提到:「行业目前普遍使用的很多技术标准,本质上是八九年前的产物,正逐渐成为 Scaling 的瓶颈。」 杨植麟认为,要推动大模型智能上限的持续突破,必须对优化器、注意力机制及残差连接等底层基石进行重构。 一次优雅的「旋转」 Kimi 团队这篇论文的核心突破,其实也来自一个优雅的类比发现。 处理文字序列时,早期的循环神经网络(RNN)也有类似的额外问题:记性差。它读完一整段话之后,早期读到的内容会被后来的内容不断覆盖,等读到最后一个词,前几句说了什么已经模糊了。 后来 Transformer 用注意力机制解决了这个问题,相当于给模型配了一张「全文笔记」,处理每个词的时候,都可以翻回去查任意一个之前出现过的词,而且查哪里、查多少,由当前的内容自己决定。 研究人员发现,残差连接在深度方向上碰到的问题,和 RNN 在时间方向上碰到的问题,数学结构完全一样。换句话说,把 Transformer 想象成一张二维的网格: 横轴是序列方向,一句话里从左到右的每个词;纵轴是深度方向,从底层到顶层的每一层网络。传统的注意力机制是沿着横轴工作的,处理某个词时去查同一层里其他词的信息。 而 Attention Residuals 做的事情,就是把完全相同的机制转到纵轴上去,处理某一层时去查前面所有层的输出,决定要参考哪些层、参考多少。操作对象从「同一层里的不同词」变成了「同一个词在不同层里的状态」,机制本身一模一样,好比方向转了 90 度。 既然注意力机制解决了序列方向的问题,旋转一下搬到深度方向上,同样有效。 这里有一个更深层的理论发现值得一提。研究人员通过数学分析发现,过去十年里所有对残差连接的改进,包括标准残差、Highway 网络、mHC 等各种变体,在数学上其实都是同一件事的不同形式,都等价于某种「深度方向的线性注意力」。换句话说,大家一直在朝同一个方向努力,只是当时没意识到。 而 AttnRes 的核心思路在于,把注意力机制从「处理文字序列」的维度,移植到「跨越网络深度」的维度上。 具体做法是,给每一层配备一个小小的「查询向量」,就像给每道工序的工人配了一张需求单。工人在开工前,先拿着需求单去翻所有前面工序的产出,根据相关度算出一套取用比例,再按这个比例把需要的原料混合起来。 这样一来,每一层不再是被动接受所有前面层输出的等权叠加,而是主动、有选择性地决定要从哪些层提取多少信息,比例还会根据当前任务的内容动态变化。每层只新增一个向量和一个归一化操作,参数量的增加对整个模型来说几乎可以忽略不计。 为了保证训练初期稳定,这个查询向量必须初始化为全零,相当于让工人一开始什么偏好都没有、平等对待所有前序产出,等训练推进了再慢慢形成自己的判断。 值得一提的是,研究人员也测试过一个更激进的版本:让查询向量不再是固定参数,而是根据每一层当前的输入内容动态生成。这个版本效果确实更好,损失值进一步下降。 但最终没有采用,原因是推理时这种方式需要顺序读取内存,会增加延迟。这个取舍体现了贯穿整篇论文的工程哲学,理论上更优的方案,不一定是实用上应该选的方案。 大模型的新技术,最后都得过这一关 全量 AttnRes 在小规模实验中很好用,但一到大规模训练就遇到了麻烦。 它需要每一层都能访问所有前面层的输出。模型有一百多层,每层的输出都得保存在内存里,还要在不同计算节点之间来回传输,内存和通信开销随层数线性增长,在大模型上根本承受不起。 Kimi 团队的解法很实在:Block AttnRes。把网络所有层划分为若干个 Block(48B 模型中分了 8-9 个 Block,每个 Block 约 6 层),Block 内部沿用传统残差连接,Block 之间使用 softmax 注意力。打个比方——不必给每层楼都装电梯,在关键楼层之间架设快速通道就够了。 这样,需要保存和传输的数据量,从「所有层的数量」降低到「块的数量」,开销大幅缩小。实验发现,分成约 8 个块就能保留全量方法绝大部分的性能提升。 在具体的工程实现上,团队还做了两项优化。 训练端设计了跨阶段缓存机制,在流水线并行训练中每次切换阶段时只传输新增的那一小部分块数据,而不是每次都把全部历史重新传一遍,实测整体训练额外开销不超过 4%。 推理端设计了两阶段计算策略,把一个块内所有层的查询打包成一次矩阵运算统一处理,把重复的内存访问摊销掉,最终推理延迟增加不超过 2%。 那实验效果怎么样呢?研究人员测了五个不同规模的模型。 结果显示,Block AttnRes 在全部规模上均以更低的验证损失领先于基线,且改善幅度随规模增大而稳定保持。按拟合曲线推算,在相同的计算量下,Block AttnRes 相当于基线模型用 1.25 倍算力才能达到的效果。 在 48B 参数(3B 激活)规模的 Kimi Linear 架构实验中,Block AttnRes 展现了极强的泛化性:在全部 15 项主流评测基准中,其表现均持平或优于 PreNorm 基线模型。 例如,在博士级科学推理 GPQA-Diamond 上实现了 7.5% 的飞跃,在数学 Math (+3.6%) 及代码生成 HumanEval (+3.1%) 任务中也录得了显著增益 。 从训练过程来看,基线模型的各层输出数值随深度单调增大,印证了 PreNorm 稀释问题;而 AttnRes 的各层输出数值在块边界处得到重置,呈现周期性变化,各层梯度分布也更加均匀,说明更多的层真正参与到了有效的学习中。 此外,研究人员还可视化了训练后模型学到的注意力权重,发现了几个有趣的规律。 每一层仍然最依赖直接前一层的输出,局部性依然是主要的信息流通方式。但同时出现了一些跳跃性的连接,比如某些层会稳定地回溯到很早期的层,还有些层会特别关注最初的词嵌入输出。 另一个规律是,注意力层和 MLP 层的「回望」模式不同:注意力层倾向于关注更广泛的历史,MLP 层则更依赖近邻层。这与两者在模型中的功能分工是吻合的。 AttnRes还带来了一个对未来模型设计有参考价值的发现。研究人员在固定总计算量和参数量的前提下,枚举了 25 种不同的深度与宽度组合,对比基线模型和 AttnRes 各自偏好的最优架构。 结果发现,标准残差连接偏好「更宽、层数更少」的模型,而 AttnRes 的最优点偏向「更窄、层数更多」的模型。这说明 AttnRes 能够更有效地利用深度,让每增加一层都真正产生价值,而不是让深度变成一种边际效益递减的堆砌。 这个发现的含义不止于此。它意味着 AttnRes 不只是在原有架构上打了一个补丁,而是从根本上改变了网络深度的利用效率,也为未来设计大模型时如何分配深度与宽度的资源提供了新的参考依据。 杨植麟曾提到,十年前不是没有好想法,而是没有算力去验证。现在有了足够的资源和「缩放阶梯(Scaling Ladder)」,那些被搁置的问题才终于能被认真答一遍。 大佬点赞的背后,是一个时代在转弯 一个中国团队在最底层的架构创新上获得硅谷顶级人物的实质性认可,这件事本身十分罕见,他们认可的不只是论文成果本身,更在于Kimi 这篇论文指向了一个全新的方向:优化已经从 attention、MoE 这些上层模块,深入到了最底层的残差连接。 在 GTC 2026 演讲中,杨植麟还披露了一连串底层技术创新:MuonClip 优化器实现了相比 AdamW 2 倍的计算效率提升——要知道 Adam 优化器自 2014 年以来几乎未被撼动,属于深度学习的「不可触碰之物」;Kimi Linear(KDA 架构)在 128K 到百万级超长上下文下实现 5-6 倍的解码加速;Vision RL 的跨模态训练甚至让纯文本 benchmark 也提升了约 2.1%。 杨植麟把这些创新概括为三个维度的 Scaling 框架:Token 效率 × 长上下文 × Agent Swarms。 「当前的 Scaling 已经不再是单纯的资源堆砌,而是要在计算效率、长程记忆和自动化协作上同时寻找规模效应。」 一家公司,同时在优化器、残差连接、注意力架构、跨模态训练这些底层战场上全线推进,这种打法在行业里相当特立独行。 这也是为什么 Jerry Tworek 会说出「深度学习 2.0」这样的判断。当然不是说 Attention Residuals 这篇论文就能颠覆一切,更多是它代表了一种方法论的回归:不再满足于在已有框架上修修补补,去重新审视那些被所有人当作「已解决问题」的基础设施。 如果残差连接可以被重新设计,那么 Adam 优化器呢?层归一化呢?位置编码呢?深度学习的基础范式本身正在发生变化,这扇门一旦推开,后面的故事就不再是线性外推能预测的了。 Karpathy 那句「Attention is All You Need 还没被理解透」的感慨,大概也是这个意思。 过去几年,中国 AI 团队的贡献更多集中在工程落地和应用创新上,在底层架构理论方面的原创性突破相对稀缺。Kimi 这篇论文走的是一条完全不同的路线——一个统一的理论框架,一个优雅的工程实现,加上严谨的大规模实验验证。 当然,Kimi 这篇论文还有留下不少需要解决的问题。论文的大规模验证是在 48B 总参数(3B 激活参数)的模型上完成的,这个规模放在今天的第一梯队里并不算大。在真正的千亿乃至万亿参数模型上,1.25 倍的等效优势能否稳住,目前还是个问号。 同时论文展示的也只是预训练阶段的收益,经过指令微调、RLHF 等后训练步骤后,AttnRes 的优势是否会被稀释,缺乏数据。 但话说回来,这些局限恰恰也是想象力的来源。一个仅需约 100 行代码改动、增加不到 4% 训练开销的轻量修改,就能在 48B 规模上带来这样的提升。 当它被应用到更大规模的下一代模型上时,收益的天花板在哪里,谁也说不准。 Attention Residuals 抬高了 Token 效率的天花板,Kimi Linear 拓展了长上下文的边界,Agent Swarms 指向智能体协作的未来。当这三条技术线在下一代模型中汇合,呈现出的可能就是新的范式转变。 在 AI 这座通天塔的工程上,所有人都在争着往上添砖加瓦,而 Kimi 低头往路基重重地凿了一锹,恰好撬动了深度学习的地基。 作者:莫崇宇,李超凡
Take-Two CEO泽尔尼克:无法想象拥有主机的成年人会不想玩《GTA 6》
IT之家 3 月 18 日消息,在最近一次采访中,Take-Two 首席执行官施特劳斯 · 泽尔尼克(Strauss Zelnick)表示,他对《侠盗猎车手 6》(《GTA 6》)抱有绝对信心,并不担心系列新玩家不愿接触这款游戏。事实上,他称自己想不出任何理由一名拥有主机的成年玩家不去购买 Rockstar 这款即将推出的新作。 “我认为会有大量 17 岁的玩家去玩 《GTA 6》,”泽尔尼克接受 The Game Business 采访时表示,“我不担心他们会说‘我没玩过 GTA 5、4、3、2、1,所以我不玩 《GTA 6》’。恰恰相反,我相信我们能吸引到每一位适合的玩家。” 据IT之家了解,《GTA 6》 几乎肯定会被 ESRB 评为 M 级(成熟级,17 岁以上),因此 17 岁及以上群体是 Take-Two 的目标人群。泽尔尼克称,这款游戏在抢占市场方面不会有任何问题。他甚至无法想象,一名拥有主机的成年人会不想玩 《GTA 6》。 “顺便说一句,”泽尔尼克直视摄像头说道,“如果你有主机,且年满 17 岁,那你倒是说说,你怎么会决定‘不,我不玩 《GTA 6》,我没兴趣’?” 至于有观点认为玩家年龄增长后,会因工作、家庭和其他责任而减少游戏时间,泽尔尼克表示这种情况根本不会发生。 “这不会发生,”他断言,“我们会一直热爱 17 岁时爱上的娱乐方式。想想看,如果我问你‘你喜欢什么音乐?’,你会和所有人一样说‘我什么都听’。但顺便说一句,这根本不是真的。可如果我告诉你‘你独自一人,有一小时时间,只想好好放松、享受音乐’,你最终听的,还是你 17 岁时听的那些歌。” 泽尔尼克并未引用具体研究,但确信 《GTA 6》 会在青少年和成年人中双双大获成功。他称,随着成年玩家年龄增长仍继续玩游戏,同时年轻玩家首次接触电子游戏,Take-Two 的受众(以及营收)只会不断扩大。 “如果你 17 岁爱上电子游戏,到了 40 岁,猜猜你还在做什么?”他继续说道,“还在玩电子游戏。这就是为什么游戏玩家群体随着我们年龄增长仍在不断扩大。我知道游戏投资顾问马修 · 鲍尔(Matthew Ball)不这么认为,但在 Take-Two,我们的经验是,我们正受益于行业的这一趋势。” 不过泽尔尼克也承认,这种持续增长取决于 《GTA 6》 能否获得好评。 “当然,只有我们做出真正优秀的作品,才能从中获益。”他说。 泽尔尼克还谈到了 Take-Two 在游戏中对人工智能(AI)的应用,称 AI 仅用于提升效率,永远无法替代人类的工作,像 《GTA 6》 这样的游戏根本不可能由 AI 制作出来。 “这个想法很可笑,”他评价道,“在娱乐行业从来都是如此。当然,有些娱乐行业在技术上没有互动娱乐那么复杂,比如音乐。现在有些程序可以让你输入提示词,就生成一首‘专业录制’的歌曲。它听起来像首歌,但我敢打赌你不会想听第二遍。” 《GTA 6》 最初计划于 2025 年秋季发售,后推迟至 2026 年 5 月 26 日,目前定档于 2026 年 11 月 19 日。在 SAG-AFTRA 电子游戏演员罢工期间,Take-Two Interactive 是 IMA 谈判委员会代表的众多游戏发行商之一。此次罢工中,演员们争取更好的工作条件,其中包括对 AI 应用的相关保护。
科技大厂,11000人没工作了
编译 | 刘煜 编辑 | 陈骏达 智东西3月17日报道,根据戴尔今天向美国监管部门提交的最新文件,在截至今年1月底的2026财年内,戴尔共计裁减员工约11000人,目前员工总数约为9.7万人,较上年同期约10.8万人的总规模减少约10%。同期,戴尔裁员所产生的遣散费用支出达5.69亿美元(约合人民币39.18亿元)。 戴尔提交的文件图(图源:SEC) 戴尔已经至少连续三年进行规模在10%左右的裁员。2023年初时,戴尔的员工总数约为133000人,到2024年初时这一数字降为120000人,到2025年1月底时这一数字为108000人。 戴尔近3年员工数量图(图源:SEC) 同期,戴尔总计支付了13.41亿美元(约合人民币92.32亿元)的遣散费。 戴尔3年裁员的遣散费图(图源:SEC) 裁员的同时,戴尔正把更多资源集中到AI服务器等高收益业务上,这些业务带动了其营收的快速增长。 今年2月,戴尔发布了2026财年全年业绩。这是戴尔史上业绩最好的一年。其全年营收达到1135亿美元(约合人民币7816.4亿元),同比增长19%。全年运营现金流创也历史新高,为112亿美元(约合人民币771.31亿元)。 财报中,戴尔预计其2027财年AI服务器业务收入将增长103%,达到约500亿美元(约合人民币3443.75亿元),将向股东返还更多现金。同时,戴尔宣布将现金股息上调20%,并额外追加100亿美元(约合人民币688.74亿元)股票回购计划。 伦敦证券交易所(LSEG)汇总的数据显示,戴尔预计全年营收将达到1380亿(约合人民币9504.88亿元)至1420亿美元(约合人民币9780.39亿元),这高于分析师平均预期的1255.4亿美元(约合人民币8646.44亿元)。 进行大规模裁员的科技企业不止戴尔一家。据追踪科技行业裁员信息的网站Layoffs.fyi统计,今年已有60家科技企业裁员超38000人。路透社称,上周Meta正计划大规模裁员,受影响员工比例或达到20%及以上。 结语:AI加速渗透千行百业,科技企业调整人员结构 当前全球PC市场长期需求放缓,叠加内存芯片成本上涨影响了个人消费电子设备的市场需求,戴尔将资源投向AI优化服务器业务,紧跟市场的AI发展战略主线,两次大规模缩减员工或是其顺应行业趋势的举措。 不止如此,随着AI不断深入千行百业,科技企业纷纷进入转型调整阶段。大幅裁员虽然对企业重组与优化经营有明显帮助,但受AI浪潮影响,大量基层岗位被收缩,许多员工面临工作变动,短时间内团队士气也许同样会受到打击。
通用汽车电池工厂转型,返聘700余名被解雇工人
IT之家 3 月 18 日消息,继福特将部分原本用于纯电车型的电池工厂转向储能业务后,通用汽车也做出了相同选择。 通用汽车与 LG 新能源合资成立的奥特能电池在美国田纳西州运营一座电池工厂。该工厂于 2024 年投产,曾为凯迪拉克 Lyriq(IT之家注:锐歌)、Vistiq(凯威德)以及讴歌 ZDX 提供电池电芯。不过随着通用汽车收缩纯电业务投资,这座工厂去年裁员超过 700 人。 奥特能电池运营副总裁汤姆 · 加拉格尔表示,随着工厂转型,去年被裁的员工将在 4 月底前陆续返岗。工厂将改为生产磷酸铁锂电池,主要供应电网和数据中心等储能客户。 当地时间 3 月 17 日,彭博社报道指出,此次改造耗资数千万美元,旨在减少通用汽车在纯电战略调整中的损失。同时,这一转型也符合 LG 新能源在北美的整体布局。LG 正在对四座电池工厂进行类似调整:密歇根州的两座工厂、与 Stellantis 合资的加拿大工厂以及与本田合作的俄亥俄州工厂,这些工厂也将转向生产储能用磷酸铁锂电池。 LG 系统集成部门 Vertech 首席产品官特里斯坦 · 多尔蒂说,工厂可以在不到一年时间完成转型,从而快速响应市场需求并恢复产能。“未来美国市场的大部分需求都将由本土电池供应。” IT之家从报道中获悉,通用汽车表示,工厂员工将在转型过程中接受培训。不过,对于该工厂未来更长期的规划,通用汽车尚未给出明确说明。此前公司曾表示,计划在 2028 年前在田纳西州生产富锰锂电池。
追觅手机负责人:全球手机80%利润被苹果拿走,国产厂商携手突围
IT之家 3 月 18 日消息,在上周举行的 AWE 2026 展会上,追觅 AURORA 手机系列首次公开亮相。在全球手机市场持续收缩、部分厂商收缩产品线的背景下,追觅选择此时跨界入局引发关注。 今日,追觅 AURORA 手机负责人刘扬在接受搜狐科技采访时透露了其造机逻辑与市场策略。 据刘扬介绍,追觅手机团队目前已组建 500 人,其中研发人员占比超过 70%,且均为各领域资深从业者。首笔研发投入达 100 亿元,计划 2026 年将团队扩充至 2000 人,2027 年扩大至 5000 人。 当谈及跨界造机的底气,刘扬表示,核心在于人才与创新,同岗位薪资比市场平均水平高出 20%,并计划引入奢侈品、黄金珠宝等行业人才,进行跨行业整合创新。 针对产品布局,追觅 AURORA 此次推出 LUX 高奢与 NEX 科技影像两个系列。刘扬解释称,双系列布局是为满足不同用户需求,当前高端用户不再仅关注硬件参数,单一赛道难以覆盖多元化需求。 其中,AURORA LUX 高奢系列定价尚未公开,最终价格将根据用户选择的黄金克重、钻石材质及皮革用料决定;AURORA NEX 科技系列预计于 2026 年下半年上市,后续还将推出同价位段的轻奢款产品。 在市场竞争方面,刘扬表示,追觅不会刻意与国内厂商进行对比。他指出,当前全球手机市场约 80% 的利润被苹果占据,国产厂商的核心问题不是内部竞争,而是如何在海外市场与苹果抗衡。 为此,追觅的市场布局中 80% 在海外,20% 在国内,试图避开国内红海竞争,在海外高端市场寻找机会。IT之家注意到,追觅去年还宣称其首款智能手机已在海外市场斩获超 1 亿元人民币的预售订单。 刘扬认为,通过贵金属材质及回收再造服务赋予产品“保值属性”,是追觅与其他品牌的核心差异,也是对高端产品价值的重新定义。 针对当前内存芯片涨价引发的行业波动,刘扬认为,内存涨价对全行业是公平的,厂商不应陷入价格战内耗,而应抓住 AI 算力需求提升带来的机遇,沉下心进行产品创新。他表示,追觅不会参与价格战,将坚持通过有价值的创新应对行业挑战。
索尼独供时代宣告终结:三星正式杀入iPhone 18果链
快科技3月18日消息,索尼作为iPhone相机传感器的核心供应商,目前正面临严峻的生产瓶颈。这一问题主要集中在索尼位于日本长崎的技术中心,其良品率的波动已经直接威胁到了供应链的稳定性。 长崎技术中心为索尼贡献了全球约80%的智能手机传感器销售额,此次生产受阻被业内视为一次重大打击,极有可能导致高端影像传感器的供应出现明显缺口。 面对供应风险,苹果一直在积极推动供应链的多元化布局。最新的战略动作是苹果选择与三星深度联手,后者将正式进入iPhone 18系列的影像传感器供应序列。 苹果与三星的强强联手早已在计划之中。两家巨头正共同出资在美国建设首座图像传感器制造厂。此举不仅是为了确保供应安全,更是为了通过本土化生产有效规避高额关税。 目前,索尼以51.6%的市场份额牢牢占据全球智能手机摄像头传感器的霸主地位,而紧随其后的三星份额为15.4%。随着苹果订单的转向,全球影像传感器的市场格局将迎来巨大变动。 三星正在为苹果定制一种极其先进的三层堆叠式传感器。据悉,其综合性能表现有望超越索尼经典的Exmor RS系列,在数据读取速度和感光能力上实现跨越式提升。 为了进一步追求极致的成像素质,三星还在研发先进的多层堆叠晶圆技术。这一技术能从物理层面减少像素间的信号干扰,从而在复杂光影环境下提供更加纯净、细腻的画面表现。 将于今年下半年登场的iPhone 18系列将正式启用三星传感器,这意味着苹果影像系统将告别索尼一家独大的时代,通过引入竞争来驱动更具突破性的镜头表现。
一加15T小屏手机3月24日发布:7500mAh电池,165Hz高刷
IT之家 3 月 18 日消息,一加今日官宣,一加 15T 新品发布会定档 3 月 24 日 19:00。 一加中国区总裁李杰表示: 很多人觉得,小屏手机天生就要妥协。但一加不这么看。这一次,我们只做一件事 —— 性能续航超越大屏,旗舰体验超越小屏。 一加 15T,「小屏大魔王」,来了。性能全面拉满,续航大幅突破。7500mAh 超大电池,比一众 Pro Max 还更大;165Hz 高刷,小屏唯一;「风驰游戏内核」+「电竞三芯」,游戏体验直接拉满。 不只是强,还要全面。影像、质感、手感、配置,一样不落:3.5× 潜望长焦;满级防水 + 满级无线充;超声波指纹 1.1mm 行业最窄四等边 + 全白机身。 IT之家已经拿到了这款手机,在详细评测解禁之前,让我们先来欣赏一下它的外观。 一加 15T 首发拥有多款配色可选,包括治愈白巧、松弛抹茶、纯粹可可等颜色。IT之家拿到的是主打色「治愈白巧」,命名灵感源于巧克力。中框和后盖虽采用两种材质工艺处理,但表面均为哑光处理,色彩上高度一致。 一加 15T 在造型上延续了小直屏和线条利落的直角中框组合,手感则继承了一加 15 上那种“沙滑并存”的特质。 边框左侧的独立「快捷键」继续保留,可提供静音、振动、响铃 3 种场景切换功能,或一键闪记、一键静音、一键翻译、一键录音等 8 种自定义操作。 屏幕方面,一加 15T 搭载一块 6.32 英寸的 1.1mm 极窄物理四等边小直屏,支持 1.5K 分辨率 + 165Hz 高刷,拥有超高屏占比。 配件上,一加 15T 包装中附有白色的 100W SUPERVOOC 闪充适配器,经典红白数据线,笑脸卡针以及同色系硅胶保护软壳。
售价20.38万起!小鹏P7新版型正式发布 新增多款配色
【CNMO科技消息】3月18日,小鹏汽车举办“爱P7的鹏友大聚会”活动,正式首发小鹏P7三款全新车色——星曜红、星云白和暗夜黑,同时推出P7新版型。 小鹏P7 据CNMO了解,在此之前,小鹏P7已拥有星瀚绿、星暮紫、微星灰、律动黄、新月银、星芒蓝、哑光新月银七款车色。此次新增三款全新外观配色后,小鹏P7的外观车色总数达到十款,为消费者提供了更丰富的个性化选择。与此同时,该车还同步新增熔岩灰、引力红、橙耀灰三款内饰配色。 价格方面,小鹏P7各版本定价明确:702 Max版本售价20.38万元,820 Max版本售价22.38万元,750 四驱Max版本售价24.38万元,750 四驱鹏翼Ultra版本售价30.18万元,覆盖不同消费层级需求。 配置上,小鹏P7全系标配多项实用及豪华配置,具体包括5C超充AI电池、800V高压SiC碳化硅平台、前全铝双叉臂+后五连杆悬架、双腔空气悬架、智能可变阻尼减振器、Touch Pad智慧触控、9英寸流媒体后视镜、太极液压衬套、三幅运动方向盘、brembo四活塞固定卡钳、三轴灵动屏、双卫星旋钮、智能香氛、主驾主动侧翼支撑、三层镀银天幕、追光全景抬头显示、主驾分体式腿托、360°车外语音、前245mm/后275mm超宽鸳鸯胎、前排通风加热按摩、前排双层夹胶玻璃、20英寸大直径轮毂、23颗定制HiFi扬声器以及沉浸式运动仪表。
苹果刀法封神:iPhone 17e仅比16e多一个线圈也敢叫换代
快科技3月18日消息,苹果公司于3月2日晚正式推出了iPhone 17e。这款新机最核心的升级集中在内部性能,搭载了处理速度更快的A19芯片,并首次配备了苹果自研的无线芯片以及MagSafe磁吸充电功能。 在外观设计上,iPhone 17e延续了经典造型,但加入了更具辨识度的粉色选项。根据知名拆解机构iFixit的报告显示,MagSafe磁吸充电线圈是区分iPhone 17e与前代产品iPhone 16e的唯一显著不同点。 令人意外的是,该机的电池容量维持在4005mAh,与iPhone 16e的规格完全一致。这意味着在续航基础硬件上,新机并未做出实质性的扩容,续航水平的提升将主要依赖于A19芯片带来的能效优化。 不仅电池规格相同,iPhone 17e的机身三围尺寸与iPhone 16e也完全一致,长宽高分别为146.7、71.5以及7.8毫米。这种极高规格的延续性,使得市面上原有的iPhone 16e保护壳可以与其完美通用。 在内部组件的兼容性方面,虽然这两代设备之间的部分零件可以互换,但Face ID组件受到严格限制。由于每个原深感摄像头在出厂时都独立注册并与主板绑定,因此FaceID模块无法在设备间简单互换使用。 针对MagSafe无线充电功能,由于iPhone 16e在系统层面缺乏识别该组件的必要软件支持,因此即便强行为16e加装磁吸线圈,也无法正常触发苹果标志性的磁吸充电动画。 这种设计策略显示出苹果在维持供应链稳定与产品迭代成本之间的精准平衡。对于用户而言,iPhone 17e更多是一次基于核心算力和充电便利性的常规性能补充,而非大跨度的工业设计革新。
这设计果味十足!OPPO Find X9s Pro来了:横向大矩阵 质感拉满
快科技3月18日消息,OPPO Find X9s Pro已正式获得入网许可,设备型号确认为PME110。这款备受瞩目的新机定于4月份正式发布,届时将与影像系列的顶级旗舰机型OPPO Find X9 Ultra同台亮相。 根据目前曝光的保护壳和渲染图来看,OPPO Find X9s Pro的外观设计极具辨识度。其后置相机模组采用了横向大矩阵设计,整体视觉风格与备受关注的iPhone 17 Pro颇为神似。 在影像配置上,OPPO Find X9s Pro迎来了史诗级的硬件跨越。该机后置搭载了2亿像素超清主摄、2亿像素大底潜望长焦以及5000万像素超广角镜头,构成了极其强悍的三摄系统。 值得关注的是,这是目前手机行业Pro档位中唯一采用双2亿像素组合的旗舰机型。相比上一代产品,其影像解析力和长焦拍摄能力都有了大幅度提升,旨在冲击移动影像的新高峰。 屏幕方面,该机配备了一块高素质的1.5K纯直屏,既满足了用户对高分辨率的需求,又提供了极佳的操控感。核心动力则源自联发科最新的天玑9500旗舰平台,确保了顶级的性能输出。 续航表现同样是这款新机的一大亮点,其电池容量实现了重大突破,一举超过了7000毫安时。配合无线快充技术以及行业领先的满级防水能力,OPPO Find X9s Pro在日常使用的耐用性上几乎没有短板。 随着发布时间的临近,这款兼具顶级性能、超长续航与双2亿像素影像的旗舰产品,已成为4月手机市场最值得期待的高端产品之一。

版权所有 (C) 广州智会云科技发展有限公司 粤ICP备20006386号

免责声明:本网站部分内容由用户自行上传,如权利人发现存在误传其作品情形,请及时与本站联系。