手握数亿用户的手机厂商一直是探索AI终端的先锋力量。 不久前，vivo、OPPO和荣耀在新手机发布前，都集中举办了开发者大会。AI已经成为最热闹的话题，而各家手机厂商也在这一场合，展现了对AI战略的全新理解，以及各家对模型能力应用的侧重。 外界好奇的是，作为用户日常使用最频繁的智能设备，国内手机上的AI已经发展到什么阶段？有哪些应用场景？以及又有哪些难题待解？ 01 AI手机进入端侧多模态时代 两年前，手机AI的应用集中在文本处理上，比如多轮对话、摘要生成、文案续写等应用，而且依赖云侧大模型的处理。而今年一个明显的变化是，随着多模态端侧模型的涌现，实现了大量与图像、语音处理相关的场景。 vivo展示了18个端侧智能相关的应用，比如卡证识别、文件名自动填充，以及端侧化的UI Agent，通过一句话在备忘录创建笔记，或者通过一句话在钱包里记一笔详细的账单。这些任务相比于过去帮你设置一个闹钟，有更复杂的交互逻辑，需要有意图识别能力和自主规划能力。 自动播放 OPPO则重点演示了一键问屏和一键闪记的功能。一键问屏依托多模态大模型，AI不仅可以实时理解屏幕内容，也能够让用户指着实景进行语音对话。而一键闪记则可以自动提取关键信息并分类，比如当你通过微信支付买了东西，手机会自动将这笔消费记录到账单里，无需任何手动操作，或者能通过扫描小票信息，完成账单录入。而取餐码等信息，则会以小卡片的形式在手机上实时提醒。 自动播放 荣耀披露了手机可自动执行的场景超过3000个，围绕衣食住行购，解决用户频繁跨App调用的烦恼，比如一键比价购物，除了帮你进行比价，把商品添加到购物车，还能帮你领取优惠券；比如一键打车，通过语音直接让AI调用打车软件。过往需要频繁切换App，现在通过AI，一个指令就能完成。 自动播放 “从热门的大模型跟智能体产品来看，技术上已经具备了理解物理世界或者加速物理跟数字世界融合的能力。”荣耀MagicOS AI产品部总经理张冲说，客观来讲，对手机厂商而言，数字世界包含了天然数据和生产数据，通过这些数据可以进行更好的模型微调，以便理解用户在当前情境下的需求。 不过，在一位手机AI技术专家看来，“AI技术的进步和用户的需求存在一定的错配。用户最高频的AI使用场景是图片的处理，但这一代的技术，先成熟的是语言模型。”该人士预测，大概率在明年，图片处理的成熟度会非常高。 手机厂商的大模型基本经历了三个阶段：两年前，vivo、OPPO都发布了从几亿参数到上千亿参数的全尺寸语言模型。一年前，业内的重心从语言模型转向语音、图像等多模态领域，并且更加重视模型的端侧化，加速大模型在手机上落地。 vivo、OPPO、荣耀AI进展汇总 整理：数智前线 而今年的几个明显的趋势是：一是端侧模型集中在3B的轻量化模型尺寸上，而且在大语言模型的基础上新增了多模态。 比如今年7月，荣耀发布了7B的多模态感知大模型MagicGUI。vivo也在同一时间发布了3B多模态推理大模型BlueLM-2.5-3B，实现语言、视觉与逻辑推理能力在端侧集成。而10月，OPPO发布了端侧多模态大模型AndesVL，包含了0.6B-4B四档尺寸套件，除了具备通用多模态识别、理解和推理能力外，也具有GUI能力和多语言能力。 业内通过低比特混合量化方案和端侧Lora训练方案，快速缩小了模型的体积和对内存的开销，加快了端侧多模态大模型的部署速度。 一位行业从业者告诉数智前线，现在的3B模型已经能够做到之前8B模型的效果。而且，以往这些任务需要多个视觉专家模型和语言模型相结合，但现在能够做到多种尺寸和模态的模型集成到一个模型中，带来更高的识别率。比如vivo采用了1+N架构，让多模态和语言模型、逻辑推理等共用一个基座模型，再搭配各模态的Lora，实现一个模型支撑了十余个业务场景。 二是端侧实现了推理模型的深度思考模式，手机本地能做到像云端一样进行复杂推理，大幅提升了解决复杂问题的准确率。 三是GUI Agent模型的引入，让AI主动操控手机界面来完成任务。它的本质是模拟人对手机进行点击、滑动等操作，无需依赖规则和固定脚本，也不用应用方提供特别的API，从而让手机智能体实现对第三方应用的操作。 02 端侧模型落地面临哪些挑战 现在的手机AI助手，背后通常会调用不同的模型来执行不同任务，既有自己蒸馏的模型，也会通过API去调用外部优秀的云侧大模型服务，包括阿里通义、字节跳动豆包是被手机厂商广泛接入的两家。 但一位手机行业人士告诉数智前线，调用外部模型，里面还有很多弯弯绕绕，“豆包也好，阿里也好，给手机厂商的API，跟他自己的最新版本不一样，他慢了至少3到6个月。”上述人士说，云厂商内部卖云的人跟开发模型的人是两拨人。 云厂商将自己内部的能力封装成商品拿出去卖，但模型厂商也担心，手机厂商基于自己的数据做优化后，效果比它的还更好，“这个事情不是说我不想接他，是他不想给我。” 但相比于两年前，手机厂商已经很少在大参数的基础模型上做大投入，而是更多把精力放在了端侧多模态模型上。 一位手机AI专家告诉数智前线，云侧模型通过MOE架构实现了大幅压缩，但端侧受限于芯片性能，目前已经能做到2B-5B，相当于2023年的32-70B的模型。如果模型厂商的目标是追求智能上限，而终端厂商则是把模型压缩放到端上。“我们不做0到1基础模型的训练，小尺寸的端侧模型实际上是云端大尺寸模型的蒸馏。” “云端的能力已相对比较容易建立。”vivo AI研究院院长周围说，“真正难的是端侧的能力。” 周围透露，vivo在去年做了13B和7B的端侧模型，发现只有7B基本能用，但7B端侧模型的实现效果并不理想，占用内存太大，需要占用近4GB的运存空间。vivo最近一年将更多精力放在了3B端侧多模态模型上，如今3B端侧模型在文本摘要上的能力已经能做到云侧大模型97%-98%的能力，“已经够用了”。 但这并非意味着手机厂商不再去做大参数的模型，而是在能力上会做一些区分，“如果这个问题已经是大部分厂商在解决的，那么我选择跟他合作。”一位技术专家告诉数智前线，比如手机厂商不会再去迭代纯粹增加世界知识的模型，而是侧重基于手机端多维数据的理解，追求个人化智能。 所以，尽管目前手机厂商都采用的是端云协同方案，但不难发现，核心依然在端侧模型的优化上。 一方面，云端大模型的每一次API调用都需要成本，而且往返的延迟也影响着用户体验；另一方面，用户对隐私的担忧，限制了云侧大模型对数据的使用。而端侧大模型除了需要更高性能的芯片和存储空间，几乎不会增加其他成本，以及在本地处理带来更高的隐私安全，这些特性成了端侧大模型在手机落地的关键。 AI的爆发正在给手机厂商带来了一些甜蜜的烦恼。手机厂商的用户体量庞大，频繁调用云侧模型的服务，会带来巨大的成本开支。一位手机AI专家告诉数智前线，用ASR模型做手机的转录翻译，一个小时需要耗费的云成本达到了2块钱。而这些费用都需要硬件厂商承担。 事实上，市面上的AI应用，除了部分大厂的对话类产品，很多专业的工具都需要收费，比如PPT的生成、深度研究报告等，都开始探索收费模式。 而且，一位业内人士对数智前线感慨，云厂商并没有太强烈的意愿去做端侧模型的投入，“因为他们更多是卖MaaS服务”，这也更加依赖手机厂商主动去解决端侧模型的难题。 但当下面临的一个问题在于，缺乏爆款AI应用，用户对AI的感知还非常有限，芯片厂商也出现了观望情绪。 “芯片厂商一直在找我们，看能不能在手机上找到更多的明星场景。”上述人士说，目前，高通骁龙和联发科天玑最新的旗舰芯片，AI算力都已经达到了100TOPS。芯片厂商希望卖更强算力的芯片，但如果没有足量的应用支撑，算力大，意味着芯片价格也高，最终会影响到芯片的销量。 03 Agent生态才刚刚起步 不难发现，目前外界看到的一句话修图，一句话连Wi-Fi，一句话记账等自动化任务基本还局限于厂商自己的一方应用，比如备忘录、相册等。 但用户大部分的使用场景是在第三方的应用，“85%的时长是由开发者给我们提供的服务”，这意味着头部互联网厂商的参与依然是非常关键的一环。 周围提到，当下手机自动智能体要做任务时，只能做厂商自己的功能。但是想跨应用，在安全授权的标准方面，终端厂商和互联网厂商仍然需要复杂的讨论。“作为终端厂商，我们要积极推动行业标准的建立，也要认识到，AI技术从现在到成熟还有几年的过程。” 随着单一智能体走向多智能体协同。各手机厂商除了发布智能体应用，也都在积极搭建智能体生态。 比如，vivo将系统中高频可复用的能力提炼成通用的系统级智能体，包括屏幕感知、任务规划等做成“通控设施组”，直接提供给生态伙伴调用，然后通过智能体开发平台，提供多种端侧AI开发能力，帮助生态伙伴针对具体的业务场景去开发丰富的智能体。 OPPO则将智能体生态框架作为OPPO AI的三大技术基石，这不仅是OPPO智能体跨设备协同的核心平台，也关系到AI智能体实现从单步执行升级到复杂任务规划与多设备联动的关键。 荣耀也发布了系统级的MCP架构，目前已经打通了系统底层超过80%的高频场景，也接入了超过4000个生态MCP和智能体。除了软件生态，荣耀也在基于深圳的区位优势，希望构建AI硬件生态，实现智能体的跨设备协同。 手机厂商在智能体生态的构建上相比于其他终端产品，拥有大量的跨应用、跨场景的多模态数据。手机可以与其他终端设备打通，扮演智能中枢的角色，这些特性让手机在智能体生态的构建上具备着天然优势。 如今，已经开始有互联网厂商尝到了甜头，比如蚂蚁集团几乎与主流手机厂商都达成了战略合作，将旗下的智能体服务接入到了手机厂商的生态里。vivo透露，蚂蚁旗下的AI健康智能体AQ在蓝心小V的健康场景的流量份额从年初到现在提升了三倍。 但对于大多数应用厂商而言，智能体生态背后涉及到流量分配和数据权限的难题。不少App厂商担心，如果由系统级的智能体来直接服务最终用户，App的价值会受到冲击。另外，现在的用户数据是各App自己掌握，如果要由系统级智能体来执行，是否需要共享用户数据也是一个让不少企业担忧的问题。 目前，业内的普遍做法是开发GUI大模型，这是一个更加温和的解决方案，本质上不是由智能体与智能体直接交互，只是将手机界面的操作由AI替代了人，背后依然需要用户登陆个人账户，关键节点需要用户确认，手机智能体只是扮演着使用者的角色。 而vivo周围的态度代表了不少手机厂商的观点，“第一是愿意跟我们握手的，就一起坐下来商量来做。第二是AI时代到来了，是不是需要有一个全新的江湖地位和影响力，这个就留给时间。”