作家 | 魏琳华 刘俊宏吻玉足，剪辑 | 王一粟

2024年3月，OpenAI关停仅运营两个月的GPT Store。

时隔仅7个月，相同是作念Agent平台，OpenAI现任董事会主席Bret Taylor创立的新公司，融了45亿好意思元。统共这个词AI界在前后发布的Claude的“Computer Use”和智谱的AutoGLM智能体下，启动了一场“丢下”OpenAI的狂欢。

10月26日，微软开源了基于纯视觉的GUI屏幕分解器具OmniParser，谷歌的同类产物“Project Jarvis”也有望在12月上线。

加入狂欢的不啻是大模子厂商。和智谱晓喻达成深度相助的一个月后，荣耀也交出了我方的答卷。10月30日，荣耀CEO赵明展示了AI智能体YOYO自主处理任务的智力，只需要敌手机说一句“订2000杯咖啡”，YOYO就帮他在近邻下单得手，忙坏了周围的咖啡店和外卖员。

非论是电脑端如故手机端，Agent启动竟然收尾了“自主性”：从点咖啡到买牙膏，无需东谈主类操作，一句提醒就能让AI完成统共任务。和前一代只可提提倡的Agent比较，AutoGLM收尾了从1.0到2.0的进阶。

二级市集的热度，也被智能体燃烧。发布AutoGLM后，一众投资、参股智谱，或是和智谱相助密切的公司股价昭彰飞腾，“智谱倡导股”走强。上周启动，智谱倡导股持续活跃，豆神教师、念念好意思传媒、常山北明等有关倡导股一度涨停。

当端侧大模子启动落地到手机端，苦于落地的大模子厂商，不单是只将目力放在了软件智力上，从智能体到作念以大模子为智力中心的“AI OS”，大模子创企们找到了AI大模子生意化的新谈路。

在OpenAI错过的7个月中间，Agent到底发生了什么变化？

AI Agent插足2.0期间

为什么智能体倏得燃烧了二级市集的祥和？

华泰证券指出，AI Agent已络续理了大模子从“言”到“行”的打破。

对比上一代“只动嘴皮子”的Agent，非论是Computer Use如故Phone Use，上述智能体产物均收尾了AI端的自主操作：继承到提醒后，AI将躬行领受援手，包括点击、输入等交互功能。

以Anthropic发布的“Computer Use”为例。演示中，无需东谈主类操作，它完成了“填写公司表格数据”的任务。

接到上述任务后，AI将责任拆分为多个要领：

1、领先，查找已有表格中是否有所需公司的有关数据；

2、在查询不到遵守后，AI掀开搜索界面，自行查找有关公司的数据信息；

3、终末，它对应着表格的空白部分逐一完成数据的输入。

通过在对话栏输入提醒，AI自主凭据表格信息情况完成填写

在展示视频中，智谱发布的AutoGLM 调用手机上的多个App也很丝滑，当用户条目购买瑞幸的好意思式咖啡，AutoGLM掀开好意思团搜索品牌，并把想要的商品自动加入购物车，并跳转至结算界面。交给用户的，唯有采纳“下单”按钮。

凭据用户的需求，AI自主选择咖啡的口味

微软也在近日开源了一个用于识别Web打量觉界面的器具产物OmniParser。在Github展示页的示例视频中，OmniParser也作念到了自主操作的智力：

当录用给它一个网罗素食餐厅的任务时，OmniParser通过分解界面元素，在网页中定位到“餐厅”字样。检索不稳健条目后，它再自动拉起搜索框，凭据关键词定位到有关餐厅，并完成勾选。

这些对东谈主类来说相配浅易的操作，交给AI，需要克服的艰难不少：

领先，非论是电脑端如故手机端的交互，Agent均需要完成点击、划动、查找等要领，如何让模子学会并作念到精确操作，这是阻碍Agent进化的一浩劫题。

而这个难题的打破，收成于基础大模子发展带来的智力跃迁。

比如，如何让AI厚实GUI（图形用户界面）并完成操作？

Agent的中枢系统分为感知-预备-挂念-举止-器具五个部分，其中，感知系统崇拜捕捉外界的视觉、听觉、文本信息，并加以分析。通过对上述信息的完整通晓，Agent会勾通这些信息对接受到的任务进行预备，也等于用CoT（念念维链）的方法拆解成多个要领，按次践诺。

但在2023年，大言语模子仍然停留在文本智力阶段，在视频、语音等多模态智力发展尚未打破的时候，Agent受底层基座智力的终结，尚且无法完整感知环境，从而在多个任务上的践诺经由中犯错，当然也难以达到愚弄阶段的水准。

对此，微软的管理决策是，通过屏幕截图的方法，将屏幕中的统共可交互图标和按钮一一标注出来，将它们索取为信息，再凭据识别的内容进行界说，让AI厚实每个交互点的作用，从而收尾自主操作。而智谱AutoGLM在手机端的操作愚弄，相同借助了多模态智力来完成对UI的识别解读。

而在上述基础上，针对数据不及、策略散播漂移等问题，智谱也找到了问题的解法。

比如，受制于轨迹数据获取老本闲雅和数据不及的问题，无法对大模子智能体完成充分的动作践诺智力考研。

为此，他们在AutoGLM中引入自研的“基础智能体解耦合中间界面”遐想。以“提交订单”为例，把AutoGLM动作中间界面，将「任务预备」与「动作践诺」两个阶段通过当然言语中间界面进行解耦合。

对比过往端到端智能体的平直处理，这种方法将AI的操作准确度栽培了快要一倍。

除了收尾精确交互操作的需求除外，靠近种类粘稠的复杂任务，智能体还需要具备即时预备和改良智力，从而在遭逢问题的时候实时给出有用的管理方法。

对此，AutoGLM上愚弄了“自进化在线课程强化学习框架”时间，让智能体在基于手机和电脑的环境中络续学习和栽培应付智力。

“就像一个东谈主，在成长经由中，络续获取外行段。”张鹏解说谈。

在上述两种智力的加持下，AutoGLM 在 Phone Use 和 Web Browser Use 上皆取得了大幅的性能栽培。官方数据骄傲，在 WebArena-Lite 评测基准中，AutoGLM 更是相对 GPT-4o 取得了约 200% 的性能栽培。

总体来看，在大言语模子和多模态模子进化一年之后，AI Agent终于收尾了从单体智能，向使用器具标的迈进，完成了2.0的进阶。

伦理电影有哪些

学会使用器具，东谈主工智能插足L3阶段

纵不雅东谈主工智能的发展史，东谈主工智能和东谈主类的进化旅途何其肖似，正在阅历从学会“言语”，到“管理问题”，再到“使用器具”。

3个多月前，OpenAI将通往AGI之路离别为五个阶段。AutoGLM上线今日，智谱也向外界公示了我方的时间路子图。

领先在L1阶段，AI的要点在于学会使用“言语”，包括语音、笔墨还有视觉。

回来两年前，从ChatGPT出身启动，东谈主们对AI的审视力启动回荡到生成式AI上。在短短半年的时辰里，大言语模子每每涌现：GPT、Claude、GLM等系列大模子出现并持续更新换代，它们均围绕言语厚实、逻辑智力等办法完成进化。

在大言语模子除外，AI厂商还把关注点放在了另一座岑岭——多模态大模子上。围绕视觉、听觉等智力，收尾了从无到有的打破：

从本年上半年启动，端到端语音模子启动先后发布，它让AI大致“听到”东谈主的脸色，并完成有温度的疏浚。

本年4月，GPT-4o的发布会向东谈主们展示了和AI实时对话的魔力。和以往模子比较，端到端语音模子将过往的多个大模子串联完成的任务压缩到一个模子中完成，缩短时延的同期，还能完整保留东谈主声的脸色、停顿等信息，可以随时打断它并陆续疏浚。

多模态模子则让大模子装上了“眼睛”，看到并厚实现实宇宙环境的变化。

以智谱的GLM-4V-Plus为例，它不仅大致完成大言语模子的对话智力，同期，在视频、图像的厚实智力上栽培昭彰。智谱还推出了视频通话API接口GLM-4-Plus-VideoCall，让大模子大致和东谈主类打“视频通话”，识别支配物品并舌粲莲花。

“大脑是一个相配复杂的系统，包括听觉、视觉、味觉、言语等多模态的感知与厚实智力，有短期和永久挂念智力，深度念念考和推明智力，以及情怀和联想力。”张鹏说。

可以看到，现时阶段下，大模子智力启动大致模拟东谈主脑的一些功能，包括视觉、听觉、言语厚实等智力。

智谱方面久了，在他们预备的五个阶段中，L1智力“照旧达到了80-90%”。

在外传读写等基本智力的进化经由中，代表L2的逻辑念念维智力，也在快速进化。

L2的一个里程碑等于 OpenAI发布的o1模子，跳脱出过往的GPT大眷属，专注于CoT（念念维链）智力上精进，它学会了慢念念考：在愚弄念念维链，将提醒拆分为多个浅易要领完成的同期，o1用强化学习的智力，用于识别和改良失实。

OpenAI暗意，跟着强化学习的加多和念念考时辰的加多，o1的性能会持续提高。官方数据骄傲，在Codeforces把持的编程竞赛上，o1取得了卓绝93%参赛者的成绩，并在物理、化学、生物等基础学科的智力办法上取得了跳跃博士生的水准。

因此，o1也被视为东谈主类在L2逻辑念念维智力上取得的新进化，启动展现和东谈主类旗饱读终点的推明智力。

当L1言语和多模态智力基本买通明，基于上述底层智力，才能涌现出达到L2逻辑念念维智力和L3器具智力级别的新产物。

而此次升级的智能体操控智能结尾的智力，履行上在L3阶段。

正如形而上学家恩格斯所言，东谈主类和动物，最本体的区别等于——能否制造和使用器具。

智能体2.0的升级，也代表着东谈主类在通往AGI的路子上，又拿下了一城。

“AutoGLM 可以看作是智谱在 L3 器具智力方面的探索和尝试”，张鹏暗意。

预测L4和L5，OpenAI觉得，L4阶段，AI大致自我完成改进；L5阶段，AI则具备融入或自成组织的智力。

而智谱也对L4和L5阶段给出了新的界说，联系于OpenAI，智谱对AGI的期待愈加激进。

“咱们觉得 L4 级东谈主工智能意味着 AI 可以收尾自我学习、自我反念念和自我改进。L5 则意味着东谈主工智能全面卓绝东谈主类，具备商量科学限定、宇宙发源等终极问题的智力。”张鹏暗意。

端侧大模子，AI落地的新高地

当AI进阶至L3阶段，大模子厂商们在生意化的程度上也按下了“加快键”。

事实上，结尾硬件和大模子厂商们正在双向奔赴。不雅察本年发布的AI硬件，是否搭载Agent，对应着产物AI智力的“天渊之别”。

最权臣的对比，是10月30日发布的，搭载YOYO智能体的荣耀Magic7。

基于智能体可平直践诺任务的特色，赵明一句2000杯饮料的需求，爆单了近邻统共咖啡店。 从“一步步”交互，到智能体“出手自动践诺”，赵明高慢地晓喻谈，“手机插足自动驾驶期间”。

为了挖掘硬件端和AI智力勾通的后劲，智能结尾厂商和大模子公司的结亲早已见怪不怪。

其中，智谱是现时国内大模子创企中庸手机厂商联动最多的一家。此前，智谱照旧和荣耀官宣策略相助，而在最近半年的时辰中，其先后和三星、英特尔、高通联手，通过提供底层AI智力维持结尾智能化升级。

相同，苹果就觉得，Apple Intelligence的智能体将平直改善苹果手机的销量。在刚刚收尾的苹果2024年四季度财报电话会中，CEO库克称，“iPhone 16系列卖得比iPhone 15系列更好，Apple Intelligence上线后，用户升级iOS18.1版块的积极性皆是前年同期的两倍。”

加持AI，将是手机厂商将来吻玉足多年的坚苦策略。凭据IDC预测，推断2024年AI手机出货量将同比增长363.6%，达到2.3亿部。IDC手机盘考总监Anthony Scarsella暗意，在2024年收尾三位数增长之后，AI手机将聚会四年收尾两位数增长。

为何硬件结尾厂商如斯热衷于智能体的落地？背后是智能体从底层颠覆了硬件厂商与消耗平台之间的权力地位。

以“赵明点咖啡”为例，在莫得智能体之前，用户点咖啡大多依赖渠谈惯性。用户需要凭据民风、优惠券、积分等身分，在好意思团、星巴克小要领、饿了么等平台之间采纳下单。而有了替用户下单的智能体之后，由于平台不再平直对接客户，智能体有了为平台平直分派订单的权柄。换句话说，通过搭载智能体，AI结尾厂商有了向软件平台“纳税”的权柄。

如同苹果现时被大皆厂商“痛”，又莫可奈何的“苹果税”。恰是因为掌捏了App Store的分发和活水，苹果才能依靠简直“躺赚”的生意模式，才能以平均高达70%以上毛利率的软件就业收入，拉高统共这个词公司的营收质料。

据2024年四季报骄傲，苹果本季度软件就业业务的营收占比为26%，业务毛利率为74%，公司举座毛利率为44%。

看到如斯优质的营收，也难怪AI硬件厂商“大干快上”智能体。而看到了这场全新变现模式的大模子公司，也纷纷与AI硬件厂商伸开了相助。

除了加码修图、文本总结等AI软件功能、植入智能体除外，打造端侧大模子，并将其深度融入硬件系统，成为原生智力，是手机厂商加码AI智力的下一步。

基于端侧大模子提供的中枢智力，AI手机正在作念到更多之前无法完成的事情，用智能体作念事如故第一步。

比较之下，智谱还有愈加庞杂的贪心， 他们更但愿将AI智力深度植入结尾，用大模子重塑操作系统。

“但愿咱们的发愤大致激动东谈主机交互范式收尾新颐养，为构建 GLM-OS ，即以大模子为中心的通用规划系统打好基础。”在发布AutoGLM时，张鹏如是说。

不仅智高手机关注AI智力的加码，芯片端也在加快和AI智力的交融。上个月，高领会喻将智谱GLM-4V端侧视觉大模子搭载到芯片骁龙8至尊版，进行深度适配和推理优化。其推出的愚弄ChatGLM维持用相机进行实时语音对话，也维持上传像片和视频进行对话。

在AI好意思满落地具身智能之前，手机、电脑等结尾将是AI大模子落地的更佳场景。通过L3器具智力的展现，AutoGLM们将有契机撕开新的生意模式。

不外，智谱的AutoGLM现在如故通过调用手机的无艰难权限收尾跨愚弄调用，将来淌若想要完成愈加复杂的提醒，还需要和智能结尾厂商以及愚弄拓荒商达成深度相助，从而获取更多操作权限。

大模子的“软”实力，最终还得“硬”收尾。

现在，大模子的生意化仍然所以软件付费为主，包括面向C端的订阅制和面向B端的API接口或者技俩制。但在将来，要想竟然收尾AGI，以及开释更强盛的智力，还得是通过硬件来和物理宇宙交互。

智能体在端侧的落地，就像一个机遇，匡助大模子公司在硬件上积贮了广大的工程化智力，以致还能赢得一些可以的角落数据。这给将来，非论是通过XR援手如故具身智能机器东谈主，来完成物理宇宙的交互，皆打下了一个好的基础。

将来，在智能结尾上的落地，将是大模子时间和生意化的新高地。