从数据处理到 Agent 的链路正在被大幅压缩。
7月30日,记者获悉,腾讯云正式发布智能数据湖计算平台AI DLC,面向自动驾驶、具身智能、Agent等AI场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以腾讯自研的 WorkBuddy 为例,接入 AI DLC 后,其处理同一批数据的端到端时间缩短80%,完成相同任务所需算力约为此前的五分之一。
(腾讯云智能湖计算AI DLC架构)
长期以来,企业开发 AI 应用通常需要先用 Spark 完成数据清洗和加工,再将结果写入存储,由 AI 团队通过 Ray 等框架完成训练和推理。不同环节运行在不同平台,数据需要反复搬运,权限、元数据和算力资源也要分别管理。
针对这一痛点,AI DLC 实现了 Spark 与 Ray 在同一平台运行。Spark 负责大规模数据处理和特征准备,Ray 承接多模态数据处理、模型训练、在线推理和 Agent 任务。两套框架共享数据、算力和权限体系,数据处理完成后即可直接进入训练和推理,无需跨平台搬运。
AI DLC 采用 Serverless 架构,算力可按任务秒级弹性伸缩、按使用时长计费,企业无需预留和运维固定集群。据介绍,它也是业内首个在同一平台提供生产级 Spark 与 Ray 全托管服务的计算平台。
在算力层面,AI DLC 将 CPU、GPU、TPU 等异构资源纳入统一资源池,根据数据处理、训练和推理任务动态调度。任务结束后,资源可自动释放并分配给其他作业,减少固定集群长期闲置。平台整体资源利用率可提升数倍,并已适配国产主流 GPU 芯片,帮助企业在自主可控的算力底座上运行 AI 负载。
为进一步提升计算效率,AI DLC 搭载腾讯云自研向量化计算引擎 Meson 和多模态计算引擎 Xpark。Meson 兼容 Spark API、SQL 语法及生态组件,在标准测试中查询性能提升3.6倍,部分复杂查询最高加速5倍,CPU使用率下降近一半;Xpark 面向文档、图片和音视频等多模态数据,提供50多种多模态和大模型算子,相比开源方案推理吞吐提升3倍,GPU利用率可长期接近100%。
除支撑数据处理和模型训练外,AI DLC 还面向 Agent 进行了升级。Agent 运行产生的轨迹、记忆和反馈可沉淀至数据湖,经过处理和后训练后持续反哺 Agent;平台同时通过 MCP、Skills 和 Open API 开放能力,让 WorkBuddy、CodeBuddy 等 Agent 直接调用数据处理、训练和分析能力。
这一模式已在腾讯内部得到验证。WorkBuddy 运行过程中持续产生对话、文档和用户反馈等数据,部分单字段达到 GB 级,数据量月增速超过100%。接入 AI DLC 后,这些数据可直接完成清洗、特征提取、模型后训练和评估回流,形成可复用的数据与训练流水线。
在自动驾驶场景中,博世测试车辆每天产生大量视频和传感器数据,抽帧和清洗主要消耗 CPU,数据脱敏,模型训练与推理则依赖 GPU。通过博世ARENA统一管控平台,博世将数据处理、推理和部分训练任务纳入统一调度。目前,其平台已沉淀200多个推理模板,每天处理上万个推理任务,持续提升自动驾驶数据闭环效率。
随着企业 AI 应用从模型走向 Agent,数据平台也正从支撑数据分析,升级为支撑 Agent 持续运行和迭代。在AI DLC之外,腾讯云已围绕 Agent-Ready 构建了覆盖基础引擎、统一控制面和上层 Data Agent 的完整数据平台能力,助力企业加快数据资产向智能应用转化。

