今年5月15日,火山引擎宣布字节跳动旗下“豆包大模型”正式对外开放。而根据QuestMobile报告提供的数据显示,基于豆包大模型打造的豆包APP,月活用户数上半年已达到2752万,是第二名的2.43倍。
更值得一提的是,来自多个行业的企业客户,正在越来越多使用豆包大模型。
在8月21日举行的2024火山引擎AI创新巡展(上海站)上,火山引擎智能算法负责人、火山方舟负责人吴迪表示,目前平均每天都有分布在约30个行业的企业客户使用豆包大模型,日均调用量已达到5000多亿tokens。
针对大模型在具体行业的落地过程,火山引擎副总裁张鑫重点分享了如何助力企业打造智能体(Agent),以及Agent为企业带来的助力。
张鑫表示,火山引擎认为,“更易落地”,与“更强模型”、“更低价格”同等重要,都是推动企业AI转型的关键要素。
在大模型具体的落地过程中,企业不仅需要大模型,还需要一系列的平台工具和工程化操作,才能把好的模型变成好的应用。如提示词工程、检索增强生成(RAG),以及针对行业不同需要,对大模型本身进行的精调等,这需要企业反复权衡和取舍。
在克服所有工程化挑战,并构建好模型之后,需要企业从单点的局部突破,逐渐向企业战略层面演进。通过实际调研发现,除掌握好的模型和技术外,企业落地AI还需要应对来自业务层面的挑战甚至误区,如AI产品的价值如何衡量、数据如何转化、如何选用合适的模型等。
张鑫表示,随着AI应用的深入和跨领域,智能体正越来越多参与到企业的业务运转中,甚至未来会同时出现多个Agent相互协同的状况。
对此,企业可以率先从成熟技术入手,先将其应用到简单的业务场景中,如通过提示词调优调用豆包大模型,就可以构建出简单易用的对话类Agent。而随着对企业积累数据的梳理,企业则可以进一步通过知识库RAG方式,增加回答的稳定性。
火山引擎副总裁张鑫
随着业务场景越来越复杂,企业会用到更加复杂的技术和工程化手段,这就需要平台能够支持多Agent编排、多Agent注册甚至多Agent自动发现等。并且在业务上线后,还要持续对模型效果进行测评,通过反馈不断优化,最终构建出完整的大模型应用体系。
张鑫强调,5月15日火山引擎发布的HiAgent产品,就是希望帮助企业用“零代码”或“低代码”方式,一步步实现技术落地。
HiAgent定位为企业专属的AI应用创新平台,向下可兼容多种不同模型。原生整合进来的豆包大模型,还能兼容第三方闭源或开源模型。平台为企业客户提供更为便利的提示词工程、知识库、插件以及工作流的编排。
张鑫表示,通过HiAgent,希望让企业客户的创意和想法不再受到技能的限制,可以实现快速落地,让人人都可以变成开发者。
他说,一个合格的智能体,需要具备对人和环境的感知交互能力,并能够对任务进行意图理解和识别,以及进一步进行规划,推理,最终像人一样使用工具,完成既定的任务。
从具体操作的角度来看,首先在写提示词方面,HiAgent提供一系列场景化模板,并提供一键优化功能。
在挂载知识库方面,HiAgent则支持多种不同数据源文件格式上传,用户无须面对文档解析的分片、语义改写、多路召回混排等复杂操作。
最后,面向不同的行业,HiAgent还预制了常用的企业级插件,并支持企业将内部系统以插件形式对接到平台中。
通过以上三步构建起AI应用后,企业还可以通过工作流创建专家级应用。通过拖拉拽方式,企业可以构建起端对端的、复杂的多Agent编排。针对特定场景,还可以让大模型自动生成一整套工作流,打造更完整的智能体。
张鑫总结到,HiAgent平台将开发的“门槛”降到极低,而当HiAgent将所有的技术难题解决后,各行业“懂业务的人”,就可以用最短时间,打造最适合本行业的应用。
随着AI场景越来越丰富,以及大模型越来越强的泛化能力,企业应尽早打造专属的AI能力中心。智能体的落地,一定要与企业内部系统融合,调用企业内部API,并与内部的IM、CRM、ERP等系统打通,从而实现“飞轮效应”。平台用得越多,就越“厚”,创新也就越快,平台沉淀的知识库、Agent插件模板等也就越多,真正为企业积淀自己专属的知识资产。