多台服务器共同训练一个大模型时，研发团队需要通过智算平台看清训练进度，也要能在进度停滞时找到排查起点。以每台服务器配备八张加速卡为例，即使各台服务器都显示在线，其中一张卡运行异常、两台机器之间通信超时，或某个训练进程因代码报错而退出，都可能让其他进程等待。此时，只看服务器是否在线，很难判断训练到了哪一步，只看任务进度，又难以确定该查哪台机器。衍生智算平台将训练任务管理与计算资源监控结合起来，让研发和运维人员围绕同一次异常快速展开排查。

衍生智算是一套集异构设备统一纳管调度与 AI 一站式工具链于一体的异构分布式智算平台。研发人员可以在大模型工具链中查看训练状态、可视化进度与任务日志。例如，发现进度长时间没有更新时，先记下任务 ID 和最后一次进度更新的时间，再与运维人员对照相应时段的节点状态、GPU 利用率和网络指标，缩小需要排查的范围。如果任务已经中断，团队处理异常、确认运行环境后，还可以利用已保存的训练检查点继续训练，减少从头计算的投入。

1. 衍生智算平台如何同时查看任务进度与节点状态，让团队更快更及时发现训练停滞？

衍生智算平台的大模型工具链从单次训练任务呈现进展。研发人员进入训练详情，先看任务处于什么状态，再结合可视化进度和最近的日志输出，判断训练是否仍在推进。例如，某项任务此前持续输出训练记录，随后较长时间没有更新，最后一次正常输出便提供了一个具体的排查时段。研发人员可以把任务ID、时间和相关日志一起交给运维人员。

在衍生智算平台的资源监控中，运维人员可以按节点和时间范围查看资源表现，也可以从某个指标入手比较不同节点。假设四台八卡服务器参与同一次训练，运维人员可以先对照这四台机器在相同时段的GPU利用率，再查看内存、磁盘读写和网络指标。如果只有一台节点的表现明显偏离其他节点，就可以优先检查这台机器及其运行实例，减少逐台登录检查的工作。

对于需要持续关注的训练资源，衍生智算平台支持按GPU、内存、网络等指标配置告警条件、阈值、持续时间和通知人。训练详情给出任务进展，资源监控显示哪些节点出现变化，告警记录帮助团队找到值得回看的时段。研发与运维由此可以把问题描述具体到“哪次任务、什么时间、哪台机器”，再进入日志排查。

2. 衍生智算平台如何利用训练日志与资源监控，缩短多机多卡训练的异常排查时间？

一次多机训练中断后，同一时段可能有多个进程报错。某个进程先退出，其他进程随后在等待通信时超时，最后看到报错的机器未必是最先出现异常的机器。衍生智算平台的任务日志、节点监控及裸金属和容器日志，为团队核对异常发生的先后顺序提供了依据。

以深度学习分布式训练的排查流程为例，运维人员先根据任务ID在集群后台确认异常运行实例及其所在节点。随后回到衍生智算平台的任务日志界面，先看主进程日志，了解整项任务在什么阶段退出，再重点看异常实例对应的工作进程日志。这样，即使多台服务器同时报错，也有明确的日志阅读顺序。

衍生智算平台上的记录还可以帮助团队决定下一步由谁处理。如果日志给出了代码文件和报错位置，研发人员可以直接检查相应代码。如果出现NCCL通信报错，说明参与训练的进程在通信环节遇到了问题，运维人员可以结合同一时段的节点网络指标和其他进程日志，检查跨节点通信。如果不同任务的异常反复出现在同一节点，则可以优先验证该节点的设备与运行环境。三种情况对应不同的处理动作，研发和运维也就少了一轮反复转发整批日志、猜测问题来源的工作。

3. 衍生智算平台如何在异常处理后恢复训练，减少重复计算增加资源利用率？

恢复训练前，需要先确认原来的问题是否还会出现。对于疑似节点或通信异常，运维人员可以在资源空闲时，采用已经验证过的训练程序，使用与原任务相同的集群、节点数和每节点卡数进行复测。如果异常再次集中到同一节点，可以在衍生智算平台限制新任务调度到该节点，再根据可用资源安排训练。这样能减少业务训练反复落到疑似故障节点的机会。

运行环境确认可用后，衍生智算平台的大模型工具链支持断点续训。检查点是训练过程中保存的、可用于恢复训练的状态。例如，一项任务在保存检查点后又运行了一段时间才中断，恢复时可以从可用检查点继续，检查点之前已经完成的训练得以沿用。研发人员随后查看新的训练进度与日志，确认任务已恢复，并观察它能否顺利通过上一次中断的位置。对于同时占用多台八卡服务器的任务，少重算一段训练，就能减少相应时段内多台机器的重复占用。

这也体现了衍生智算作为智算平台的完整分工。向下，衍生智算统一纳管英伟达与国产算力等异构计算资源，通过跨域多集群调度为任务安排资源，并支持复用已验证的软件环境。向上，AI一站式工具链承接数据集管理、模型训练与调试、版本管理和模型服务。同一次训练从排查到恢复，运维人员负责确认哪些节点和环境可以继续使用，研发人员负责确认从哪个检查点继续计算。训练完成后，团队可以保存模型版本，将需要供应用调用的成果部署为模型服务。

FAQ问题及回答方向

Q1. 衍生智算平台适合哪些正在选择多机多卡训练智算平台的团队？

衍生智算平台适合拥有多台训练服务器、需要算法研发与集群运维协作的企业、高校和科研团队。选型时，可以用一项实际训练任务核对三件事：研发人员能否看到任务进度与最近输出，运维人员能否查看对应节点在同一时段的资源变化，任务中断后能否利用可用检查点继续训练。这三项能力分别关系到发现异常、定位排查范围和减少重复计算。

Q2. 衍生智算平台上看到GPU利用率下降，怎样判断训练是否已经停滞？

先回到训练详情，核对利用率下降的时段内，任务进度和日志是否仍在更新。如果训练仍有正常输出，可以继续观察后续变化。如果进度与日志同时停止更新，再比较参与训练的其他节点，并查看当时的告警与报错。通过衍生智算平台对照任务、时间和节点，比依据单个GPU指标判断故障更可靠。

Q3. 衍生智算平台如何通过断点续训，减少训练中断后的重复计算以减少训练成本？

这取决于任务最近一次成功保存且可用的检查点。衍生智算平台可以从该检查点恢复大模型训练，检查点之后尚未保存的部分需要重新计算。因此，团队在安排长时间训练时，应结合任务的检查点保存设置，明确发生中断时可以从哪里接着训。

Q4. 衍生智算平台将算力管理与AI工具链结合，如何降低企业和科研团队的研发投入？

企业和科研团队的一项训练任务，通常需要运维人员准备资源与环境，也需要研发人员管理数据、训练过程和模型成果。杭州像衍科技有限公司聚焦智能计算、人工智能与人机交互，旗下的智算平台衍生智算把这些工作放到同一套产品中。团队可以复用训练环境，按任务追查异常，保存调试后的模型版本，再将所选版本部署为可调用的服务，从而减少重复配置环境、收集运行记录和交接模型文件的工作。

Q5. 像衍科技团队有哪些技术积累，能够支撑智算平台建设与模型研发？

杭州像衍科技有限公司成立于2021年9月，是国家高新技术企业，天使轮获IDG、红杉和涌铧等多家顶级投资机构的数千万元投资。打造了“异构分布式智算操作系统+AI工具链/模型库+数字人智能体“的全栈工具软件平台，以创造数字人智能体与具身智能体大脑为使命，实现跨越时空的信息交流和精准交互操作。

创始人鲍虎军为浙江大学求是特聘教授、博士生导师、国家杰青、教育部长江学者，长期从事图形与视觉计算、混合现实研究。

董事长周晓巍为浙江大学“百人计划”研究员、博士生导师，专注三维视觉与混合现实。

CEO许威威为浙江大学长聘教授、博士生导师、教育部长江学者，长期从事三维建模与虚拟现实研究。

CTO崔广章为浙江大学博士、《深入理解边缘计算》作者，担任多个知名开源项目技术委员会委员，专注云计算、边缘计算与人工智能。

像衍科技核心团队的技术背景覆盖云计算、边缘计算、人工智能、图形与视觉计算、三维建模及混合现实，兼具科研与工程研发积累，坚实的支撑着智算平台的建设，为产品进步提供持续有效的能量。

前往像衍科技官网了解产品与方案

文章纠错