近日，三六零将自主研发的全球首个基于云原生的图神经网络训练控制器“DGL Operator”进行了开源。DGL Operator是由360智能工程部AI平台团队开发并维护的一个基于云原生技术栈、DGL图神经网络算法框架的多机训练控制器。
开发者利用DGL Operator可以自动创建、配置和管理复杂的DGL分布式训练工作，简化开发分布式训练的准备工作，并赋能大规模图训练场景。过去以“天”为单位计算的图神经网络（以下简称“GNN”）模型准备和构建时间，通过DGL Operator可以实现“分钟级”上云，快速获得想要的算法模型。该训练控制器的开源，从工业应用层面给GNN分布式训练提供了另外一种可能，基于云原生技术栈打通了从大规模图训练的实验尝试，到工业应用之间的关键链路，弥补了模型训练关键环节的空白。 推出GNN训练控制器 实现“一键”上云训练 近两年来，随着 GNN被广泛应用于社交网络、推荐系统、金融风控、生命科学、交通预测等领域，越来越多的GNN项目和应用涌现，如何快速构建GNN模型的难题也越来越被人所关注。常见的深度学习框架在卷积神经网络“CNN”和循环神经网络“RNN”领域提供了大量开箱即用的接口，但在构建GNN模型方面却捉襟见肘，缺少有效的开发框架，在此背景下，纽约大学和亚马逊联合开发了DGL框架，使得开箱即用的GNN构建成为可能。
然而，在工业场景下，工程师们基于DGL开发和构建GNN模型时，常常需要处理数千万甚至数十亿个节点或边的大图，单机训练已经无法满足开发者的需要。2020年，DGL原生支持了分布式训练，从算法框架层面赋予了大规模图训练的能力。但是在实际应用中，仍然存在较多的限制和挑战。例如，使用者在触发切图、分布式训练命令的过程中，无法自动化工作流；训练完成后，部分资源需要手动释放，无法做到自动化释放资源等。
可以说，DGL作为GNN领域的事实标准，提供了算法侧的分布式训练能力，但是并没有对相应的底层基础设施进行优化，不足以支撑生产级别的自动化场景。为了解决DGL原生分布式训练的问题，360的DGL Operator提供简单、便捷、开箱即用的模型训练体验，并致力于降低DGL用户在云原生技术栈上训练GNN模型的难度，无需关注分布式相关的复杂配置，提交代码即可实现“一键”上云训练。
现今，机器学习领域的头部公司利用越来越大的数据集和参数，不断刷新着最大数据训练量模型的记录。360智能工程部AI平台团队一直关注机器学习、深度学习底层基础设施、训练框架的发展，深刻的认识到，超大规模深度学习模型更多的难题在于其中的分布式训练。由于对底层基础设施的关注，才有了DGL Operator的研发，并在研发过程中与DGL创始团队（AWS）、云原生机器学习最大的开源社区（Kubeflow）沟通与合作，扩大了360在这些分支领域的影响力。
360推崇共享共治 推动开源生态建设 事实上，360创始人、董事长周鸿祎是开源协作精神的忠实拥趸，作为中国最早的互联网创业者，周鸿祎始终认为，没有开源软件，中国互联网可能就不会有飞速的发展；没有开源的Android系统，中国的手机产业也不可能席卷全世界；没有开源代码，中国的人工智能产业更不可能如此蓬勃发展。
开源软件公司红帽（RedHat）数据称，全球超过90%的IT企业正在使用开源软件，另据Synopsys数据，全球98%的代码库都包含了开源代码。在中国，无论学术界、产业界，还是科研界，对开源的态度都经历了阶段性的变化。发展之初，很多人认为开源与商业无直接联系，然而开源社区的协同模式改变和颠覆了传统工作方式，开源也成为我国在基础软件层面必须要考虑的一条道路。对此，周鸿祎表示， “我觉得开源不仅仅是一种软件开发方法，背后是一种经济发展形式，是一种合作创新机制。社会主义的优越性之一是集中力量办大事，开源就是新时代的集中力量办大事。”
但是，在很多企业看来，开源与商业化是一个矛盾体。“在过去这些年，我们享受了一些开源的红利。但是有些公司把国外开源的东西拿来变成自己的，优化之后反而成了闭源，这样发展下去很难产生持续的创新。”在周鸿祎“共享共治、奉献为先”的思想指引下，360是业界践行开源精神最为彻底的公司之一，多年来持续不断的将有重大创新价值的技术源代码进行开源，对于前沿技术发展起到了重要的推动作用。
事实上，DGL Operator只是360公司在开源方向上的一系列动作中的最新举措而已。未来，360将继续秉持系统思维、底层视角、开源精神，研发并开源更多具有行业价值的关键技术，推动中国开源生态建设以及前沿技术的发展。
