2021 WAIC世界人工智能大会于近日在上海召开。在7月10日举办的WAIC·AI开发者论坛上,知乎合伙人兼CTO李大海发表主旨演讲,分享了视频化趋势下,知乎作为智能社区在多模态领域下的探索和应用实践。
作为一家问答社区,知乎已经经过十年的发展,业务增长共经过了四个发展阶段,从最开始的封闭运营,走向开放,并且不断的扩大用户场景和用户规模。李大海表示,AI技术已经广泛应用于知乎的每个核心环节,构建智能社区,提升社区效率。随着越来越多的用户在知乎上通过视频分享自己的知识、经验、见解,知乎也认识到,视频和图文有各自的优缺点和适用场景,社区需要通过媒介升级,让视频变成和图文一样重要的内容承载形式。因此,知乎确定了以多模态为核心的视频智能化技术战略。
据李大海介绍,知乎已经构建了采用了双流对比学习框架的图文多模态预训练模型。该模型应用已经广泛应用到知乎的视频的生产、搜索分发、话题匹配和排序等多个场景中。
去年10月,知乎发布了图文一键转视频创作工具,内部称为“PPT视频创作工具”,图文创作者可以利用这个工具快速把自己的文字回答或者文章生成为一个视频。转化过程的主要思路是把文章里每一段话或者每一个句子,通过模型找到对应的图片、动图或者短视频,然后通过预训练模型把每一段文字与素材库里图片的相关性进行计算。此外还有其他应用,创作者可以主动输入关键词,在素材库里面找到和关键词匹配度最高图片,让它自己主动构建视频素材流。
李大海表示,视频在社区的融合,可以让知乎更好地实现自己的使命:“让人们更好地分享自己的知识、经验、见解,找到自己的解答”。未来,知乎将基于积累的海量图文视频数据,致力构建综合图文、视频、音频等媒介于一体的大规模预训练模型,并将成果完全开放出来,让学界、业界的更多开发者使用。