快科技4月16日消息,今日,阿里发布可实时构建和交互的世界模型产品HappyOyster(快乐生蚝),该模型基于原生多模态架构而建,支持多模态理解与音视频联合生成。
目前,HappyOyster可实现漫游(Wander)和导演(Direct)两大核心能力,用户可实时构建可互动、可演绎、可探索的AI数字世界。
用户生成的数字世界不仅能被完整保存,还能开放给其他用户进行二次创作。
据悉,该产品由阿里ATH创新事业部团队研发,与此前爆火的HappyHorse同属一个团队。
世界模型目前仍属于前沿探索领域,阿里的HappyOyster与谷歌的Genie3同属于世界模拟器流派。
相比谷歌,HappyOyster采用了时间跨度更长的世界演化建模方式,使得模型能够保持高保真、长时序的动态场景生成。
且HappyOyster设计了多样的控制信号,使模型能够在统一的时序框架下同时实现生成质量、长时序与实时可控性的协同优化。
在产品能力上,HappyOyster不仅能支持Wander漫游探索,还独家提供实时导演功能,用户可通过自然语言指令随时介入世界演化、调度角色事件。
在视觉表现上,HappyOyster漫游模式的画面质量更高,风格泛化能力更强,动态性更好。
漫游模式畅游世界名画
漫游模式控制人物运动
通过漫游和导演的双模式,HappyOyster能够为用户带来沉浸式的世界交互体验。
在漫游模式中,用户仅需一句话或一张图,即可生成具备物理一致性的完整空间,物体位置稳定、场景持久存在,视角与光照也能跟随第一人称视角持续移动。
此外,用户能自由切换方向与镜头运动,突破初始画框的边界,体验无限延展的探索乐趣。
目前Happy Oyster支持长达1分钟的连续实时位移与镜头控制,支持多样化的风格切换。
在导演模式下,用户能够在视频的任意节点,通过文字、语音或图像等多模态输入,随时实现镜头切换、剧情改写、角色调度,在充分的交互中生成一个光照、重力、角色动作与场景因果持续演化的世界,并能选择题材风格。
HappyOyster的导演模式目前支持连续生成3分钟以上的480p或720p实时画面。
导演模式可在任意节点改变剧情走向
当前,世界模型的发展仍处于早期阶段,但实际应用中,HappyOyster已在改变传统的内容创作模式和交互体验。
例如,在游戏领域,开发者可快速生成可玩原型;在影视创作中,导演只需用自然语言描述创意,系统即可实时生成分镜画面,并在视频任意节点修改;在文旅与教育领域,用户能以第一视角走进名画现场或过往文明,在交互中探索因果、改写走向。
在未来,HappyOyster还能应用于线下智能空间或娱乐场景,例如与穿戴设备等智能硬件结合,根据人的位置、动作与语言动态,实时生成沉浸式内容,让数字世界与现实共振。
附HappyOyster官网链接:https://www.happyoyster.cn/

