快科技12月12日消息,华中科技大学官方发文称,该校软件学院一团队发布了多模态大模型“Monkey”。
该模型擅长图像描述和视觉问答,能够实现对世界的“观察”,对图片进行深入问答交流和精确描述。
官方介绍称,在18个数据集上的实验中,华科大Monkey模型表现出色,特别是在图像描述和视觉问答任务方面,超越了众多现有知名的模型如微软的LLAVA、谷歌的PALM-E、阿里的Mplug-owl等。
此外,Monkey在文本密集的问答任务中显示出显著的优势,甚至在某些样本上超越了业界公认的领先者GPT-4V。
Monkey的一个显著特点是其出色的“看图说话”能力。在详细描述任务中,Monkey展现了对图像细节的感知能力,能够察觉到其他多模态大模型所忽略的内容。
另一亮点是能够处理分辨率高达1344 x 896像素的图像,这是目前其他多模态大模型所能处理的最大尺寸的6倍。
据悉,目前业内能处理的图片最大分辨率为448×448像素。
值得一提的是,该团队已将Monkey代码在全球最大的代码托管服务平台GitHub上开源。