又一大模型技术开源!网易有道自研RAG引擎QAnything正式开放下载
  • cici
  • 2024年01月17日 11:36
  • 0

昨日,网易有道宣布将自研的知识库问答引擎QAnything正式开源除了可以调用云端大模型服务,还支持纯本地部署,所有用户可免费在开源社区Github内进行下载,一键部署即可使用。该系统目前支持word、ppt、excel、pdf、图片等多种文档格式,直接导入进去即可实现像"ChatGPT"一样问答。

据了解,QAnything的主要原理是基于检索增强的生成(Retrieval Augmented Generation,简称RAG),RAG是目前很火的一种技术框架,它能够利用检索外部内容的方式增强大语言模型的准确度、专业能力和个性化等各方面的性能。

目前,通用大模型能力很强,但无法使用用户的私有数据,且存在胡乱编造的幻觉问题。QAnything作为有道自研的RAG引擎,则结合了用户私有数据和大模型的优势——用户的任何内容,以任意的形式存在,比如各种格式的文档,音频,数据库等,都可以在QAnything的支持下,变成可以针对其内容进行问答的使用方式,通过这个技术框架用户可以很方便地搭建自己的智能知识助手。

[MD:Title] (QAnything系统架构图)

值得一提的是,本次开源的QAnything是一套完整的RAG系统,包括专门优化的自研的embedding和rerank模型,微调后的LLM,优化后的推理代码,向量数据库,以及一个立即上手可用的前端。所有的算法模型(包括7B大模型+embedding/rerank+OCR)占用显存不超过16G。

如今,QAnything已在有道的多个产品中应用,包括有道翻译文档问答、有道速读及有道内部业务的客服系统等。

以有道速读为例,它是前不久子曰教育大模型最新发布的创新应用成果之一,目前上线在有道翻译中。针对大家在日常生活中的阅读文档需求,有道速读内置了文档问答、文章摘要、要点解读、引文口碑和领域综述五大功能,能够帮大家更快更准地获得信息和对文档的理解。而该功能背后的驱动就是QAnything,在大模型技术的加持下,用户能够实现快速理解文档、定位要点,实现1分钟读完万字长文。

“目前,QAnything项目还在不断迭代,欢迎大家参与开发,并给予我们更多反馈。我们希望能帮助有需要的开发者们,和更多伙伴一起推动大模型的落地。”网易有道首席科学家段亦涛介绍道。

 

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0