2023年,AI风潮席卷全球,所有人都惊叹于CHATGPT的出现,很多人日常的生活与工作,都因AI的普及与出现,得到了众多便捷的工具,无论是AI智能聊天机器人,还是图形、代码上的AI快速生成,都对我们有着一定程度的影响。
而NVIDIA前不久推出的CHAT With RTX,则是一款可以本地部署的专属AI聊天机器人,在你的电脑上就能实现AI功能,通过与大语言模型连接,用检索增强生成 (RAG)、NVIDIA TensorRT-LLM软件及NVIDIA RTX加速技术,即可实现与自己专属的聊天机器人对话。
当然,每个人的CHAT With RTX都是不同的,主要区别与你给AI投放的资料,通过移入自己的文档、笔记、视频或其他数据,CHAT With RTX会通过检索资料内容,快速给予你合适的答案,哪怕是资料不相关的内容,AI也会回答你相对合适的答案。
那我们首先先来简单试验下这个CHAT With RTX,首先是安装问题,软件安装包NVIDIA官网便有得下,但安装过程还是需要下载,且需要一定的科学上网环境,才可完成安装,在安装完成后,需要保持网络环境开启软件即可体验CHAT With RTX。
打开CHAT With RTX,可以发现左上角显示默认采用mistral大模型,右上角则可以选择资料来源(数据集),目前可选的只有文件夹、油管视频以及模型本身的,文件支持txt、pdf、doc,只要放在目标目录下即可(子文件夹也行)。
在默认文件夹中,有着NVIDIA各项技术的文档,那么根据下方提供的问题,首先提问什么是传送门:序曲RTX版,CHAT With RTX会根据文档中传送门的内容,经过大语言模型分析,并给你提供出答案,如果在大量文章中检索需要的内容,那么CHAT With RTX绝对是快捷方便的工具。
目前CHAT With RTX默认的语言只能使用英文回答,若使用中文提问,也可以得出正确的回答,但依旧是以英文的形式,若想加入中文回答,则需为CHAT With RTX加入新的中文模型,这过程稍许复杂,并需要科学上网,详情可参考以下B站视频链接尝试添加。
https://www.bilibili.com/video/BV1DK421b7JX/
那么我们依据上面视频内容,添加了百川的大预言模型后,即可做到中文提问中文回答,资料依旧是文件夹里提供的英文资料,但是不同的是,回答方式改为了中文,更方便国内用户使用。
在文件夹中加入过往的文章,重新加载文件夹内容后,即可完成相关内容的检索,输入后会快速检索内容并进行总结描述。
除了文件夹内容检索外,目前还支持油管视频检索,要求CHAT With RTX详细的介绍该视频内容,经过一段时间分析,就能将视频解析个大概,当然有些部分的准确程度不一定很高,但还是处于可以看的水准。
可以看到,目前CHAT With RTX可以快速分析文档和视频,配合合适的大语言模型,可以给予准确率不错的答案,而且由于是本地部署,回答的内容和提供的资料都没有外泄的可能,在安全性上还是可靠的。不过目前还只是个demo测试版,并且Google后续还会利用NVIDIA TensorRT-LLM,优化自家的开放语言模型,以便支持NVIDIA AI平台,相信之后的内容与生态会越来越丰富。
目前想使用NVIDIA CHAT With RTX的用户,需要RTX 30、RTX 40系显卡,其他显卡暂不支持,所以想使用CHAT With RTX的朋友,可以考虑下影驰RTX 4070 SUPER金属大师OC显卡。
影驰RTX 4070 SUPER金属大师OC采用了无灯光设计,外观主要采用金属灰,并拥有很强的金属质感,配合高效的散热器,可以做到高性能、低温度、低噪音,无论是游戏还是AI,都能在高负载下稳定运行,是你研究AI路上的好帮手,喜欢的朋友欢迎来影驰官方商城购入哦~