G-Assist项目、用于数字人的NVIDIA ACE NIMs及生成式AI Tools 为RTX笔记本电脑提供更先进的AI体验；适用于小语言模型的RTX加速 API即将加入Windows Copilot Runtime
COMPUTEX—2024年6月2日—NVIDIA宣布推出全新NVIDIA RTX技术，用于支持在全新GeForce RTX AI笔记本电脑上运行的AI助手及数字人。
NVIDIA推出G-Assist项目, 一款由RTX支持的AI助手技术演示Demo，可为PC游戏和应用提供上下文感知帮助。G-Assist项目的技术Demo将首度亮相于Studio Wildcard推出的《方舟：生存飞升》(ARK:Survival Ascended)中。NVIDIA还发布专为NVIDIA ACE数字人平台打造的首个基于PC的NVIDIA NIM?推理微服务。
这些技术由NVIDIA RTX AI Toolkit支持——这是一套全新工具和SDK，可帮助开发者在Windows PC上优化及部署大型生成式AI模型。它们加入了NVIDIA的全栈RTX AI创新，加速了超过500款应用和游戏，以及200款OEM合作伙伴的笔记本电脑设计。
NVIDIA消费级AI业务副总裁Jason Paul表示：“NVIDIA在2018年发布搭载Tensor Core的RTX GPU和DLSS技术，开启AI PC时代。如今，借助G-Assist项目和NVIDIA ACE，NVIDIA将赋能超过1亿RTX AI PC用户开启新一代AI体验。”
GeForce AI助手G-Assist项目
AI助手将改变游戏和应用内的体验 — 从提供游戏策略到分析多人游戏回放，再到助力复杂的创意工作流。G-Assist项目让用户洞见未来的景象。
PC游戏提供庞大的游戏世界可供探索，还提供复杂的机制供玩家掌控，即便对于最资深的玩家来说，这也是极具挑战性又非常耗时的。G-Assist项目旨在利用生成式AI，将游戏知识触手可及地提供给玩家。
G-Assist项目可接收玩家的语音或文字输入内容，游戏窗口的上下文信息，并通过AI视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型(LLM)的上下文感知和对特定游戏及应用的理解，然后生成定制的回复，以文本或语音形式的传递给用户。
NVIDIA和Studio Wildcard合作，在《方舟：生存飞升》(ARK:Survival Ascended)的演示Demo中展示该技术。G-Assist项目可帮助回答有关生物、物品、背景知识、任务、关卡BOSS等方面的问题。由于G-Assist项目具有游戏环境感知和上下文理解功能，能根据玩家的游戏进程提供个性化回复。
G-Assist项目还能配置玩家的游戏系统，以获得最佳游戏性能和能效。它可以提供性能指标的深入理解，根据玩家的硬件优化图形设置，进行安全超频，甚至在保持性能目标的同时智能降低功耗。
首款ACE PC NIM亮相
用于为数字人提供助力的NVIDIA ACE技术现在将通过NVIDIA NIM应用于RTX AI PC和工作站，NVIDIA NIM推理微服务使开发者将部署时间从数周缩短到数分钟。ACE NIMs可在设备上本地运行高质量推理，用于自然语言理解、语音合成、面部动画等。
COMPUTEX期间，NVIDIA ACE NIM在PC上的游戏首秀将在和Inworld AI合作开发的Covert Protocol技术Demo中亮相，演示在PC本地运行的NVIDIA Audio2Face?和NVIDIA Riva自动语音识别技术。
为本地PC SLM增加GPU加速功能
微软(Microsoft)和NVIDIA合作帮助开发者将全新生成式AI功能应用到Windows原生和网络应用中。双方的合作将为应用开发者提供便捷的API以访问GPU加速的小语言模型(SLM)，并支持在设备上运行的基于Windows Copilot Runtime驱动的检索增强生成(RAG)功能。
小语言模型为Windows开发者提供巨大的可能性，包括内容摘要、内容生成和任务自动化。RAG功能使AI模型访问基础模型中未能充分表示的特定领域信息，来增强小语言模型。开发者可以通过检索增强生成(RAG)API利用应用特有的数据源，并根据应用需求调整小语言模型的行为和功能。
NVIDIA RTX GPU及其他硬件厂商的AI加速器将加速这些AI功能，从而在整个Windows生态系统中为终端用户提供快速、响应迅速的AI体验。
该API将于今年晚些时候发布开发者预览版。
借助 RTX AI Toolkit，模型速度提升4倍，体积缩小3倍
AI生态系统已构建数十万个开源模型供应用开发者使用，但大多数模型都是为通用目的而预训练，并且构建在数据中心运行。
为帮助开发者构建在PC上运行的特定应用的AI模型，NVIDIA推出RTX AI Toolkit，一套用于在RTX AI PC上自定义、优化及部署模型的工具和SDK。 RTX AI Toolkit将于6月发布，供更多开发者使用。
开发者可使用开源的QLoRa工具自定义预训练模型，并使用NVIDIA TensorRT? Model Optimizer 来量化模型，以减少多达3倍的RAM消耗。NVIDIA TensorRT Cloud将会对模型进行优化，以实现在RTX GPU产品中的峰值性能。与预训练模型相比，性能提升至高可达4倍。
NVIDIA AI Inference Manager (AIM)应用开发工具包(SDK)现已推出抢先体验版，在PC和云端之间完美调度AI推理，为PC应用开发者简化AI集成的复杂度。它还以统一的NIM格式为PC预配置必要的AI模型、引擎和依赖包，并支持所有主流的推理后端，包括跨不同处理器(GPU、NPU和CPU)的TensorRT、DirectML、Llama.cpp和PyTorch-CUDA。
Adobe、Blackmagic Design和Topaz等软件合作伙伴将 RTX AI Toolkit的组件集成到其热门创意应用中，以提升RTX PC上的AI性能。
Adobe创意云端产品市场部副总裁Deepa Subramaniam表示：“Adobe和NVIDIA将持续合作，为视频、图像、设计、3D等所有创意工作流提供突破性的客户体验。RTX PC上的 TensorRT 10.0为创作者、设计师和开发者提供前所未有的性能表现及由AI驱动的功能，为Photoshop等行业领先的创意工具中的内容创作开启全新创意可能性。”
TensorRT-LLM等 RTX AI Toolkit组件，已集成到生成式AI的热门开发者框架和应用中，包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga和Sanctum.AI。
用于内容创作的AI
NVIDIA还将RTX AI加速功能集成到面向创作者、Modder和视频爱好者的应用中。
去年，NVIDIA为最热门的Stable Diffusion用户界面之一的Automatic1111引入使用TensorRT的RTX加速。从本周开始，RTX还将加速广受欢迎的ComfyUI，与目前已推出的版本相比，性能最高可提升60%，与MacBook Pro M3 Max相比，性能提升至原来的7倍。
NVIDIA RTX Remix是一个Mod平台，可利用全景光线追踪技术、NVIDIA DLSS 3.5和物理精确材质，重制经典的DirectX 8和DirectX 9游戏。RTX Remix包括一个Runtime渲染器和RTX Remix工具包应用，可简化游戏资产和材质的修改过程。
去年，NVIDIA将 RTX Remix Runtime开源，允许Modder扩展游戏兼容性和提升渲染能力。
自今年早些时候推出以来，已有2万名Modder使用该工具包重制经典游戏，在RTX Remix Showcase Discord上开发了超过130款RTX重制版游戏。
本月，NVIDIA将开放RTX Remix工具包的源代码，让Modder能够简化资产替换和场景重新布光的方式，增加RTX Remix资产摄取器支持的文件格式，并使用全新模型增强RTX Remix的AI纹理工具。
此外，NVIDIA还通过REST API使RTX Remix工具包的功能可访问，让Modder实时链接RTX Remix和Blender等数字内容创作工具、Hammer等Mod制作工具，以及ComfyUI等生成式AI应用。NVIDIA还为RTX Remix Runtime提供SDK，允许Modder将RTX Remix的渲染器部署到DirectX 8和DirectX 9经典版之外的其他应用和游戏中。
随着更多RTX Remix平台的开源，全球的Modder可创造更多令人惊叹的RTX重制版游戏。
NVIDIA RTX Video这项热门AI超分辨率功能，现在已作为 SDK 对所有开发者开放，可在Google Chrome、Microsoft Edge和Mozilla Firefox浏览器中使用。它帮助开发者原生集成AI，进行采样、锐化、降低压缩失真和高动态范围(HDR)转换。
视频编辑软件Blackmagic Design的DaVinci Resolve和Wondershare Filmora即将支持RTX Video，它将使视频编辑用户能够将低质量视频文件升级至4K分辨率，并将SDR源文件转换为HDR视频。此外，免费媒体播放器VLC media即将在其现有的超分辨率功能基础之上添加 RTX Video HDR 的支持。
