【新智元导读】今年的ces大会上，nvidia依然给全世界震撼不停。正式下场ai pc，性能直接飙涨60倍；40系super显卡，已全面碾压上代旗舰；ai npc甚至能跟屏幕外的玩家直接开启实时对话，这也太科幻了……
一年一度的ces 2024上，nvidia又给了全世界亿点点震撼。
gefroce rtx 40 super系列显卡，全新的ai pc，generative ai模型等全新ai模型和工具，以及ai npc……nvidia甩出的各种王炸级的产品和应用，再次击穿全球用户的想象力！
正如发布会所说：在这个新世界，每一次游戏、每一个瞬间、每一处细节都至关重要。
从史诗般的单人冒险，到激烈的多人对决，nvidia都带给了我们超越极限的体验。
这次，nvidia还带给我们一个惊喜，就是ai pc的概念，它能让开发者的效率大增，带领玩家们进入完全不同的新境界。
而最新rtx 40 super系列显卡，在满足传统游戏玩家对于极致游戏画面的追求之外，还能充分发挥tensor核心加速ai运算的能力，让pc上执行ai应用的体验，也事半功倍。
nvidia还更新了nvidia ace ai npc服务，赋能游戏厂商，让用户能够体验到接近与真人沟通的游戏中npc的互动游戏体验。
而除了传统服务游戏玩家的新产品和服务，针对ai pc，nvidia也协同凯发客户端登录的合作伙伴，推出了一系列针对ai应用和游戏开发者的效率工具和硬件设备。
新时代的ai开发体验，就是这么丝滑流畅！
随着ces大会上的一系列发布，nvidia美股涨超6%再创纪录新高。
「人工智能pc」时代来临！
这次，nvidia和各大oem一起，推出了全新ai-ready的rtx笔记本电脑。pc计算，从此将迎来新时代。
这次推出的笔记本，包括机身纤薄至16毫米的14英寸设备，到功能超强的18英寸设备。
得益于强大的rt core和tensor core，每台rtx笔记本电脑，都做到了ai-ready。
生产式ai的爆发，让pc走进ai顺理成章，ai pc也成为诸多大厂关注的一个焦点。
去年9月，英特尔ceo基辛格曾喊出了ai pc的概念。而且按英特尔的设想，ai pc正在加速前进，2025年将会有上亿台具备ai智能模块的pc问世。
而nvidia也在这次的ces 2024上，彻底从幕后走到台前，让自己从最大的ai算力提供商，转变为最为强大的ai应用和硬件的综合凯发客户端登录的解决方案提供商。
这一年爆火的生成式ai带来的机遇，让nvidia判断：它将永远改变我们与游戏互动的方式。
nvidia创始人兼首席执行官黄仁勋表示：
生成式ai是计算史上最重要的平台转变，它将改变包括游戏在内的所有行业。nvidia拥有超过1亿台rtx ai pc和工作站的用户基础，为开发者和玩家提供保证，让他们尽享生成式ai的魔力。
能在pc上本地运行生成式ai，对于隐私、延迟和成本敏感型应用都至关重要。
但这往往需要用户具备大量ai系统安装基础，而且如果没有合适的开发者工具来调优pc平台的ai模型，pc端本地运行ai模型的体验也会很糟糕。
为满足这些需求，nvidia正通过其整个技术栈提供创新，不断改善pc用户和开发者的体验。
现已有超过500款游戏和应用支持rtx ，让ai pc的体验更进一步。
rtx gpu能以最高性能运行各种应用，充分释放pc上生成式ai的潜力。
其中，rtx gpu中的tensor core可显著加速工作和娱乐应用中要求最严苛的ai功能，成为了ai pc体验的最强大硬件保障。
而且nvidia与凯发客户端登录的合作伙伴发布全新rtx ai笔记本电脑，可以为用户带来开箱即用的生成式ai体验。
与使用npu相比，rtx ai笔记本电脑的ai性能可提升20-60倍。
可以想象，在pc新时代，我们的生活将全方位被改变。
rtx 40 super超级首秀
在rtx 40系列显卡上市两年之后，黄老板再次按照惯例，推出了3个型号super级显卡。
4k性能猛兽：geforce rtx 4080 super
针对想要畅玩4k游戏的高端玩家，nvidia这次推出了支持4k全景光线追踪游戏的geforce rtx 4080 super。
对于追求最高分辨率下极致性能的玩家，geforce rtx 4080 super只排在geforce rtx 4090之后，它的性能可达3080 ti的两倍。
相比于rtx 4080，它搭载了更多cuda核心和世界上最快的gddr6x显存，速度高达23 gbps。
rtx 4080 super的性能比不支持dlss帧生成技术的geforce rtx 3080 ti快1.4倍，在传统光栅化游戏中也能提供惊人性能。
凭借836 ai tops，dlss帧生成带来额外性能提升，rtx 4080 super性能是rtx 3080 ti的2倍。
geforce rtx 4080 super将于1月31日开售，起价人民币8099元。
除了游戏和直播，rtx 40 super系列在提升工作效率和创意应用方面也表现出色。
例如blender这样的3d应用程序，新一代显卡的运行速度可比上一代提高70%之多。
在最新的生成式ai应用中，rtx 40 super系的性能也明显超过了rtx 3080 ti——在automatic 1111 webui上使用stable diffusion xl生成1024x1024分辨率的图像，速度提高了1.7倍。
同样，在stable video diffusion中，rtx 4080 super生成视频的效率提升了1.5倍，能够通过comfyui快速创作出 25 帧的视频内容。
2k极致体验：geforce rtx 4070 ti super
对于追求2k游戏极致体验，偶尔有4k游戏要求的玩家，nvidia推出了geforce rtx 4070 ti super。
与rtx 4070 ti相比，它拥有更多核心，显存容量增至16gb，显存位宽为256 bit，显存带宽大幅提升至672 gb/s。
相比起上一代rtx 3070 ti，rtx 4070 ti super直接快了1.6 倍。而在dlss 3技术的加持下，性能更是提升了2.5倍。
geforce rtx 4070 ti super将于1月24日开售，起价人民币6499元。
不是80买不起，只是70 super更有性价比
geforce rtx 4070 super，显得性价比高得多。
它不仅在核心数量上比rtx 4070多了20%，而且在游戏中的性能甚至超过了上一代次旗舰rtx 3090。
虽然性能强于rtx 3090，功耗却更低。
在dlss 3和帧生成特性的加持下，它对3090的性能领先优势将扩大到了1.5倍。
geforce rtx 4070 super也是上市日期最早的40 super系列显卡，将于1月17日开售，起价人民币4899元。
这些游戏，将全面支持光追
与此同时，nvidia宣布，《暗黑破坏神iv》（diablo iv）将全面支持光追和dlss3。
而《pax dei》和《地平线：西之绝境》（horizon forbidden west）等新游戏也将支持dlss 3技术。
借助dlss，游戏画面中接近90%的像素可由ai生成，将全景光线追踪的速度提升至原来的4倍，同时提供更好的图像质量。
全新的画质，已经不足以用「震撼」两个字形容了！
光追技术将在今年三月登录「暗黑破坏神iv」，等待玩家们的，将是无限的惊喜。
rtx 生成式ai，革新体验
nvidia潜心布局ai领域十多年，尤其是2018年推出的革命性rtx gpu将ai运算的加速推到了全新高度。
而近期发布的一系列针对windows平台的软件加速库，配合这次推出的全新pc级rtx gpu，可以充分发挥其中的tensor核心的潜力，让每一台rtx电脑直接化身为性能强大的ai pc效率平台：
- 用nvidia rtx remix轻松重制经典游戏
借助即将上线的rtx remix平台，mod爱好者可以轻松增强游戏素材，使用功能强大的ai工具自动增强材质，快速创建支持光线追踪和dlss的令人惊艳的rtx重制版游戏。
具体来说，rtx remix对经典的directx 8和directx 9游戏（采用了预设的渲染流程）进行现代化升级——不仅加入了路径追踪技术、dlss超采样技术、ai增强的纹理效果，而且还允许玩家自行设计元素。
像「上古卷轴3：晨风（morrowind）」这类经典的游戏在运行时，会将绘图请求（渲染指令）发送到gpu。
而rtx remix runtime则会截取这些绘图请求，将其解析为独立的资产，并将这些资产重新组合为同一场景。
这样，rtx remix可将资产和场景转换为被广泛采用的usd开放式3d框架。
由于rtx remix基于nvidia omniverse平台构建，这些usd游戏素材可以轻松导入到rtx remix应用或任何其他 omniverse应用或连接器中。
比如各种常见的游戏行业标准应用：adobe substance 3d painter、autodesk maya、3ds max、blender、sidefx houdini和epic games的虚幻引擎。
当资产从omniverse连接器同步到remix的界面时，游戏mod团队可以协同改进和替换资产，并实现每次修改的可视化。
这一强大的工作流将改变mod社区处理其制作游戏mod的方式，为开发者提供统一的工作流，让他们能够在重置各种不同游戏时延续使用已掌握的技能，而无需学习大量专有工具。
rtx remix游戏mod开发完成后，用户便可轻松导出mod并在线与其他游戏玩家共享。
游戏玩家可下载该mod，将其与.exe文件一起放入游戏目录并启动游戏。
nvidia rtx remix runtime可以完成其余工作，将旧版渲染api和系统替换为rtx remix runtime的64位vulkan渲染器，并实时在后台升级视觉效果。
最重要的是，nvidia rtx remix游戏mod可与从nexus mods、mod db或其他网站下载的现有游戏mod配合使用，让拥有丰富mod内容的游戏即时实现光线追踪升级。
- 「chat with rtx」：轻松利用rag将llm与自己的数据相连
这次，nvidia还发布了一款全新的程序chat with rtx，让用户可以把自己的文档、视频或其他数据和llm相连。
利用检索增强生成（rag）、tensorrt-llm和rtx加速，用户可以查询自己定制的聊天机器人，快速获得上下文相关的答案。
注意，在这个过程中，全部数据都是在用户的windows rtx pc或工作站上本地运行的，因此延迟会非常低，数据安全性也能得到保障。
- tensorrt迎来重大更新
nvidia tensorrt是一款专为高性能深度学习推理任务设计的sdk，它整合了深度学习推理优化器和运行环境，可提供更低的延迟和更高的吞吐量。
在mlperf inference这一机器学习领域的基准性能测试中，tensorrt正是nvidia取得全面胜利的幕后功臣。
在大语言模型领域，tensorrt-llm可以将模型的性能提升8倍之多。
并且，在降低总体拥有成本（tco）约5.3倍的同时，将能耗减少了将近6倍。
同样，对于windows 11 pc来说，人工智能的引入使其成为了技术历史的一个里程碑，为游戏玩家、内容创作者、主播、办公人员、学生乃至日常电脑使用者带来了革命性的体验。
前段时间，nvidia推出了专为windows设计的tensorrt-llm——一个用于加速llm的开源库，让开发者可以充分利用rtx gpu的tensor核心。
具体来说，tensorrt-llm for windows不仅将llm的推理速度提升了5倍，而且还可让诸如mistral 7b这类模型，可以在配备有8gb以上显存的30系和40系gpu上运行。
这意味着，即便是在那些体积小巧的windows设备上，也能体验到快速而准确的大语言模型本地处理能力。
在ces 2024上，nvidia再次宣布——tensorrt-llm将正式为最近爆火的「小模型」phi-2提供支持。
在文生图领域，stable diffusion xl（sdxl）turbo和lcm是最为常用的stable diffusion应用方式。
就在最近，nvidia为stable diffusion webui tensorrt扩展加入了对sdxl turbo和lcm的支持。与之前最快的实现相比，它们的性能可在tensorrt的加持下提升60%之多。
目前，stable diffusion webui tensorrt已经全面支持stable diffusion 1.5/2.1、sdxl、sdxl turbo、lcm-lora加速以及优化的lora。
值得注意的是，对于体积较大、计算要求较高的sdxl和sdxl turbo，推荐使用至少配备了12 gb显存的gpu来确保最优的性能。
项目地址：https://github.com/nvidia/stable-diffusion-webui-tensorrt
- nvidia ai workbench & nvidia ai enterprise
前段时间，为帮助开发者利用pc级的性能和显存快速创建、测试和微调生成式ai模型，nvidia重磅发布了一款统一且易用的工具包——nvidia ai workbench。
而在本月底，ai workbench将正式推出测试版，提供对hugging face、github和nvidia ngc等热门资源库的流畅访问、简化用户界面，使开发者能轻松复制、协作和迁移项目。
对于专业级的ai开发人员，nvidia也准备了非常多的新软件和开发工具，帮助他们高效率地在配备rtx gpu的移动工作站上运行nvidia ai enterprise软件，包括tensorrt和nvidia rapids。
其中，rapids由一系列开源软件库和api组成，专为在gpu上完整执行数据科学流程而设计，可将数据分析和模型训练的时间从数天缩短到几分钟，大大简化了这一过程。
ai npc真的来了
除了和往年一样专门为玩家定制的super级显卡，这次nvidia还更新了此前就惊艳了所有人的ai npc技术，玩家的体验，已经被提升到前所未有的级别！
看，游戏里的这个npc，正在跟玩家进行实时对话，告诉玩家自己最近正在一个新gpu上测试一项很酷的游戏技术。
这惊人的场景背后，正是nvidia最新推出的nvidia avatar cloud engine（ace）微服务。
它可以让开发者将最先进的生成式ai模型，加入到游戏和应用的虚拟数字人物里，让它们变得栩栩如生。
开发者可以通过新的ace微服务，利用nvidia audio2face（a2f）等ai模型，以及nvidia riva自动语音识别（asr）构建交互式虚拟数字化身。
其中，前者能从声音来源制作表情丰富的面部动画，后者可开发定制的多语言语音和翻译应用，以供虚拟数字人物使用。
具体来说，玩家首先输入语音，系统会将语音传递给自动语音识别模型，将语音转化为文本，然后，系统会将得到的文本输入llm，生成角色的回复。
接下来，系统会通过文本转语音模型，将文本回复转换为语音回复，将其传递给动画模型，生成逼真的口型同步动画。最后，系统将在游戏场景中渲染动态角色。
在过去，游戏中的 npc（非玩家角色）通常只能按照预设的脚本和面部动画来响应玩家，这使得玩家与 npc 的交互往往显得公式化、短暂，因而大部分玩家很快就会失去兴趣。
现在，很多游戏大厂都开始采用ace来改变玩家与npc的交互方式，这其中就包括convai，charisma.ai，inworld，米哈游，网易游戏，掌趣科技，腾讯游戏，育碧和uneeq。
网易高级副总裁，雷火事业群负责人胡志鹏表示：
多年来，nvidia一直是游戏技术的先锋，提供新的创新方法来创建游戏。nvidia正在通过采用游戏人工智能技术，让游戏变得更加智能和可玩，最终创造出更加身临其境的体验。
腾讯游戏表示：
这无疑是ai在游戏领域的里程碑。nvidia ace和腾讯游戏甘做引路人，为游戏塑造独一无二、个性鲜明且互动自然的虚拟数字人物及互动方式。
为了展示ace技术如何革新npc与玩家的互动方式，nvidia与convai合作，对在computex大会上首次展出的nvidia kairos演示进行了扩展，加入了许多新特性，并整合了ace的微服务。
在kairos的最新版本中，riva asr和a2f被大量应用，显著提升了npc的交互能力。
借用convai的新框架，游戏角色现在可以基于和玩家的对话识别并操作物体，比如捡起并运送物品到指定地点。
此外，npc还能引导玩家达成任务目标，在游戏世界中自由移动。
目前，audio2face和riva自动语音识别服务现已上线，开发者可以将这些服务独立地集成进他们的游戏开发流程中。
数十年来，nvidia在pc领域一直处于领先地位，凭借1亿多颗rtx gpu推动了ai pc时代的到来。
大模型过去一年如火如荼地发展，让nvidia再次看到了ai pc的诸多可能。
生成式ai正在成为最新科技发展的拐点，而nvidia则是这一重大科技转型的核心，rtx加速生成式ai为ai pc体验提供动力。
rtx 40 super系列显卡发布，rtx 生成式ai工具、用于构建ai模型的pc开发工具、ai npc，都将让游戏玩家、开发者、设计师等在pc上更好地借用ai的强大的能力。
ai pc时代，nvidia再次抢夺了先机。
