NVIDIA 推出 ACE 遊戲技術，讓 NPC 能跟玩家聊天

【文章在 2023-05-29 更新過內容】

你有沒有想過，如果遊戲裡的 NPC 不只是跟你說固定的台詞，而是能跟你自由對話，會是什麼感覺？NVIDIA 最近發表了一項新技術，叫做 ACE (Avatar Cloud Engine) for Games，它可以讓遊戲開發者在遊戲裡加入能夠跟玩家進行非劇本式對話的 AI NPC，而且還能讓 NPC 的臉部動作跟語音同步。

ACE for Games 是什麼？

ACE for Games 是 NVIDIA 在台灣舉辦的 Computex 展覽上發表的一項新技術，它利用 AI 和雲端伺服器，讓遊戲裡的 NPC 能夠跟玩家進行即時的自然語言對話，而不是只能說出預先設定好的台詞，這樣的 NPC 不但能增加遊戲的互動性和真實感，也能讓玩家有更多的選擇和可能性。

NVIDIA 表示，這項技術是基於他們之前開發的 Riva、NeMo 和 Audio2Face 等平台，並且結合了一家叫做 Convai 的新創公司的技術，Convai 是一家專注於開發遊戲中 AI 角色的公司，他們使用了 NVIDIA 的 Riva 來提供語音轉文字和文字轉語音的功能，使用了 NVIDIA 的 NeMo 來提供驅動對話的語言模型，以及 NVIDIA 的 Audio2Face 來提供根據語音產生臉部動畫的功能。

ACE for Games 如何運作？

要讓 NPC 能夠跟玩家聊天，首先要有一個能夠理解和產生自然語言的 AI 模型，NVIDIA 使用了 NeMo 這個開源平台，來建立一個基於 GPT-3 的大型語言模型 (LLM)，並且利用行為複製 (behavior cloning) 的技術，讓這個模型能夠根據指示執行角色扮演的任務。

例如，如果要讓 NPC 扮演一個魔法師，就可以給模型一些魔法師會說的話作為訓練資料，讓模型學習如何用魔法師的口吻回答玩家的問題或提出建議。

除了行為複製之外，NVIDIA 還計畫在未來使用人類回饋強化學習 (human feedback reinforcement learning) 的技術，讓遊戲開發者在開發過程中可以給予模型即時的回饋，讓模型能夠更好地符合 NPC 的期望行為。

例如，如果 NPC 說了一些不合情境或不禮貌的話，開發者可以給予負面的回饋，讓模型知道這樣的回答是不合適的。

除了語言模型之外，還要有一個能夠讓 NPC 的臉部動作跟語音同步的技術，NVIDIA 使用了 Audio2Face 這個平台，來根據語音產生臉部動畫。Audio2Face 是一種基於深度學習的技術，它可以從任何語音輸入中提取出臉部表情、嘴唇同步和頭部姿勢等特徵，並且將它們應用到任何 3D 角色模型上，Audio2Face 不需要任何人臉掃描或動作捕捉設備，只需要一個麥克風就可以實現即時的臉部動畫。

ACE for Games 有什麼應用？

ACE for Games 是一項非常前沿和創新的技術，它可以為遊戲開發者帶來無限的可能性，想像一下，在未來的遊戲裡，你可以跟 NPC 聊天、交流、交易、合作、競爭、甚至戀愛，你可以根據你自己的喜好和風格來定制你想要聊天的 NPC 的角色和性格，你可以探索 NPC 的背景故事和心理狀態，也可以影響他們對你和其他角色的態度和情感，你可以享受更多元和豐富的遊戲體驗，也可以創造出屬於你自己的故事。

目前，ACE for Games 還沒有正式推出給遊戲開發者使用，但 NVIDIA 已經在 YouTube 上公開了一段簡短的演示影片，展示了 ACE for Games 在 Unreal Engine 5 上配合光線追蹤和 MetaHuman 技術所創造出來的效果，影片中展示了一個 AI NPC 跟玩家進行非劇本式對話的場景，雖然 NPC 的語音還有些生硬和不自然，但是臉部動畫卻非常細膩和流暢。

NVIDIA 還表示，他們已經有兩款即將推出的遊戲採用了他們的 Audio2Face 技術，其中一款是第三人稱科幻遊戲 Fort Solis ，另一款是期待已久的後末日 FPS 續作 S.T.A.L.K.E.R. 2: Heart of Chornobyl 。

延伸閱讀：據傳聯發科將採用 Nvidia GPU 於旗艦手機晶片

參考資料

• NVIDIA reveals ACE for Games to give NPCs ChatGPT-like chat features with matching animation – Neowin