Představte si hry, ve kterých budou postavy perfektně napodobovat reálné emoce, výrazy tváře a budou vypadat přesně jako vy v reálném světě. Díky NVIDIA se technologie Audio2Face dostanou i k menším studiím a indie vývojářům.
NVIDIA udělala razantní krok směrem k demokratizaci pokročilé AI technologie. Jako open source zpřístupnila svůj AI model Audio2Face a příslušná SDK, což znamená, že každý vývojář her nebo 3D aplikací může nyní vytvářet hyperrealistické digitální postavy s věrnými animacemi. A to zcela zdarma.
Audio2Face dokáže ze zvukového záznamu generovat věrnou animaci obličeje včetně synchronizace rtů s 3D avatarem. Technologie analyzuje akustické vlastnosti řeči, fonémy, intonaci, emoční zabarvení, a automaticky je překládá do animačních dat pro 3D postavy. Nejlépe fungování technologie ukazuje video níže. Na vstupu je pouze 3D avatar a audio nahrávka.
Výsledkem jsou postavy, které nejen přesně synchronizují pohyb úst s mluveným slovem, ale dokážou vyjádřit i emoce. Představte si NPC ve hrách, které reagují přirozeně, nebo virtuální asistenty s naprosto věrnou mimikou.
Kdo už technologii využívá
Audio2Face není novinkou. Technologii používají přední herní studia jako Codemasters (série F1), GSC Game World (tvůrci S.T.A.L.K.E.R.) nebo NetEase. Technologie se osvědčila i mimo herní průmysl, například v případě virtuálních asistentů od UneeQ nebo nástrojů pro tvůrce od Reallusion.
Studio The Farm 51 díky Audio2Face ušetřilo „nespočet hodin animační práce“ při vývoji Chernobylite 2: Exclusion Zone. Dříve nemožné se tak mohlo stát skutečností.
Co všechno NVIDIA uvolňuje
Seznam nástrojů je opravdu obsáhlý. Kromě základního SDK dostávají vývojáři:
- Pluginy pro důležité nástroje: Maya (v2.0) a Unreal Engine 5 (v2.5 pro UE 5.5 a 5.6) s možností lokálního spouštění.
- Tréninkový framework: možnost doladit modely na vlastních datech včetně ukázkových dat pro začátek.
- Hotové modely: jak regresní (v2.2), tak pokročilejší difuzní modely (v3.0) pro synchronizaci rtů i detekci emocí z hlasu.
Celá sada je navržena tak, aby fungovala jak offline pro předpřipravený obsah, tak v reálném čase pro dynamické postavy řízené AI.
Foto: Se souhlasem NVIDIA
Proč to NVIDIA dělá?
Open source přístup není u velkých firem jen gestem dobré vůle. NVIDIA vytváří ekosystém, kde může komunita vývojářů technologii dále vylepšovat a přizpůsobovat konkrétním potřebám. To ve výsledku posiluje pozici společnosti NVIDIA v oblasti AI pro herní průmysl.
Zároveň jde o strategický tah. Zatímco základní technologie je open source, výkon stále závisí na hardwaru NVIDIA, pro který je AI optimalizovaná. Výrobci se to tedy může vrátit zejména v podboě poptávky po RTX grafických kartách optimalizovaných pro AI výpočty. Hráči se pak mohou těšit na lepší NPC ve hrách a zajímavé projekty využívající věrohodné 3D avatary.
Zdroj: TZ NVIDIA
