Az NVIDIA Research épít AI modellt a virtuális világok 3D-s tárgyakkal, karakterekkel való benépesítésére

Az egyre több vállalat és alkotó által létrehozott hatalmas virtuális világok könnyebben benépesíthetők 3D-s épületek, járművek, karakterek és sok más dologgal – az NVIDIA Research új mesterséges intelligencia modelljének köszönhetően.

Az NVIDIA GET3D csak 2D-s képek felhasználásával betanított modell, amely 3D-s alakzatokat generál, nagyon valósághű textúrákkal és összetett geometriai részletekkel. Ezek a 3D objektumok ugyanabban a formátumban jönnek létre, amelyet a népszerű grafikus szoftverek használnak, így a felhasználók azonnal importálhatják alakzataikat 3D renderelőkbe és játékmotorokba további szerkesztés céljából.

A generált objektumok felhasználhatók épületek, kültéri terek vagy egész városok 3D-s ábrázolásában, amelyeket többek között a játékipar, a robotika, az építészet és a közösségi média számára terveztek.

A GET3D gyakorlatilag korlátlan számú 3D alakzatot képes létrehozni a betanított adatok alapján. Mint egy művész, aki egy csomó agyagból részletes szobrot készít, a modell a számokat alakítja át összetett 3D alakzatokká.

Egy 2D-s autóképekből álló képzési adathalmazzal például szedánok, teherautók, versenyautók és furgonok gyűjteményét hozza létre. Állati képekkel betanítva olyan élőlényekkel áll elő, mint a róka, az orrszarvú, a ló és a medve. Székek esetén a modell válogatott forgószékeket, étkezőszékeket és kényelmes nyugágyakat generál.

“A GET3D egy lépéssel közelebb visz minket az AI-alapú 3D tartalomkészítés demokratizálásához” – mondta Sanja Fidler, az NVIDIA AI-kutatásért felelős alelnöke, aki az eszközt létrehozó torontói AI-laboratóriumot vezeti. “Az a képessége, hogy azonnal képes textúrázott 3D alakzatokat generálni, nagy változást hozhat a fejlesztők számára, segítve őket abban, hogy gyorsan benépesítsék a virtuális világokat változatos és érdekes tárgyakkal.”

A GET3D egyike annak a több mint 20, NVIDIA által készített előadásnak és workshopnak, amelyeket elfogadtak a New Orleansban, november 26. és december 4. között megrendezésre kerülő NeurIPS AI konferenciára, virtuálisan is.

 

A virtuális világ létrehozásához AI-fajták kellenek

A valós világ tele van változatossággal: az utcákat egyedi épületek szegélyezik, különböző járművek suhannak el mellettük, és változatos tömegek haladnak át rajtuk. Egy ezt tükröző 3D-s virtuális világ kézi modellezése hihetetlenül időigényes, ami megnehezíti a részletes digitális környezet kitöltését.

Bár a kézi módszereknél gyorsabbak, a korábbi 3D generatív mesterséges intelligenciamodellek korlátozott részletességűek voltak. Még a legújabb inverz renderelési módszerek is csak különböző szögekből készült 2D-s képek alapján tudnak 3D-s objektumokat generálni, így a fejlesztőknek egyszerre csak egy-egy 3D-s alakzatot lehetett felépíteniük.

A GET3D ehelyett egyetlen NVIDIA GPU-n történő futtatása során másodpercenként mintegy 20 alakzatot képes előállítani – úgy működik, mint egy generatív adverzális hálózat a 2D-s képekhez, miközben 3D-s objektumokat generál. Minél nagyobb és változatosabb a képzési adathalmaz, amelyből tanul, annál változatosabb és részletesebb a kimenet.

Az NVIDIA kutatói a GET3D-t szintetikus adatokon képezték ki, amelyek különböző kameraszögekből rögzített 3D alakzatok 2D-s képeiből álltak. A csapatnak mindössze két napba telt, amíg a modellt mintegy 1 millió képen betanította az NVIDIA A100 Tensor Core GPU-k segítségével.

 

Lehetővé teszi az alkotók számára az alakzat, a textúra és az anyag módosítását

A GET3D nevét onnan kapta, hogy képes explicit textúrázott 3D hálót generálni – ami azt jelenti, hogy az általa létrehozott alakzatok háromszögháló formájában vannak, mint egy papírmasé modell, amelyet textúrázott anyag borít. Ez lehetővé teszi, hogy a felhasználók könnyedén importálhassák az objektumokat játékmotorokba, 3D modellezőkbe és filmrenderelőkbe – és szerkeszthessék azokat.

Miután az alkotók a GET3D által generált alakzatokat egy grafikus alkalmazásba exportálják, valósághű fényhatásokat alkalmazhatnak, ahogy az objektum mozog vagy forog a jelenetben. Az NVIDIA Research egy másik mesterséges intelligencia eszközének, a StyleGAN-NADA-nak a beépítésével a fejlesztők szöveges utasítások segítségével egy adott stílust adhatnak egy képhez, például egy renderelt autót égett autóvá vagy taxivá módosíthatnak, vagy egy átlagos házat kísértetjáróvá alakíthatnak.

A kutatók megjegyzik, hogy a GET3D egy jövőbeli verziója kamerapóz-becslési technikákat használhatna, hogy a fejlesztők szintetikus adathalmazok helyett valós adatokon képezhessék a modellt. A modellt úgy is fejleszteni lehetne, hogy támogassa az univerzális generálást – vagyis a fejlesztők a GET3D-t egyszerre mindenféle 3D alakzaton betaníthatnák, ahelyett, hogy egyszerre csak egy-egy tárgykategóriára kellene betanítaniuk.

megosztás:

olvastad már?
partnereink
hírlevél


Elolvastam és elfogadom az adatvédelmi nyilatkozatot!
keresés
népszerűek

Be-Va Chip hírlevél feliratkozás

Nem kaptál egy ideje hírlevelet? A GDPR miatt csak azoknak küldünk hírlevelet, akik megerősítették, hogy továbbra is szeretnének értesülni újdonságainkról, akciós termékeinkről és a legújabb IT és tech hírekről. Ha nem kaptál levelet mostanában, iratkozz fel újra:

Elolvastam és elfogadom az adatvédelmi nyilatkozatot!