Artikulu berri batean Point-E: Seinale konplexuetatik 3D puntu-hodeiak sortzeko sistema, OpenAI ikerketa-taldeak Point E aurkezten du, 3D puntu-hodei testuaren baldintzapeko sintesi-sistema, difusio-ereduak erabiltzen dituena testu konplexuak bultzatutako 3D forma askotariko eta konplexuak sortzeko. seinaleak.minututan GPU bakarrean.
Gaur egungo punta-puntako irudiak sortzeko ereduen errendimendu harrigarriak 3D testu-objektuen sorkuntzaren ikerketa bultzatu du.Hala ere, 2D ereduek ez bezala, minutu edo segundotan ere sor dezaketen irteera, objektuen sorkuntza-ereduek normalean GPU-ren hainbat ordu behar dituzte lagin bakarra sortzeko.
Artikulu berri batean Point-E: seinale konplexuetatik 3D puntu-hodeiak sortzeko sistema, OpenAI ikerketa-taldeak Point·E aurkezten du, 3D puntu-hodeietarako testu-baldintzazko sintesi-sistema.Ikuspegi berri honek hedapen-eredu bat erabiltzen du testu-seinale konplexuetatik 3D forma askotarikoak eta konplexuak sortzeko minutu batean edo bitan GPU bakarrean.
Taldea testua 3D bihurtzeko erronkan zentratuta dago, eta hori funtsezkoa da mundu errealeko aplikazioetarako 3D edukien sorkuntza demokratizatzeko, errealitate birtualetik eta jokoetatik diseinu industrialetaraino.Testua 3D bihurtzeko dauden metodoak bi kategoriatan banatzen dira, eta bakoitzak bere eragozpenak ditu: 1) eredu sortzaileak erabil daitezke laginak modu eraginkorrean sortzeko, baina ezin dira modu eraginkorrean eskalatu testu-seinale anitz eta konplexuetarako;2) testu-irudiaren aldez aurretik trebatutako testu-irudi konplexu eta askotarikoak kudeatzeko, baina ikuspegi hau konputazionalki intentsiboa da eta eredua erraz geldi daiteke 3D objektu esanguratsu edo koherenteekin bat ez datozen tokiko minimoetan.
Hori dela eta, taldeak aurreko bi ikuspegien indarguneak konbinatzea helburu duen ikuspegi alternatibo bat aztertu du, testu-irudi bikoteen multzo handi batean trebatutako testu-irudi difusio-eredu bat erabiliz (seinale askotarikoak eta konplexuak kudeatzeko aukera emanez) eta testu-irudi bikote multzo txikiago batean trebatutako 3D irudi-difusio-eredua.irudi-3D bikote datu multzoa.Testutik irudirako ereduak sarrerako irudia lagintzen du lehenik irudikapen sintetiko bakarra sortzeko, eta iruditik 3D ereduak 3D puntu-hodeia sortzen du hautatutako irudian oinarrituta.
Komandoaren sorta-pilaketa duela gutxi proposatutako sorkuntza-esparruetan oinarritzen da testutik irudiak baldintzapean sortzeko (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).GLIDE eredu bat erabiltzen dute GLIDE 3.000 milioi parametro dituena (Nichol et al., 2021), errendatutako 3D ereduetan sintonizatuta, testu-irudiaren eraldaketa-eredu gisa, eta RGB puntu-hodeiak sortzen dituzten difusio-eredu multzo bat erabiltzen dute. eraldaketa eredua.irudiz irudi.3D ereduak.
Aurreko lanek puntu hodeiak prozesatzeko 3D arkitekturak erabiltzen zituzten bitartean, ikertzaileek transduktoreetan oinarritutako eredu sinple bat erabili zuten (Vaswani et al., 2017) eraginkortasuna hobetzeko.Haien difusio-ereduaren arkitekturan, puntu-hodeiaren irudiak aurrez prestatutako ViT-L/14 CLIP eredu batera elikatzen dira eta, ondoren, irteerako sareak bihurgailura sartzen dira markatzaile gisa.
Bere azterketa enpirikoan, taldeak proposatutako Point·E metodoa beste 3D eredu sortzaile batzuekin alderatu zuen COCO objektuen detekzio, segmentazio eta sinadura datu-multzoen puntuazio-seinaleetan.Emaitzek baieztatzen dute Point·E gai dela testu-seinale konplexuetatik 3D forma anitzak eta konplexuak sortzeko eta inferentzia-denbora magnitude bat edo bi bizkortzen duela.Taldeak espero du bere lanak 3D testuen sintesian ikerketa gehiago bultzatzea.
Aurrez trebatutako puntu-hodeiaren hedapen-eredua eta ebaluazio-kodea eskuragarri daude proiektuaren GitHub-en.Document Point-E: Arrasto konplexuetatik abiatuta 3D puntu-hodeiak sortzeko sistema bat dago arXiv-en.
Badakigu ez duzula berririk edo aurkikuntza zientifikorik galdu nahi.Harpidetu gure Synced Global AI Weekly buletin ezagunera astero AI eguneraketak jasotzeko.
Argitalpenaren ordua: 2022-12-28