Uudessa artikkelissa Point-E: Järjestelmä 3D-pistepilvien luomiseen monimutkaisista signaaleista OpenAI-tutkimusryhmä esittelee Point E:n, 3D-pistepilven tekstin ehdollisen synteesijärjestelmän, joka käyttää diffuusiomalleja monimutkaisten ja monimutkaisten 3D-muotojen luomiseen monimutkaisen tekstin ohjaamiseksi. vihjeitä.minuuteissa yhdellä GPU:lla.
Nykypäivän huippuluokan kuvantuotantomallien hämmästyttävä suorituskyky on kannustanut 3D-tekstiobjektien luomiseen liittyvää tutkimusta.Toisin kuin 2D-mallit, jotka voivat tuottaa tulosteen minuuteissa tai jopa sekunneissa, objektin luovat mallit vaativat yleensä useita tunteja GPU-työtä yhden näytteen luomiseen.
Uudessa artikkelissa Point-E: Järjestelmä 3D-pistepilvien luomiseen monimutkaisista signaaleista OpenAI-tutkimusryhmä esittelee Point·E:n, tekstillisen ehdollisen synteesijärjestelmän 3D-pistepilville.Tämä uusi lähestymistapa käyttää etenemismallia monimutkaisten ja monimutkaisten 3D-muotojen luomiseen monimutkaisista tekstisignaaleista minuutissa tai kahdessa yhdellä GPU:lla.
Tiimi keskittyy haasteeseen muuntaa tekstiä 3D:ksi, mikä on ratkaisevan tärkeää 3D-sisällön luomisen demokratisoinnissa tosielämän sovelluksissa virtuaalitodellisuudesta ja pelaamisesta teolliseen muotoiluun.Nykyiset menetelmät tekstin muuntamiseksi 3D-muotoon jakautuvat kahteen luokkaan, joista jokaisella on haittapuolensa: 1) generatiivisia malleja voidaan käyttää näytteiden muodostamiseen tehokkaasti, mutta niitä ei voida skaalata tehokkaasti erilaisille ja monimutkaisille tekstisignaaleille;2) esiopetettu tekstikuvamalli käsittelemään monimutkaisia ja vaihtelevia tekstivihjeitä, mutta tämä lähestymistapa on laskennallisesti intensiivinen ja malli voi helposti juuttua paikallisiin minimiin, jotka eivät vastaa merkityksellisiä tai koherentteja 3D-objekteja.
Siksi ryhmä tutki vaihtoehtoista lähestymistapaa, jolla pyritään yhdistämään edellä mainittujen kahden lähestymistavan vahvuudet käyttämällä tekstistä kuvaksi diffuusiomallia, joka on koulutettu suurelle joukolle teksti-kuva-pareja (jolloin se pystyy käsittelemään erilaisia ja monimutkaisia signaaleja) ja 3D-kuvan diffuusiomalli, joka on koulutettu pienemmille teksti-kuva-pareille.kuva-3D-paritietojoukko.Tekstistä kuvaksi -malli ottaa ensin näytteitä syötekuvasta luodakseen yhden synteettisen esityksen, ja kuvasta 3D:ksi -malli luo 3D-pistepilven valitun kuvan perusteella.
Komennon generatiivinen pino perustuu äskettäin ehdotettuihin generatiivisiin kehyksiin kuvien ehdolliseen luomiseen tekstistä (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).He käyttävät tekstistä kuvaksi -muunnosmallina GLIDE-mallia, jossa on 3 miljardia GLIDE-parametria (Nichol et al., 2021), joka on hienosäädetty renderoiduissa 3D-malleissa, ja joukko diffuusiomalleja, jotka luovat RGB-pistepilviä. muunnosmalli.kuvat kuvaksi.3D mallit.
Aiemmissa töissä käytettiin 3D-arkkitehtuuria pistepilvien käsittelyyn, kun taas tutkijat käyttivät yksinkertaista anturipohjaista mallia (Vaswani et al., 2017) tehokkuuden parantamiseksi.Diffuusiomalliarkkitehtuurissaan pistepilvikuvat syötetään ensin esikoulutettuun ViT-L/14 CLIP-malliin ja sitten ulostuloverkot syötetään muuntimeen markkereina.
Empiirisessä tutkimuksessaan ryhmä vertasi ehdotettua Point·E-menetelmää muihin generatiivisiin 3D-malleihin COCO-objektien havaitsemisen, segmentoinnin ja allekirjoitustietojoukon signaalien pisteytykseen.Tulokset vahvistavat, että Point·E pystyy tuottamaan monimutkaisia ja monimutkaisia 3D-muotoja monimutkaisista tekstisignaaleista ja nopeuttamaan päättelyaikaa yhdestä kahteen suuruusluokkaa.Ryhmä toivoo, että heidän työnsä inspiroi 3D-tekstisynteesin lisätutkimuksia.
Esiopetettu pistepilven etenemismalli ja arviointikoodi ovat saatavilla projektin GitHubista.Document Point-E: Järjestelmä 3D-pistepilvien luomiseen monimutkaisista vihjeistä on arXiv:ssä.
Tiedämme, että et halua missata mitään uutisia tai tieteellisiä löytöjä.Tilaa suosittu Synced Global AI Weekly -uutiskirjeemme saadaksesi viikoittaisia tekoälypäivityksiä.
Postitusaika: 28.12.2022