World Labs van Fei-Fei Li onthult wereldmodel Atlas

World Labs, de AI-startup van Stanford-hoogleraar en AI-pionier Fei-Fei Li, presenteerde op 1 september een nieuw wereldmodel genaamd Atlas. Het bedrijf omschrijft het als een omni-model, van meet af aan ontworpen om tekst, beelden, video en 3D-data native binnen één systeem te verwerken, en zegt dat Atlas een reële 3D-scène kan reconstrueren op basis van slechts één foto, een minuut lang hoge-resolutievideo met precieze camerasturing kan genereren, en de dieptedata kan produceren die robots nodig hebben om te trainen in gesimuleerde omgevingen. Fei-Fei Li noemde de lancering een mijlpaal voor World Labs en zei dat Atlas de deur opent naar toepassingen die uiteenlopen van visuele effecten tot robotica.

Wat Atlas werkelijk kan

• Camera-gestuurde generatie: op basis van één tot zes referentiebeelden genereert Atlas video met pixelnauwkeurige camerasturing, tot een minuut beeldmateriaal in 1440p-resolutie.
• Ruimtelijke reconstructie: gevoed met één tot enkele tientallen, soms meer dan honderd, invoerbeelden herbouwt Atlas reële scènes zowel als videobeelden vanuit nieuwe gezichtspunten als als expliciete 3D-uitvoer, puntenwolken en 3D Gaussian splats, en presteert daarbij beter dan gespecialiseerde topmodellen voor 3D-reconstructie.
• Ruimte-tijdsimulatie: op basis van gewone video, opgenomen met een handvol telefoons, kan Atlas een scène bevriezen en herkaderen vanuit onmogelijke hoeken, en het ondersteunt real-to-sim-workflows waarmee robots trainen en testen in gegenereerde omgevingen.
• Beeldgeneratie: Atlas produceert beelden en 360-gradenpanorama's op basis van tekst, volgt complexe instructies, geeft leesbare tekst weer en bestrijkt een breed scala aan visuele stijlen.

Onder de motorkap is Atlas wat World Labs een multimodale autoregressieve diffusie-transformer noemt, vanaf nul getraind in plaats van afgeleid van een bestaand video- of taalmodel. Elke invoer, tekst, beelden, camerastandpunten en 3D-dieptekaarten, wordt verankerd op een positie binnen een gedeelde ruimtelijke context, en Atlas genereert nieuwe uitvoer op basis van alles wat al in die context aanwezig is; twee ongerelateerde foto's kunnen bijvoorbeeld in de 3D-ruimte geplaatst en aaneengesmeed worden tot één doorlopende, coherente wereld. Dat onderscheidt Atlas van Sora-achtige videogeneratoren, die camerabewegingen sturen via onnauwkeurige tekstprompts: Atlas neemt cameratrajecten en scènegeometrie als native invoer, wat controle per beeld mogelijk maakt die tekst alleen niet kan bieden. Bij evaluaties van camera-gestuurde generatie en reconstructie vanuit schaarse gezichtspunten presteerde Atlas volgens World Labs beter dan zowel toonaangevende videomodellen als de beste gespecialiseerde 3D-reconstructiesystemen, met een voordeel dat groeit bij complexere cameratrajecten, en de prestaties blijven verbeteren naarmate de rekenkracht voor training toeneemt.

Een gok op robots, niet alleen op visuele effecten

De lancering zet een lijn voort die World Labs dit jaar al had ingezet. In juni schetste Fei-Fei Li een kader dat wereldmodellen indeelt in renderers, simulatoren en planners, met het argument dat de simulator het belangrijkst is omdat die de geometrie, fysica en dynamica draagt waar zowel rendering als actie van afhangen. Op 21 juli nam World Labs SceniX over, een startup voor robotsimulatie; een week later, op 28 juli, onthulde het bedrijf een real-to-sim-to-real-systeem, gebouwd rond het idee dat het grootste knelpunt in de robotica het gebrek aan goedkope, controleerbare en schaalbare trainingservaring is. Atlas is het onderdeel dat deze inspanningen verbindt: het kan gewone foto's of video omzetten in een 3D-ruimte, en vervolgens in de sensoraanzichten en variabele gesimuleerde omgevingen die een robot nodig heeft om te trainen. Jim Fan, hoofd robotica-onderzoek bij Nvidia en voormalig student van Li, omschreef de lancering als een belangrijke stap voor real-to-sim-werk in de robotica.

Wereldmodellen genereren, reconstrueren en simuleren elke mogelijke wereld, zodat we verbeelde werelden kunnen weergeven voor makers, de echte wereld met hoge nauwkeurigheid kunnen simuleren en robots kunnen helpen hun acties te plannen.

World Labs zegt Atlas geleidelijk uit te rollen, beginnend met vroege toegang voor geselecteerde partners; andere gebruikers kunnen toegang aanvragen via de website van het bedrijf. Het bedrijf presenteert Atlas als de basis voor toekomstige versies van Marble, zijn eerdere product voor interactieve werelden, en voor de rest van zijn productlijn. Voor AI-labs, game- en vfx-studio's en robotica-bedrijven in Nederland en Vlaanderen betekent dit concreet een goedkopere weg naar bruikbare 3D-data: in plaats van dure opnameapparatuur of maanden gespecialiseerd reconstructiewerk, kunnen een paar gewone foto's of een telefoonvideo het startpunt worden van een gesimuleerde omgeving, een spelniveau of een trainingsterrein voor robots, mits deze vroege resultaten standhouden zodra meer partijen in het veld Atlas zelf kunnen testen.