Fei-Fei Lis World Labs stellt Weltmodell Atlas vor

World Labs, das von der Stanford-Professorin und KI-Pionierin Fei-Fei Li gegründete Start-up für künstliche Intelligenz, hat am 1. September ein neues Weltmodell namens Atlas vorgestellt. Das Unternehmen beschreibt es als Omni-Modell, das von Grund auf darauf ausgelegt ist, Text, Bilder, Video und 3D-Daten nativ in einem einzigen System zu verarbeiten, und erklärt, Atlas könne aus nur einem Foto eine reale 3D-Szene rekonstruieren, ein bis zu einminütiges hochauflösendes Video mit präziser Kamerasteuerung erzeugen und die Tiefendaten liefern, die Roboter zum Training in simulierten Umgebungen benötigen. Fei-Fei Li bezeichnete die Vorstellung als Meilenstein für World Labs und sagte, Atlas öffne die Tür zu Anwendungen von visuellen Effekten bis zur Robotik.

Was Atlas tatsächlich kann

• Kameragesteuerte Generierung: Aus ein bis sechs Referenzbildern erzeugt Atlas Video mit pixelgenauer Kamerasteuerung und liefert bis zu einer Minute Material in 1440p-Auflösung.
• Räumliche Rekonstruktion: Mit ein bis mehreren Dutzend, teils über hundert Eingabebildern gefüttert, rekonstruiert Atlas reale Szenen sowohl als Videoframes aus neuen Blickwinkeln als auch als explizite 3D-Ausgaben, Punktwolken und 3D-Gaussian-Splats, und übertrifft dabei spezialisierte, hochmoderne 3D-Rekonstruktionsmodelle.
• Raum-Zeit-Simulation: Aus gewöhnlichem, mit wenigen Smartphones aufgenommenem Video kann Atlas eine Szene einfrieren und aus unmöglichen Blickwinkeln neu einrahmen, und es stützt Real-to-Sim-Workflows, mit denen Roboter in generierten Umgebungen trainieren und getestet werden können.
• Bildgenerierung: Atlas erzeugt aus Textvorgaben Bilder und 360-Grad-Panoramen, folgt komplexen Anweisungen, stellt lesbaren Text dar und deckt ein breites Spektrum visueller Stile ab.

Im Inneren ist Atlas das, was World Labs einen multimodalen autoregressiven Diffusions-Transformer nennt, von Grund auf trainiert statt von einem bestehenden Video- oder Sprachmodell abgeleitet. Jede Eingabe, Text, Bilder, Kamerapositionen und 3D-Tiefenkarten, wird an einer Position in einem gemeinsamen räumlichen Kontext verankert, und Atlas erzeugt jede neue Ausgabe abhängig von allem, was bereits in diesem Kontext vorhanden ist; zwei völlig unabhängige Fotos etwa lassen sich im 3D-Raum positionieren und zu einer durchgehenden, kohärenten Welt zusammenfügen. Das unterscheidet Atlas von Sora-artigen Videogeneratoren, die Kamerabewegungen über ungenaue Textvorgaben steuern: Atlas nimmt Kamerabahnen und Szenengeometrie als native Eingabe entgegen und erlaubt so eine bildgenaue Kontrolle, die Text allein nicht liefern kann. Bei Auswertungen zu kameragesteuerter Generierung und Rekonstruktion aus spärlichen Ansichten habe Atlas laut World Labs sowohl führende Videomodelle als auch die besten spezialisierten 3D-Rekonstruktionssysteme übertroffen, wobei der Vorsprung bei komplexeren Kamerabahnen wächst, und die Leistung verbessere sich weiter, je mehr Rechenleistung ins Training fließe.

Eine Wette auf Roboter, nicht nur auf visuelle Effekte

Die Vorstellung setzt eine Linie fort, die World Labs bereits Anfang des Jahres verfolgt hat. Im Juni skizzierte Fei-Fei Li ein Konzept, das Weltmodelle in Renderer, Simulatoren und Planer unterteilt, und argumentierte, der Simulator sei am wichtigsten, weil er die Geometrie, Physik und Dynamik trage, von der sowohl Rendering als auch Handeln abhängen. Am 21. Juli übernahm World Labs SceniX, ein Start-up für Robotersimulation; eine Woche später, am 28. Juli, stellte das Unternehmen ein Real-to-Sim-to-Real-System vor, das auf der Annahme beruht, der größte Engpass der Robotik sei der Mangel an günstiger, kontrollierbarer und skalierbarer Trainingserfahrung. Atlas ist das Bindeglied dieser Vorhaben: Es kann gewöhnliche Fotos oder Videos in einen 3D-Raum verwandeln und daraus die Sensoransichten und variablen simulierten Umgebungen erzeugen, die ein Roboter zum Training braucht. Jim Fan, leitender Robotik-Forscher bei Nvidia und ehemaliger Student Lis, bezeichnete die Vorstellung als bedeutenden Schritt für Real-to-Sim-Arbeiten in der Robotik.

Weltmodelle erzeugen, rekonstruieren und simulieren jede mögliche Welt, sodass wir imaginierte Welten für Kreative darstellen, die reale Welt in hoher Genauigkeit simulieren und Robotern helfen können, ihre Handlungen zu planen.

World Labs erklärt, Atlas werde schrittweise ausgerollt, zunächst mit frühem Zugang für ausgewählte Partner; andere Nutzer können den Zugang auf der Website des Unternehmens beantragen. Das Unternehmen positioniert Atlas als Grundlage künftiger Versionen von Marble, seinem früheren Produkt für interaktive Welten, sowie für den Rest seines Portfolios. Für KI-Labore, Spiele- und Effektstudios sowie Robotikunternehmen in Deutschland und im übrigen deutschsprachigen Raum, gerade auch im industriellen Mittelstand, bedeutet das praktisch einen günstigeren Weg zu nutzbaren 3D-Daten: Statt teurer Aufnahmestudios oder monatelanger spezialisierter 3D-Rekonstruktionsarbeit können wenige gewöhnliche Fotos oder ein Smartphone-Video zum Ausgangspunkt für eine simulierte Fertigungsumgebung, ein Spiellevel oder ein Trainingsgelände für Roboter werden, sofern sich diese frühen Ergebnisse bestätigen, sobald mehr Akteure der Branche Atlas selbst testen können.