Induction Labs zufolge sind Aktionslabels eine wesentliche Einschränkung für Agenten, die aus Videos lernen. Das Unternehmen hat sogenannte Imagination Models veröffentlicht, eine Foundation-Model-Architektur, die für das Pretraining auf Rohvideos ausgelegt ist, ohne Labels, die die Aktion identifizieren, durch die jeder Frame entstanden ist.

Das Testsystem Photon-1 ist ein spärlicher 106B-A5B-Mixture-of-Experts-Transformer, kurz MoE, der auf dem trainiert wurde, was Induction Labs als 18 Jahre Computer-Demonstrationsvideo beschreibt. In einem internen Benchmark zur Computernutzung berichtet das Unternehmen, dass Photon-1 Gemini 3.1 Flash-Lite übertrifft, dabei deutlich weniger Pretraining-Rechenleistung verwendet und im Betrieb rund 3× weniger kostet. Die Arbeit zielt auf ein Kernproblem von Computer-Use-Agenten: Es gibt große Mengen an Bildschirmvideos, doch die meisten enthalten keine strukturierten Aufzeichnungen der Klicks, Tastatureingaben und Anweisungen, die zu jedem Zustand geführt haben.

Wie das Imagination Model funktioniert

Ein Imagination Model sagt künftige Frames autoregressiv über ein Next-Latent-Token-Prediction-Ziel voraus. Während des Pretrainings erzeugt es keine Pixel direkt. Stattdessen modelliert das System Videos in einem gelernten Repräsentationsraum.

Die zentrale Aussage von Induction Labs lautet, dass die Vorhersage künftiger Zustände einem Modell beibringen kann, Aufgaben zu erledigen, selbst wenn es während des Pretrainings nie explizite Aktionslabels beobachtet. Das Unternehmen beschreibt dieses gelernte Verhalten als implizite Policy. Statt für jeden Mausklick ein Label zu lernen, soll das Modell übergeordnete Konzepte dafür lernen, was eine Person an einem Computer tut.

Kompression und Repräsentation

Die Architektur von Photon-1 stützt sich auf einen Vision Encoder, der finite scalar quantization, kurz FSQ, verwendet. Jeder Frame wird in 960 diskrete Tokens komprimiert. Jedes Token ist ein 8-dimensionaler Vektor, und jede Dimension kann einen von fünf Werten annehmen: −1, −1/2, 0, 1/2 oder 1. Daraus ergibt sich ein Codebook mit 5⁸ möglichen Codes.

Die daraus resultierende Repräsentation beträgt ungefähr 2.2 KB pro Frame. Induction Labs berichtet, dass dies eine mehr als 100× bessere Kompression als bestehende OCR- und multimodale Modellrepräsentationen bietet, während Text, Layout und Zustandsänderungen erhalten bleiben. Diese Kompression ist zentral für die Aussage, weil Video-Pretraining nicht nur durch die Modellgröße begrenzt wird, sondern auch durch die Zahl der Frame-Tokens, die in ein praktikables Trainingsbudget und Kontextfenster passen.

Um diese Kompressionsrate zu erreichen, verwendet Photon-1 einen differentiellen Latent Encoder. Statt jeden Frame nur als eigenständiges Bild zu kodieren, kodiert er Videoframes als Paare, sodass die Latents Unterschiede zwischen Frames beschreiben und nicht nur die Frame-Inhalte.

Datensatz und Pretraining-Rechenleistung

Der Trainingskorpus begann mit einem internen Index von 2 Milliarden öffentlich verfügbaren Videos. Durch Filterung wurde diese Sammlung auf etwa 2 Millionen Bildschirmaufzeichnungen von Computern reduziert. Induction Labs nutzte anschließend ein internes Modell zur Keyframe-Erkennung, um redundante Frames zu entfernen.

Der endgültige Datensatz enthielt 575 Millionen Frames, die mit 1 Frame pro Sekunde abgetastet wurden. Das Unternehmen gibt an, dass dies 552 Milliarden Tokens oder etwa 18 Jahren Video entspricht. Photon-1 wurde von Grund auf für eine einzelne Epoche vortrainiert.

Das Training des 106B-A5B-MoE-Modells mit einer Kontextlänge von 32K dauerte etwa 30,000 H200-GPU-Stunden oder 4.4×10²² Trainings-FLOPs. Das Forschungsteam implementierte den Trainingsstack in PyTorch und nutzte speziell entwickelte fused Kernels für den Vision Encoder und die MoE-Schichten, wobei eine End-to-End-MFU von 40% aufrechterhalten wurde. Die berichteten Zahlen sind untereinander konsistent: 30,000 H200-Stunden bei 40% MFU liegen nahe bei 4.3×10²² FLOPs.

Von der Vorhersage zur Aktion

Nach dem Pretraining finetunte Induction Labs Photon-1 auf weniger als 35,000 Computer-Use-Trajektorien, um das Aktions- und Anweisungsformat zu vermitteln. Spezielle Computer-Use-Tokens ermöglichen es dem Modell, Aktionen auszugeben. Während der Inferenz sagt Photon-1 zunächst den Zustand des nächsten Frames voraus und gibt anschließend die Aktion aus, die erforderlich ist, um diesen Zustand zu erreichen.

Anschließend setzt das Unternehmen Online-Reinforcement-Learning ein. Rollouts laufen in Echtzeit auf virtuellen Maschinen in großem Maßstab, und Ergebnisse werden programmgesteuert verifiziert, um Reward zu erzeugen. Die Linux-VMs umfassen fünf Desktop-Umgebungen: LXQt, Xfce, MATE, GNOME und Plasma. Jede VM verfügt über ein Google-Konto für Webanwendungen, die einen Login erfordern, sowie über einen internen ChatGPT-Klon ohne Ratenlimits. Dieser Aufbau soll Closed-Loop-Verhalten testen und nicht nur Offline-Vorhersagen, da ein Computer-Use-Modell sich von eigenen Aktionen erholen und über sich verändernde Benutzeroberflächen hinweg arbeiten muss.

Vergleich von Rechenleistung und Kosten

Induction Labs gibt an, dass seine Vergleiche von Rechenleistung und Kosten mit einem Token-Verhältnis von 10:1 zwischen Input und Output gewichtet sind, was nach Aussage des Unternehmens seinen Computer-Use-Tests entspricht.

Für diese Zahlen gelten zwei Einschränkungen. Erstens ist der Gemini-Vergleich eine eigene konservative Schätzung von Induction Labs, unter Annahme von 8B aktiven Parametern und 25T Pretraining-Tokens. Unter diesen Annahmen beträgt das Verhältnis etwa 27× statt der in der Überschrift genannten 30×. Induction Labs spricht von „at least 30ד, weil das Unternehmen davon ausgeht, dass die tatsächliche Gemini-Zahl wahrscheinlich höher ist und das Modell wahrscheinlich destilliert wurde. Zweitens ist der Benchmark intern und wurde nicht veröffentlicht, sodass das Ergebnis derzeit nicht unabhängig reproduzierbar ist.

Die eigenen Break-even-Kosten von Photon-1 auf der Hardware von Induction Labs werden mit $0.06 pro 1 Million Input-Tokens und $0.60 pro 1 Million Output-Tokens angegeben, ohne speculative decoding.

Tests jenseits von Desktop-Video

Induction Labs prüfte außerdem, ob Photon-1 über Desktop-Computer-Use-Videos hinaus generalisieren kann, die einzige Art von Video, die es während des Pretrainings gesehen hatte. Das Forschungsteam finetunte das Modell auf Domänen, die im Pretraining nicht vorkamen, und verglich es mit zwei Baselines: einer Vision-Encoder-Baseline mit derselben Architektur und Größe, aber ohne Imagination-Pretraining, sowie einer LLM-Baseline, Ling-flash-2.0 von Inclusion AI, die auf 20T Tokens vortrainiert wurde.

Bei 20,000 Turnier-Damepartien aus dem Open Checkers Archive 2.0 übertraf Photon-1 beide Baselines bei Weltsimulation und Zugqualität. Bei 10,000 synthetisch erzeugten Billardspielen, die mit 5 fps simuliert wurden, erzielte Photon-1 einen mittleren absoluten Fehler von 0.47 gegenüber der Ground-Truth-Physik-Engine, verglichen mit 1.15 für die LLM-Baseline und 1.44 für die Vision-Encoder-Baseline. Diese Tests ersetzen keine öffentliche Computer-Use-Evaluierung, sollen aber untersuchen, ob das Pretraining-Ziel übertragbare Zustandsdynamiken gelernt hat und nicht nur desktopspezifische visuelle Muster.

Induction Labs gibt außerdem an, dass Photon-1 menschliche Priors aus dem Pretraining-Video übernommen hat. Nach dem Reinforcement Learning lernte das Modell, den ChatGPT-Klon in der VM zu nutzen, um Artefakte zu entwerfen und Wissensfragen zu beantworten, wobei es das LLM auf eine Weise steuerte, die mit einem menschlichen Nutzer vergleichbar ist.

Das Unternehmen hat keine Modellgewichte, keine API und keine Lizenz für Photon-1 veröffentlicht. Das Ergebnis bleibt eine Forschungsdemonstration und kein öffentlich einsetzbares Modell. Induction Labs veröffentlichte außerdem einen Ankündigungsthread auf X.