Induction Labs afferma che le etichette delle azioni sono un vincolo importante per gli agenti che imparano dai video. L’azienda ha rilasciato quelli che chiama imagination models, un’architettura da foundation model progettata per il preaddestramento su video grezzi senza etichette che identifichino l’azione che ha prodotto ciascun frame.

Il suo sistema di test, Photon-1, è un transformer mixture-of-experts, o MoE, sparso 106B-A5B, addestrato su quelli che Induction Labs descrive come 18 anni di video dimostrativi di uso del computer. In un benchmark interno sull’uso del computer, l’azienda riferisce che Photon-1 supera Gemini 3.1 Flash-Lite utilizzando una quantità di calcolo di preaddestramento sostanzialmente inferiore e con un costo di servizio circa 3× più basso. Il lavoro affronta un problema centrale per gli agenti di uso del computer: esistono grandi quantità di video dello schermo, ma la maggior parte non include registrazioni strutturate dei clic, delle sequenze di tasti e delle istruzioni che hanno prodotto ciascuno stato.

Come funziona l’imagination model

Un imagination model predice i frame futuri in modo autoregressivo tramite un obiettivo di previsione del prossimo token latente. Durante il preaddestramento non genera direttamente pixel. Il sistema modella invece il video in uno spazio di rappresentazione appreso.

La tesi centrale di Induction Labs è che prevedere gli stati futuri possa insegnare a un modello a completare compiti anche quando non osserva mai etichette esplicite delle azioni durante il preaddestramento. L’azienda descrive questo comportamento appreso come una policy implicita. Invece di imparare un’etichetta per ogni clic del mouse, il modello dovrebbe apprendere concetti di livello più alto su ciò che una persona sta facendo su un computer.

Compressione e rappresentazione

L’architettura di Photon-1 si basa su un encoder visivo che usa la finite scalar quantization, o FSQ. Ogni frame viene compresso in 960 token discreti. Ogni token è un vettore a 8 dimensioni, e ciascuna dimensione può assumere uno di cinque valori: −1, −1/2, 0, 1/2 o 1. Ciò produce un codebook con 5⁸ codici possibili.

La rappresentazione risultante è di circa 2.2 KB per frame. Induction Labs riferisce che questo offre una compressione migliore di oltre 100× rispetto alle rappresentazioni OCR e multimodali esistenti, preservando al tempo stesso testo, layout e cambiamenti di stato. Questa compressione è centrale per l’affermazione, perché il preaddestramento video è limitato non solo dalla dimensione del modello, ma anche dal numero di token dei frame che possono rientrare in un budget di addestramento e in una finestra di contesto praticabili.

Per raggiungere quel tasso di compressione, Photon-1 utilizza un encoder latente differenziale. Invece di codificare ogni frame solo come immagine autonoma, codifica i frame video in coppie, in modo che i latenti descrivano le differenze tra i frame anziché soltanto il contenuto dei singoli frame.

Dataset e calcolo di preaddestramento

Il corpus di addestramento è partito da un indice interno di 2 miliardi di video disponibili pubblicamente. Il filtraggio ha ridotto quella raccolta a circa 2 milioni di registrazioni dello schermo del computer. Induction Labs ha poi utilizzato un modello interno di rilevamento dei keyframe per rimuovere i frame ridondanti.

Il dataset finale conteneva 575 milioni di frame campionati a 1 frame al secondo. L’azienda afferma che ciò corrisponde a 552 miliardi di token, ovvero circa 18 anni di video. Photon-1 è stato preaddestrato da zero per una singola epoca.

L’addestramento del modello MoE 106B-A5B con una lunghezza di contesto di 32K ha richiesto circa 30,000 ore-GPU H200, ovvero 4.4×10²² FLOP di addestramento. Il team di ricerca ha implementato lo stack di addestramento in PyTorch e ha utilizzato kernel fusi personalizzati per l’encoder visivo e i livelli MoE, sostenendo un MFU end-to-end del 40%. Le cifre riportate sono coerenti tra loro: 30,000 ore-H200 al 40% di MFU sono vicine a 4.3×10²² FLOP.

Dal prediction all’azione

Dopo il preaddestramento, Induction Labs ha effettuato il fine-tuning di Photon-1 su meno di 35,000 traiettorie di uso del computer per insegnare il formato di azioni e istruzioni. Token speciali per l’uso del computer consentono al modello di emettere azioni. Durante l’inferenza, Photon-1 prima predice lo stato del frame successivo e poi produce l’azione necessaria per raggiungere quello stato.

L’azienda applica quindi apprendimento per rinforzo online. I rollout vengono eseguiti in tempo reale su macchine virtuali su larga scala, e gli esiti vengono verificati programmaticamente per generare la ricompensa. Le macchine virtuali Linux includono cinque ambienti desktop: LXQt, Xfce, MATE, GNOME e Plasma. Ogni VM dispone di un account Google per applicazioni web che richiedono accesso con login, oltre a un clone interno di ChatGPT senza limiti di frequenza. Questa configurazione è pensata per testare il comportamento a ciclo chiuso, non soltanto la previsione offline, poiché un modello di uso del computer deve recuperare dai propri errori e operare su interfacce che cambiano.

Confronto tra calcolo e costi

Induction Labs afferma che i suoi confronti su calcolo e costi sono ponderati con un rapporto 10:1 tra token di input e token di output, che secondo l’azienda corrisponde ai suoi test sull’uso del computer.

A queste cifre si applicano due avvertenze. Primo, il confronto con Gemini è una stima conservativa di Induction Labs, basata sull’ipotesi di 8B parametri attivi e 25T token di preaddestramento. Con queste ipotesi, il rapporto è di circa 27× anziché la cifra principale di 30×. Induction Labs afferma “almeno 30×” perché ritiene che il dato reale di Gemini sia probabilmente più alto e che il modello sia stato probabilmente distillato. Secondo, il benchmark è interno e non è stato rilasciato, quindi al momento il risultato non è riproducibile in modo indipendente.

Il costo di pareggio di Photon-1 sull’hardware di Induction Labs è indicato in $0.06 per 1 milione di token di input e $0.60 per 1 milione di token di output, senza speculative decoding.

Test oltre i video desktop

Induction Labs ha inoltre valutato se Photon-1 potesse generalizzare oltre i video di uso del computer desktop, l’unico tipo di video osservato durante il preaddestramento. Il team di ricerca ha effettuato il fine-tuning del modello su domini assenti dal preaddestramento e lo ha confrontato con due baseline: una baseline con encoder visivo con la stessa architettura e dimensione ma senza preaddestramento di tipo imagination, e una baseline LLM, Ling-flash-2.0 di Inclusion AI, preaddestrata su 20T token.

Su 20,000 partite di dama da torneo tratte dall’Open Checkers Archive 2.0, Photon-1 ha superato entrambe le baseline nella simulazione del mondo e nella qualità delle mosse. Su 10,000 partite di biliardo generate sinteticamente e simulate a 5 fps, Photon-1 ha prodotto un errore assoluto medio di 0.47 rispetto al motore fisico di riferimento, contro 1.15 per la baseline LLM e 1.44 per la baseline con encoder visivo. Questi test non sostituiscono una valutazione pubblica dell’uso del computer, ma sono pensati per verificare se l’obiettivo di preaddestramento abbia appreso dinamiche di stato trasferibili, anziché soltanto pattern visivi specifici del desktop.

Induction Labs afferma inoltre che Photon-1 ha acquisito prior umani dai video di preaddestramento. Dopo l’apprendimento per rinforzo, il modello ha imparato a usare il clone di ChatGPT nella VM per redigere artefatti e rispondere a domande di conoscenza, guidando l’LLM in modo paragonabile a un utente umano.

L’azienda non ha rilasciato i pesi del modello, un’API o una licenza per Photon-1. Il risultato rimane una dimostrazione di ricerca, non un modello pubblico distribuibile. Induction Labs ha pubblicato anche un thread di annuncio su X.