Induction Labs affirme que les étiquettes d’action constituent une contrainte majeure pour les agents qui apprennent à partir de vidéos. L’entreprise a publié ce qu’elle appelle des modèles d’imagination, une architecture de modèle de fondation conçue pour être préentraînée sur des vidéos brutes, sans étiquettes indiquant l’action ayant produit chaque image.

Son système de test, Photon-1, est un transformeur mixture-of-experts clairsemé 106B-A5B, ou MoE, entraîné sur ce qu’Induction Labs décrit comme 18 années de vidéos de démonstration d’usage de l’ordinateur. Sur un benchmark interne d’usage de l’ordinateur, l’entreprise indique que Photon-1 surpasse Gemini 3.1 Flash-Lite tout en utilisant nettement moins de calcul de préentraînement et en coûtant environ 3× moins à servir. Ces travaux ciblent un problème central pour les agents d’usage de l’ordinateur : de grands volumes de vidéos d’écran existent, mais la plupart ne sont pas accompagnés d’enregistrements structurés des clics, frappes au clavier et instructions ayant produit chaque état.

Fonctionnement du modèle d’imagination

Un modèle d’imagination prédit les images futures de manière autorégressive au moyen d’un objectif de prédiction du prochain jeton latent. Pendant le préentraînement, il ne génère pas directement de pixels. Le système modélise plutôt la vidéo dans un espace de représentation appris.

L’affirmation centrale d’Induction Labs est que la prédiction d’états futurs peut apprendre à un modèle à accomplir des tâches même lorsqu’il n’observe jamais d’étiquettes d’action explicites pendant le préentraînement. L’entreprise décrit ce comportement appris comme une politique implicite. Plutôt que d’apprendre une étiquette pour chaque clic de souris, le modèle est censé apprendre des concepts de plus haut niveau sur ce qu’une personne fait sur un ordinateur.

Compression et représentation

L’architecture de Photon-1 repose sur un encodeur visuel utilisant la quantification scalaire finie, ou FSQ. Chaque image est compressée en 960 jetons discrets. Chaque jeton est un vecteur à 8 dimensions, et chaque dimension peut prendre l’une de cinq valeurs : −1, −1/2, 0, 1/2 ou 1. Cela produit un dictionnaire de codes comportant 5⁸ codes possibles.

La représentation obtenue est d’environ 2.2 KB par image. Induction Labs indique qu’elle offre une compression plus de 100× supérieure aux représentations OCR et de modèles multimodaux existantes, tout en préservant le texte, la mise en page et les changements d’état. Cette compression est centrale dans l’affirmation de l’entreprise, car le préentraînement vidéo est limité non seulement par la taille du modèle, mais aussi par le nombre de jetons d’image pouvant entrer dans un budget d’entraînement et une fenêtre de contexte pratiques.

Pour atteindre ce taux de compression, Photon-1 utilise un encodeur latent différentiel. Au lieu d’encoder chaque image uniquement comme une image autonome, il encode les images vidéo par paires, de sorte que les latents décrivent les différences entre les images plutôt que seulement le contenu des images.

Jeu de données et calcul de préentraînement

Le corpus d’entraînement a commencé par un index interne de 2 milliards de vidéos publiquement disponibles. Le filtrage a réduit cette collection à environ 2 millions d’enregistrements d’écrans d’ordinateur. Induction Labs a ensuite utilisé un modèle interne de détection d’images clés pour supprimer les images redondantes.

Le jeu de données final contenait 575 millions d’images échantillonnées à 1 image par seconde. Selon l’entreprise, cela correspond à 552 milliards de jetons, soit environ 18 années de vidéo. Photon-1 a été préentraîné à partir de zéro pendant une seule époque.

L’entraînement du modèle MoE 106B-A5B avec une longueur de contexte de 32K a nécessité environ 30,000 heures-GPU H200, soit 4.4×10²² FLOPs d’entraînement. L’équipe de recherche a mis en œuvre la pile d’entraînement dans PyTorch et utilisé des noyaux fusionnés personnalisés pour l’encodeur visuel et les couches MoE, en maintenant 40% de MFU de bout en bout. Les chiffres rapportés sont cohérents entre eux : 30,000 heures-H200 à 40% de MFU correspondent à environ 4.3×10²² FLOPs.

Passer de la prédiction à l’action

Après le préentraînement, Induction Labs a affiné Photon-1 sur moins de 35,000 trajectoires d’usage de l’ordinateur afin de lui enseigner le format des actions et des instructions. Des jetons spéciaux d’usage de l’ordinateur permettent au modèle d’émettre des actions. Pendant l’inférence, Photon-1 prédit d’abord l’état de l’image suivante, puis produit l’action nécessaire pour atteindre cet état.

L’entreprise applique ensuite un apprentissage par renforcement en ligne. Les déploiements d’essai s’exécutent en temps réel sur des machines virtuelles à grande échelle, et les résultats sont vérifiés par programme afin de générer une récompense. Les machines virtuelles Linux comprennent cinq environnements de bureau : LXQt, Xfce, MATE, GNOME et Plasma. Chaque VM dispose d’un compte Google pour les applications web nécessitant une connexion, ainsi que d’un clone interne de ChatGPT sans limites de débit. Cette configuration vise à tester un comportement en boucle fermée plutôt qu’une simple prédiction hors ligne, puisqu’un modèle d’usage de l’ordinateur doit se remettre de ses propres actions et fonctionner sur des interfaces changeantes.

Comparaison du calcul et des coûts

Induction Labs indique que ses comparaisons de calcul et de coûts sont pondérées selon un ratio de jetons d’entrée à jetons de sortie de 10:1, ce qui, selon l’entreprise, correspond à ses tests d’usage de l’ordinateur.

Deux réserves s’appliquent à ces chiffres. Premièrement, la comparaison avec Gemini est la propre estimation prudente d’Induction Labs, supposant 8B paramètres actifs et 25T jetons de préentraînement. Avec ces hypothèses, le ratio est d’environ 27× plutôt que le chiffre de 30× mis en avant. Induction Labs affirme « au moins 30× » parce qu’elle estime que le chiffre réel de Gemini est probablement plus élevé et que le modèle a probablement été distillé. Deuxièmement, le benchmark est interne et n’a pas été publié, de sorte que le résultat n’est pas reproductible de manière indépendante à ce stade.

Le coût d’équilibre propre à Photon-1 sur le matériel d’Induction Labs est indiqué à $0.06 par 1 million de jetons d’entrée et $0.60 par 1 million de jetons de sortie, sans décodage spéculatif.

Tests au-delà de la vidéo de bureau

Induction Labs a également évalué si Photon-1 pouvait se généraliser au-delà des vidéos d’usage d’ordinateur de bureau, le seul type de vidéo vu pendant le préentraînement. L’équipe de recherche a affiné le modèle sur des domaines absents du préentraînement et l’a comparé à deux bases de référence : une base fondée sur un encodeur visuel ayant la même architecture et la même taille, mais sans préentraînement par imagination, et une base LLM, Ling-flash-2.0 d’Inclusion AI, préentraînée sur 20T jetons.

Sur 20,000 parties de dames de tournoi issues de l’Open Checkers Archive 2.0, Photon-1 a surpassé les deux bases de référence en simulation du monde et en qualité des coups. Sur 10,000 parties de billard générées synthétiquement et simulées à 5 fps, Photon-1 a produit une erreur absolue moyenne de 0.47 par rapport au moteur physique de référence, contre 1.15 pour la base LLM et 1.44 pour la base fondée sur l’encodeur visuel. Ces tests ne remplacent pas une évaluation publique de l’usage de l’ordinateur, mais ils visent à vérifier si l’objectif de préentraînement a appris une dynamique d’état transférable plutôt que seulement des motifs visuels propres au bureau.

Induction Labs affirme également que Photon-1 a acquis des a priori humains à partir des vidéos de préentraînement. Après l’apprentissage par renforcement, le modèle a appris à utiliser le clone de ChatGPT dans la VM pour rédiger des artefacts et répondre à des questions de connaissance, en guidant le LLM d’une manière comparable à celle d’un utilisateur humain.

L’entreprise n’a pas publié les poids du modèle, d’API ni de licence pour Photon-1. Le résultat reste une démonstration de recherche plutôt qu’un modèle public déployable. Induction Labs a également publié un fil d’annonce sur X.