NotizieMacroBlack Forest Labs rilascia il modello multimodale FLUX 3 per immagini, video, audio e previsione di azioni robotiche

Black Forest Labs rilascia il modello multimodale FLUX 3 per immagini, video, audio e previsione di azioni robotiche

Autore: MarkTechPost·

Punti chiave

  • FLUX 3 è progettato per apprendere da immagini, video e audio usando un’unica architettura a pesi condivisi.
  • Il modello si basa sul metodo Self-Flow di BFL, con il principale cambiamento identificato dall’azienda nell’aumento della scala di calcolo e dei dati.
  • FLUX 3 Video supporta modalità text-to-video, image-to-video, video-to-video, keyframe-to-video e continuazione video-audio.
  • BFL ha riportato risultati preliminari sulle preferenze umane che mostrano FLUX 3 davanti a diversi modelli video concorrenti, anche se alcuni confronti sono risultati ravvicinati.
  • L’accesso rimane controllato, con Video e Action in early access e pesi aperti previsti in una fase successiva.
Black Forest Labs rilascia il modello multimodale FLUX 3 per immagini, video, audio e previsione di azioni robotiche

Black Forest Labs (BFL) ha rilasciato FLUX 3, un modello fondazionale multimodale progettato per apprendere da immagini, video e audio all’interno di un’unica architettura. L’azienda lo descrive come il primo modello FLUX in grado di fornire previsione di video, audio e azioni da un unico insieme condiviso di pesi.

Il team di ricerca di BFL afferma che il modello si basa sull’idea che nessuna singola modalità fornisca una descrizione completa del mondo. Le immagini catturano la struttura spaziale in un singolo momento, il video aggiunge il tempo e le dinamiche fisiche, mentre l’audio può rivelare relazioni causali tra eventi meccanici e suono. Nella formulazione di BFL, ogni modalità è una proiezione con perdita della stessa realtà sottostante.

Addestrando il modello contemporaneamente su queste modalità, BFL sostiene che le diverse fonti di dati si vincolino a vicenda: il suono deve corrispondere all’impatto e il movimento deve essere coerente con la massa. Il team di ricerca definisce FLUX 3 il suo primo modello costruito interamente attorno a questo principio; il design a pesi condivisi rende inoltre il rilascio rilevante oltre la generazione di contenuti multimediali, poiché BFL sta applicando la stessa backbone alla previsione di azioni robotiche.

Self-Flow come metodo sottostante

FLUX 3 si basa su Self-Flow, il metodo di BFL per allineare generazione e comprensione multimodale in un’unica architettura. Self-Flow combina un obiettivo di flow matching con un obiettivo di ricostruzione delle caratteristiche auto-supervisionato.

L’implementazione di riferimento su GitHub è rilasciata con licenza Apache-2.0 e utilizza SiT-XL/2 con condizionamento del timestep per token. L’addestramento usa un rapporto di mascheramento per token del 25% e impiega auto-distillazione da un teacher EMA al livello 20 a uno student al livello 8.

Quel checkpoint rilasciato è un modello di ricerca ImageNet 256×256, non FLUX 3. BFL afferma di aver “aumentato in modo significativo le risorse di calcolo e dati” usando lo stesso approccio per addestrare FLUX 3 simultaneamente su video, immagini e audio. Self-Flow è stato introdotto a marzo 2026, quindi il metodo in sé non è nuovo per questo rilascio; BFL individua nella scala il nuovo elemento.

Capacità di FLUX 3 Video

FLUX 3 Video può generare clip lunghe fino a 20 secondi in una singola generazione e include audio nativo. Le modalità supportate includono text-to-video, image-to-video, video-to-video da una clip di riferimento, keyframe-to-video per transizioni controllate e continuazione generativa video-audio a partire da video e audio in input.

BFL elenca inoltre tra le capacità del sistema dialogo multilingue, concatenamento agentico di clip in sequenze multi-shot e una forte generazione tipografica con design animati. Il team segnala una particolare efficacia nella generazione di espressioni facciali umane e nell’associazione dei suoni con eventi fisici, due aree in cui la coerenza temporale e l’allineamento audio-video sono centrali per la percezione delle clip generate da parte degli utenti.

Secondo BFL, la previsione video rappresenta oltre il 95% del calcolo di addestramento, mentre l’audio costituisce meno dello 0.5% dei token. L’azienda afferma inoltre che la stessa backbone alimenta FLUX-mimic, una policy robotica che funziona in meno di 80 ms su una RTX 5090.

Risultati preliminari sulle prestazioni

BFL ha pubblicato risultati preliminari sulle preferenze umane utilizzando clip text-to-video di 10 secondi a 720p con audio. In questi confronti, FLUX 3 è stato preferito a Luma Ray 3.2 nel 93% dei casi e a Runway Gen-4.5 nel 77%.

Rispetto a Grok Imagine Video, BFL ha riportato un tasso di preferenza fino al 69%. Le cifre dichiarate sono state del 60% contro Kling v3 Pro, del 59% contro Happy Horse v1 e del 57% contro Happy Horse 1.1. Rispetto a Seedance 2.0 e Gemini Omni Flash, il risultato riportato è stato del 52%, che la fonte ha descritto come vicino a un lancio di moneta.

L’accesso rimane controllato. BFL afferma che Video e Action sono in early access, l’accesso a Image seguirà e i pesi aperti arriveranno per ultimi. Questo rilascio graduale significa che la valutazione esterna dipenderà da quando saranno disponibili un accesso più ampio, i dettagli del modello e i pesi.

BFL ha pubblicato materiali aggiuntivi tramite l’annuncio di FLUX 3, il post tecnico FLUX 3 x mimic e il paper Self-Flow.