NVIDIA hat seine Nemotron-3-Familie der KI-Modelle um Nemotron 3.5 Lightning erweitert – ein Open-Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Parametern, das speziell für AI-Agent-Workloads mit hohem Volumen entwickelt wurde.

Das neue Modell richtet sich an eine wachsende Klasse von AI-Anwendungen, die kontinuierlich arbeiten und Aufgaben wie Tool-Aufrufe, Datenverarbeitung, Softwareoperationen, Ergebnisvalidierung und Kommunikation zwischen verschiedenen AI-Systemen übernehmen. NVIDIA gibt an, dass Nemotron 3.5 Lightning bis zu viermal so schnell Ausgaben erzeugen kann wie vergleichbare Modelle seiner Klasse und dabei große Stapel agentenbasierter Aufgaben bei ähnlicher Genauigkeit bis zu 30 % schneller abschließt.

Die Ankündigung fügt NVIDIAS expandierender AI-Strategie eine weitere Dimension hinzu. Das Unternehmen konzentriert sich nicht mehr ausschließlich auf die Lieferung von Prozessoren für den Betrieb von AI-Systemen, sondern entwickelt zunehmend eigene Modelle, Software und Tools, die Unternehmen beim Aufbau und Einsatz von AI-Anwendungen auf NVIDIA-Hardware unterstützen. Damit positioniert sich NVIDIA nicht nur gegen Chiphersteller wie AMD und Intel, sondern auch gegen Modellanbieter wie Meta (Llama), Alibaba (Qwen), Mistral AI und Google (Gemma) im Open-Weight-AI-Markt.

NVIDIA zielt auf die nächste Phase der AI-Agenten ab

Das neueste Nemotron-Modell erscheint, als AI-Agenten zu einem Schwerpunkt der gesamten Technologiebranche werden. Traditionelle AI-Assistenten reagieren in der Regel auf einzelne Prompts, während ein Agent ein größeres Ziel in mehrere Aktionen aufteilen, externe Tools nutzen, Informationen abrufen, Befehle ausführen und Ergebnisse bewerten kann, bevor er fortfährt. Unternehmen wie OpenAI, Anthropic, Google und Microsoft haben alle signalisiert, dass agentenbasierte AI – also Systeme, die mit größerer Autonomie handeln – eine wichtige frontier darstellt.

Diese Systeme können eine sehr große Anzahl von Modellaufrufen erzeugen. Ein AI-Coding-Agent muss beispielsweise möglicherweise Dateien prüfen, Befehle ausführen, Fehler überprüfen, Code ändern und Tests wiederholt ausführen, bevor er eine einzige Aufgabe abschließt. Für jeden einzelnen Schritt ist möglicherweise nicht das leistungsstärkste verfügbare Reasoning-Modell erforderlich – stattdessen bevorzugen Entwickler möglicherweise ein kleineres Modell, das wiederkehrende Aufgaben schnell und effizient ausführen kann.

Genau diesen Markt zielt NVIDIA mit Nemotron 3.5 Lightning an. Das Unternehmen gibt an, dass das Modell für hochvolumige, latenzarme Ausführung optimiert ist, anstatt ausschließlich für die komplexesten Reasoning-Workloads verwendet zu werden.

Ein 30-Milliarden-Parameter-Modell mit 3 Milliarden aktiven Parametern

Ein wesentliches technisches Merkmal von Nemotron 3.5 Lightning ist seine Mixture-of-Experts-Architektur. Obwohl das Modell 30 Milliarden Parameter insgesamt enthält, gibt NVIDIA an, dass bei einem gegebenen Forward-Pass nur etwa 3 Milliarden Parameter aktiv sind. Dies ermöglicht es dem Modell, die Kapazität eines wesentlich größeren Systems beizubehalten und gleichzeitig den Rechenaufwand pro Token zu reduzieren. MoE-Architekturen haben in der gesamten Branche an Bedeutung gewonnen, wobei Modelle wie DeepSeek-V3, Mistral's Mixtral und xAI's Grok ähnliche Ansätze verfolgen, um Parameterzahlen zu skalieren, ohne den Inferenzaufwand proportional zu erhöhen.

In einem traditionellen dichten Modell ist im Wesentlichen der gesamte Parametersatz an der Verarbeitung jeder Eingabe beteiligt. Ein MoE-Modell funktioniert anders: Ein Routingsystem bestimmt, welche Experten einen bestimmten Token oder einen Teil einer Aufgabe bearbeiten sollen. Nur ausgewählte Experten werden aktiviert, was dem System ermöglicht, den Rechenaufwand zu reduzieren und gleichzeitig einen großen gesamten Parameterpool beizubehalten.

NVIDIA gibt an, dass dieses Design Nemotron 3.5 Lightning für hochvolumige Workloads geeignet macht, bei denen Geschwindigkeit und Effizienz entscheidend sind. Mit 30 Milliarden Parametern insgesamt und 3 Milliarden aktiven Parametern gehört es zu den kleineren Mitgliedern der breiteren Nemotron-3-Familie, behält jedoch Fähigkeiten bei, die für anspruchsvolle agentenbasierte Workflows vorgesehen sind.

Gebaut für Always-On-AI

Das Konzept der „Always-On-AI-Agenten" ist zentral für NVIDIAs Positionierung des neuen Modells. Das Unternehmen argumentiert, dass langlebige Agenten einen großen Teil ihrer Zeit mit relativ routinemäßigen Operationen verbringen statt mit komplexem Reasoning. Diese Operationen können Tool-Aufrufe, die Validierung von Ausgaben, die Formatierung von Informationen, das Abrufen von Dateien und die Delegation von Aufgaben an andere Modelle umfassen.

Für jede einzelne Operation ein großes Frontier-Reasoning-Modell auszuführen, könnte sowohl die Latenz als auch die Rechenkosten erhöhen. NVIDIAs Ansatz besteht darin, die Arbeitslast auf verschiedene Modelle aufzuteilen: Ein größeres Modell kann strategische Planung und komplexes Reasoning übernehmen, während Nemotron 3.5 Lightning sich um wiederkehrende Ausführungsschritte kümmert. NVIDIA beschreibt dies als ein „System von Modellen" anstatt als ein einzelnes Modell, das für jede Aufgabe verantwortlich ist.

Geschwindigkeit ist ein zentrales Merkmal

NVIDIA hebt die Inferenzgeschwindigkeit als eines der bestimmenden Merkmale von Nemotron 3.5 Lightning hervor. Das Unternehmen berichtet, dass das Modell auf PinchBench eine Genauigkeit von 86 % erreichte und dabei 10.000 Aufgaben 30 % schneller abschloss als Qwen3.6 35B bei ähnlicher Genauigkeit. NVIDIA berichtet außerdem, dass Nemotron 3.5 Lightning die Pareto-Frontier für Genauigkeit und Geschwindigkeit im Artificial Analysis Intelligence Index erreicht.

Diese Zahlen sind NVIDIAs eigene Ergebnisse und keine unabhängige Bestätigung. Dennoch spiegelt der Schwerpunkt auf Durchsatz die Richtung des AI-Marktes wider. Da AI in Produktionsumgebungen Einzug hält, interessieren sich Entwickler zunehmend dafür, wie schnell und effizient Modelle reale Workloads absolvieren können, anstatt nur zu betrachten, wie sie bei einzelnen Benchmark-Fragen abschneiden.

Warum Inferenzeffizienz wichtig ist

Das Training großer AI-Modelle zieht aufgrund des enormen Rechenbedarfs erhebliche Aufmerksamkeit auf sich, aber die Inferenz wird zu einem ebenso wichtigen Teil der AI-Wirtschaft. Branchenanalysten haben geschätzt, dass die Inferenz bereits einen signifikanten und wachsenden Anteil an den gesamten AI-Rechenausgaben ausmacht, da Modelle von der Entwicklung in den Live-Einsatz übergehen und Milliarden von Anfragen bedienen. Jedes Mal, wenn ein AI-System auf eine Anfrage reagiert, Code generiert, Informationen abruft oder eine automatisierte Aufgabe abschließt, werden Rechenressourcen verbraucht. Für einen kontinuierlich arbeitenden AI-Agenten können sich diese Kosten schnell ansammeln.

Ein Modell, das Antworten schneller erzeugt und dabei weniger aktive Parameter benötigt, kann möglicherweise die erforderliche Recheninfrastruktur für eine bestimmte Arbeitslast reduzieren. NVIDIAs neuestes Modell geht ein praktisches Problem an: Wie können autonome AI-Systeme kontinuierlich arbeiten, ohne jede einzelne Aufgabe unnötig teuer zu machen.

Anpassbarkeit und Open-Weight-AI

NVIDIA positioniert Nemotron 3.5 Lightning als anpassbares Modell. Entwickler erhalten die Modellgewichte, Trainingsdaten und Rezepte unter einer freizügigen OpenMDW-1.1-Lizenzstruktur, die es ihnen ermöglicht, das Modell für spezifische Anwendungen anzupassen. NVIDIA gibt an, dass das Modell über LoRA oder vollständiges überwachtes Fine-Tuning durch NVIDIAs NeMo-Tools feinabgestimmt werden kann, und Entwickler können außerdem Reinforcement Learning und umgebungsbasierte Bewertungen verwenden.

Die Veröffentlichung spiegelt NVIDIAs weiterhinem Vorstoß in den Open-Weight-AI-Bereich wider. Anstatt Entwickler zu zwingen, ausschließlich über eine proprietäre API auf ein Modell zuzugreifen, bieten Open-Weight-Modelle mehr Kontrolle über die Bereitstellung. Organisationen können Modelle auf ihrer eigenen Infrastruktur ausführen, sie für spezifische Anwendungsfälle anpassen und in bestehende AI-Systeme integrieren – ein Ansatz, der besonders für Unternehmen wichtig sein kann, die mit sensiblen Informationen umgehen. Dieser Ansatz steht im Einklang mit einem branchenweiten Trend: Metas Llama-Modelle, Alibabas Qwen-Serie, Mistral AIs Veröffentlichungen und Googles Gemma-Linie haben alle eine starke Nachfrage nach herunterladbaren, modifizierbaren AI-Modellen gezeigt.

Konzipiert für lokale und Rechenzentrumsbereitstellung

Laut NVIDIAs Modelldokumentation kann Nemotron 3.5 Lightning unter bestimmten Konfigurationen auf einem einzelnen DGX Spark-System oder einer H100 GPU ausgeführt werden. Es wird außerdem über NVIDIA Blackwell-Hardware und GPUs der Hopper-Generation unterstützt, wobei zusätzliche Bereitstellungsoptionen über unterstützte Inferenz-Frameworks verfügbar sind. Diese Flexibilität macht das Modell sowohl für Entwickler geeignet, die mit autonomen Agenten auf lokalen Systemen experimentieren, als auch für Unternehmen, die große Produktionsumgebungen betreiben.

Eine Hybridarchitektur

Nemotron 3.5 Lightning verlässt sich nicht ausschließlich auf eine herkömmliche Transformer-Architektur. NVIDIA beschreibt es als ein Hybridsystem, das Mamba-2, Mixture-of-Experts-Schichten und ausgewählte Attention-Schichten kombiniert. Die Architektur zielt darauf ab, Recheneffizienz mit der Fähigkeit auszubalancieren, komplexe Sequenzen zu verarbeiten. Mamba-basierte Komponenten können bestimmte Speicheranforderungen während der Sequenzverarbeitung reduzieren, während MoE-Schichten dem Modell ermöglichen, seine Gesamtparameterzahl zu skalieren, ohne alle Parameter für jeden Token zu aktivieren. Attention-Schichten bleiben wichtig für Aufgaben, die detaillierte Beziehungen zwischen Tokens erfordern. Die Verwendung von Mamba-2 ordnet Nemotron einer relativ kleinen Gruppe von Produktionsmodellen zu, die State-Space-Model-Techniken neben Transformers einsetzen – ein Ansatz, der von Unternehmen wie AI21 Labs und verschiedenen Forschungsgruppen erforscht wurde.

Kontextlänge erreicht bis zu 1 Million Tokens

NVIDIAs Modelldokumentation führt Unterstützung für Kontextlängen von bis zu 1 Million Tokens auf. Ein großes Kontextfenster kann für AI-Agenten nützlich sein, die umfangreiche Dokumente, Quellcode-Repositories, Logs oder lange Aufgabenverläufe verarbeiten müssen. Ein Agent, der an einem großen Softwareprojekt arbeitet, benötigt möglicherweise Zugriff auf viele Dateien und frühere Interaktionen. Ein längerer Kontext kann die Notwendigkeit verringern, Informationen wiederholt zusammenzufassen oder zu verwerfen. Damit liegt Nemotron 3.5 Lightning in einem ähnlichen Bereich wie Modelle wie Googles Gemini 1.5 Pro und Metas Llama 3.1, die ihre Kontextfenster ebenfalls auf Hunderttausende oder Millionen von Tokens erweitert haben.

Quelle: X-Beitrag

Nemotron 3.5 Lightning schließt sich einer wachsenden Familie an

Die neueste Veröffentlichung erweitert eine bereits breite Nemotron-3-Familie. NVIDIA hatte zuvor mehrere Modelle vorgestellt, die für unterschiedliche Ebenen von AI-Workloads entwickelt wurden, darunter kleinere Modelle für effiziente Ausführung und größere Systeme für komplexes Reasoning und Multi-Agent-Anwendungen. Die Strategie des Unternehmens basiert zunehmend auf Spezialisierung – anstatt anzunehmen, dass ein Modell jede Aufgabe übernehmen sollte, baut NVIDIA eine Sammlung von Modellen mit unterschiedlichen Stärken auf.

Nemotron 3.5 Lightning ist auf der Seite des hochvolumigen Ausführungsspektrums positioniert, was es potenziell ergänzend zu größeren Reasoning-Systemen machen könnte, anstatt ein direkter Ersatz zu sein.

NVIDIA führt Modell-Routing mit NeMo Switchyard ein

Zusammen mit dem neuen Modell bewirbt NVIDIA NeMo Switchyard, eine Bibliothek, die entwickelt wurde, um Aufgaben an verschiedene Modelle zu routen. Ein System kann bestimmen, ob eine bestimmte Aufgabe ein leistungsstarkes Reasoning-Modell erfordert oder ob ein kleineres, schnelleres Modell sie erledigen kann. Beispielsweise könnte eine komplizierte Planungsanfrage an ein Frontier-Reasoning-System gesendet werden, während wiederkehrende Ausführungsaufgaben an Nemotron 3.5 Lightning übergeben werden könnten. NVIDIA gibt an, dass Switchyard Entwicklern ermöglicht, Lightning neben offenen und geschlossenen Modellen bereitzustellen und einzelne Anfragen gemäß ihren Anforderungen zu routen.

Wenn dieser Modell-Routing-Ansatz weit verbreitet wird, könnten AI-Anwendungen zunehmend als Netzwerke spezialisierter Modelle operieren. Ähnliche Routing-Konzepte wurden von Plattformen wie OpenAIs Modellfamilie und verschiedenen Open-Source-Orchestrierungs-Frameworks erforscht.

Die Ökonomie der AI-Agenten

Die Ökonomie von AI-Agenten könnte zu einem der wichtigsten Themen in der nächsten Phase der Branche werden. Ein Chatbot reagiert möglicherweise einmal auf einen Nutzer, aber ein autonomer Agent kann Hunderte oder Tausende von Operationen ausführen, um ein einzelnes Ziel zu erreichen. Wenn ein Entwickler ein kleineres Modell für routinemäßige Ausführung verwenden und teure Reasoning-Modelle für schwierige Entscheidungen reservieren kann, könnten die Gesamtkosten eines AI-Systems potenziell sinken. NVIDIA setzt darauf, dass diese Arbeitsteilung zu einer Standardarchitektur für große agentenbasierte Systeme wird.

Programmierung ist ein wichtiger Anwendungsfall

Softwareentwicklung ist eines der Gebiete, in denen AI-Agenten bereits zunehmend aktiv werden. Coding-Agenten können Repositories inspizieren, Programme schreiben, Tests ausführen, Fehler identifizieren und Korrekturen vornehmen – Workflows, die wiederholte Interaktionen mit Tools beinhalten. Produkte wie GitHub Copilot, Cursor und Cognitions Devin haben die Nachfrage nach AI-gestützter Entwicklung demonstriert. NVIDIAs Dokumentation führt Coding und agentenbasierte Workloads unter den vorgesehenen Anwendungen des Modells auf, einschließlich Softwareentwicklung und Tool-Nutzungsszenarien. Das Unternehmen gibt außerdem an, dass das Modell mit Daten trainiert wurde, die Coding, Tool-Aufrufe, strukturierte Ausgaben und mehrstufige Workflows umfassen.

Unternehmensanwendungen könnten bedeutend sein

Unternehmen sind ebenfalls ein wichtiges Ziel für Nemotron 3.5 Lightning. Firmen experimentieren mit AI-Agenten für Kundensupport, interne Recherche, Dokumentenverarbeitung, IT-Operationen, Softwareentwicklung und Workflow-Automatisierung. Viele dieser Anwendungen beinhalten wiederkehrende Schritte: Ein Kundendienst-Agent kann Kontoinformationen abrufen, eine Anfrage validieren und Datensätze aktualisieren; ein IT-Agent kann Befehle ausführen und überprüfen, ob die angeforderte Änderung erfolgreich war. Diese Aufgaben erfordern nicht immer das tiefergehende Reasoning, aber sie erfordern Zuverlässigkeit und Geschwindigkeit.

NVIDIAS breitere AI-Strategie

Der Start demonstriert, wie NVIDIAs AI-Geschäft über GPUs hinauswächst. Das Unternehmen bleibt einer der weltweit wichtigsten Lieferanten für beschleunigte Computer-Hardware, aber seine Strategie umfasst zunehmend die Software- und Modell-Ebenen, die auf dieser Hardware aufbauen. Durch die Veröffentlichung offener Modelle und Entwicklungstools kann NVIDIA Entwickler dazu ermutigen, AI-Systeme zu bauen, die letztendlich auf NVIDIA-Infrastruktur laufen. Nemotron ist Teil einer breiteren Bemühung, NVIDIA als Full-Stack-AI-Plattform zu etablieren – im Wettbewerb nicht nur mit Hardware-Konkurrenten, sondern auch mit Cloud-Anbietern wie AWS und Google Cloud, die eigene AI-Software-Stacks anbieten.

Der Wettbewerb bei offenen AI-Modellen verschärft sich

NVIDIA betritt einen hochgradig wettbewerbsintensiven Open-Model-Markt. Entwickler haben Zugang zu Modellen von zahlreichen Technologieunternehmen und Forschungsorganisationen, darunter Metas Llama, Alibabas Qwen, Mistral AI, Googles Gemma und die Angebote des von Microsoft unterstützten OpenAI. Der Wettbewerb dreht sich nicht mehr nur um Parameterzahlen – Entwickler bewerten Modelle nach Inferenzgeschwindigkeit, Genauigkeit, Kontextlänge, Lizenzierung, Anpassbarkeit, Hardwareanforderungen und Tool-Nutzungsfähigkeiten. Ein Modell, das etwas weniger leistungsfähig, aber deutlich schneller ist, kann für einen Produktions-AI-Agenten nützlicher sein. Genau diesen Markt zielt Nemotron 3.5 Lightning an.

Leistungsbehauptungen benötigen unabhängige Evaluierung

NVIDIAs Behauptungen von bis zu viermal schnellerer Token-Generierung und 30 % schnellerer Fertigstellung sollten im Kontext betrachtet werden. Benchmark-Ergebnisse können je nach Hardware, Softwarekonfiguration, Batch-Größe, Sequenzlänge und konkurrierenden Modellen variieren. Unabhängige Entwickler und Forscher werden letztendlich ein umfassenderes Bild liefern, wenn das Modell über verschiedene Workloads hinweg eingesetzt wird. Die Veröffentlichung der Modellgewichte und -dokumentation sollte diese Tests erleichtern.

Was dies für NVIDIA-Anleger bedeutet

Für Anleger, die die NVDA-Aktie beobachten, ist der Start von Nemotron 3.5 Lightning unwahrscheinlich von derselben unmittelbaren finanziellen Bedeutung wie eine große GPU-Produktankündigung. Er veranschaulicht jedoch einen wichtigen strategischen Trend: NVIDIA versucht, seinen Technologie-Stack zunehmend ins Zentrum der AI-Entwicklung zu rücken. Wenn Entwickler NVIDIA-Modelle, Optimierungsbibliotheken und Hardware gemeinsam nutzen, kann das Unternehmen von mehreren Ebenen des AI-Ökosystems profitieren.

Coin Bureau und die breitere AI-Diskussion

Die Veröffentlichung hat auch in Technologie- und Krypto-Fokusierten Social-Media-Communitys Aufmerksamkeit erregt, einschließlich Diskussionen im Zusammenhang mit dem Coin Bureau-Konto. Die primären technischen Informationen in diesem Bericht stammen aus NVIDIAs eigener Ankündigung und Modelldokumentation. Die Leistungsbehauptungen werden NVIDIA zugeschrieben, anstatt als durch Coin Bureau unabhängig verifiziert dargestellt zu werden.

Was als Nächstes für Nemotron kommt

Der wichtigste Test für Nemotron 3.5 Lightning wird die reale Akzeptanz sein. Entwickler werden bestimmen, wie leicht sich das Modell in bestehende Agent-Frameworks integrieren lässt. Unternehmen werden seine Zuverlässigkeit und Anpassungsfähigkeit bewerten. Forscher werden seine Leistung mit anderen Open-Weight-Modellen vergleichen. Infrastrukturanbieter werden bestimmen, wie effizient es bei verschiedenen Skalierungen arbeiten kann.

Fazit

NVIDIA hat seine Nemotron-3-Familie um Nemotron 3.5 Lightning erweitert, ein Open-MoE-Modell mit 30 Milliarden Parametern und etwa 3 Milliarden aktiven Parametern, das für hochvolumige Ausführung in Always-On-AI-Agenten entwickelt wurde. NVIDIA gibt an, dass das Modell bis zu viermal so schnell Ausgaben erzeugen kann wie vergleichbare Modelle und 10.000 agentenbasierte Aufgaben 30 % schneller abschließen kann als ein genanntes Konkurrenzmodell bei ähnlicher Genauigkeit – Zahlen, die als herstellerseitig gemeldet zu betrachten sind und unabhängig evaluiert werden sollten.

Die Architektur des Modells kombiniert Mamba-2-, MoE- und Attention-Komponenten mit Unterstützung für Kontextlängen von bis zu 1 Million Tokens. NVIDIA veröffentlicht Gewichte und Trainingsressourcen unter einer OpenMDW-1.1-Lizenz, die es Entwicklern ermöglicht, das Modell mit NeMo-Tools feinabzustimmen und anzupassen.

Die breitere Bedeutung liegt im Fokus auf Effizienz. Da AI-Agenten autonomer werden und voraussichtlich Tausende einzelner Operationen ausführen, besteht NVIDIAs vorgeschlagene Lösung darin, die Arbeit aufzuteilen: Große Reasoning-Modelle übernehmen die komplexe Planung, während kleinere spezialisierte Modelle wie Nemotron 3.5 Lightning routinemäßige Aufgaben schnell ausführen. Diese Modell-Routing-Strategie, unterstützt durch NeMo Switchyard, könnte zu einem wichtigen Bestandteil der Unternehmens-AI-Architektur werden.