W obliczu narastającego zainteresowania chińskimi modelami open-weight, dostawca sprzętu AI Nvidia wprowadził swój najnowszy model open source: Nemotron 3.5 Lightning. Opublikowany 11 sierpnia model został zaprojektowany tak, aby był na tyle mały, by przedsiębiorstwa mogły uruchamiać go na urządzeniach lokalnych, jednocześnie skupiając się na konkretnych zadaniach w ramach większych systemów wieloagentowych.

Nemotron 3.5 Lightning to model typu mixture-of-experts — architektura, która aktywuje jedynie podzbiór całkowitych parametrów modelu dla danego zapytania, co pozwala osiągnąć lepszą wydajność przy niższych kosztach wnioskowania niż porównywalnie wielki model gęsty. Jest w stanie wykonywać specjalistyczne funkcje, takie jak przegląd kodu, korzystanie z narzędzi, monitorowanie alertów bezpieczeństwa i odpowiadanie na pytania billingowe, poinformowała Nvidia. Firma udostępniła wagi modelu, kod, receptury i dane treningowe na licencji OpenMDW 1.1 Linux Foundation, co czyni go w pełni modelem open source.

Model jest częścią rodziny otwartych modeli Nemotron 3 firmy Nvidia, pierwotnie udostępnionej w grudniu ubiegłego roku. Posiada 30 miliardów parametrów — mniej niż Nemotron 3 Ultra (550 miliardów) i więcej niż Nemotron 3 Nano (8 miliardów) — i jest przeznaczony do wspierania przedsiębiorstw w tworzeniu aplikacji agentowych na urządzeniach lokalnych.

Razem z Nemotron 3.5 Lightning Nvidia wydała NeMo Switchyard — otwartą bibliotekę do routingu w popularnych aplikacjach agentowych. Przedsiębiorstwa mogą wykorzystać Switchyard do kierowania promptu lub żądania agentowego do najbardziej odpowiedniego modelu w ramach własnego zestawu modeli otwartych, własnościowych lub firmy Nvidia, podała firma. Narzędzia routingu modeli stały się coraz ważniejszym elementem stosów AI w przedsiębiorstwach, ponieważ organizacje wdrażają architektury wielomodelowe, przypisując różne zadania do różnych modeli w zależności od kosztów, opóźnień i wymagań dotyczących możliwości.

Oba wydania pojawiły się niecały miesiąc po tym, jak CEO Nvidii Jensen Huang ujawnił, że gigant sprzętowo-programowy AI dołączył do szerokiej koalicji dostawców technologii broniących otwartego oprogramowania, podczas gdy administracja Trumpa rozważała ograniczenia na modele open-weight z Chin. W poście na platformie X Huang stwierdził, że otwarte modele umożliwiają suwerenność oraz wzmacniają bezpieczeństwo i cyberbezpieczeństwo.

Nemotron 3.5 Lightning to pierwszy otwarty model Nvidii od czasu, gdy w ubiegłym miesiącu nasiliła się debata nad postępami chińskich modeli otwartych, po tym jak chińscy dostawcy AI Alibaba i Moonshot AI udostępnili tanie, wydajne modele open-weight. Premiera Nvidii ma miejsce również dzień po tym, jak gigant mediów społecznościowych Meta wydał swój najnowszy otwarty model.

„To dowód na to, jak duży wpływ miały i będą miały chińskie modele” — powiedział Bradley Shimmin, analityk Futurum Group. Dodał, że wielu uważa Alibaba Qwen 3.8 Max za „punkt odniesienia w zakresie lokalnie wydajnego otwartego programowania agentowego”.

Wsparcie infrastruktury Nvidii

Dla Nvidii dostarczanie modeli open source to nie tylko strategia konkurencyjna wobec chińskich dostawców, ale także sposób na wspieranie sprzedaży swoich chipów i sprzętu — uważa Arun Chandrasekaran, analityk firmy Gartner.

„Modele pomagają Nvidii lepiej sprzedawać swoją infrastrukturę” — powiedział Chandrasekaran. „Kiedy sprzedajesz model, musisz go gdzieś uruchomić. Uruchamianie modeli wymaga sieci, oprogramowania wnioskowania i trenowania danych”.

„Leży w interesie Nvidii, aby istniał żywy ekosystem modeli, i aby ekosystem ten nie był zbyt skoncentrowany” — kontynuował Chandrasekaran. Zaznaczył, że w większości przypadków przedsiębiorstwa korzystają z modeli Nvidii do konkretnych zadań, wdrożeń on-premises lub w scenariuszach, w których istotne są kwestie suwerenności.

Dzięki Nemotron 3.5 Lightning użytkownicy w przedsiębiorstwach mogą uruchamiać model na lokalnych systemach AI, w tym na komputerach RTX, DGX Spark i Jetson firmy Nvidia, podała firma. Nacisk na wdrożenia lokalne odzwierciedla szerszą zmianę w przedsiębiorstwach w kierunku on-premises infrastruktury AI, napędzaną przez przepisy dotyczące suwerenności danych, wymogi zgodności z zasadami prywatności oraz potrzebę kontrolowania bieżących kosztów operacyjnych.

Dane treningowe i rozmiar modelu

Decyzja Nvidii o udostępnieniu danych treningowych wraz z modelem jest godna pochwały — stwierdził Shimmin. „Jest niewielu dostawców, z wyjątkiem IBM, którzy promowali i podkreślali zdolność do powiedzenia: «jeśli rzeczywiście zależy ci na ekspozycji na ryzyko przy wdrażaniu AI, powinieneś dbać o dane treningowe użyte do budowy tych modeli»” — powiedział. „Wszystko zaczyna się od danych i szczerze mówiąc, wszystko kończy się też na danych”.

Rozmiar 30 miliardów parametrów modelu Nemotron 3.5 Lightning ilustruje, jak dostawcy tacy jak Nvidia zaczynają dostrzegać potrzebę „odpowiedniego skalowania” modeli — dodał Shimmin. Powiedział, że wielu dostawców zdaje sobie sprawę, iż obecne podejście polegające na korzystaniu z interfejsów API w celu uzyskiwania dostępu do modeli w modelu kosztu na token jest zbyt drogie, a praca z modelami lokalnie pomaga przedsiębiorstwom uzasadnić koszty generatywnej AI. Premiera odzwierciedla również szerszy trend branżowy, w którym dostawcy, w tym Meta, Mistral i Alibaba, wprowadzili mniejsze, zorientowane na zadania modele obok swoich systemów flagowych, uznając, że wiele przypadków użycia w przedsiębiorstwach nie wymaga możliwości na poziomie frontier.

„Tokenomika z biegiem czasu okazała się nieco ryzykowna dla firm zarówno pod względem braku zrozumienia wydatków na tokeny, jak i braku możliwości uzyskania obserwowalności lub przejrzystości tego, jak te wydatki przebiegają” — powiedział Shimmin.