Według analizy Epoch AI z 29 maja otwarte modele AI od stycznia 2026 roku ustępują najlepszym zamkniętym modelom średnio o około cztery miesiące. Coraz więcej z nich działa jednak na sprzęcie, który wiele osób już posiada, a konfigurację obsługują dwa darmowe programy — Ollama i LM Studio: małe modele potrzebują około 8 GB VRAM lub ujednoliconej pamięci Maca, a LM Studio może działać całkowicie offline.

Największe otwarte modele, takie jak Qwen 3.8-Max od Alibaba o 2,4 biliona parametrów, wykraczają daleko poza możliwości sprzętu konsumenckiego, a w porównaniu przeprowadzonym samą firmą Alibaba modele zamknięte wygrały 24 z 31 testów. W codziennych zadaniach różnica zmalała jednak na tyle, że sprawny chatbot może działać wyłącznie na komputerze osobistym — bez subsrypcji kosztującej około 20 USD miesięcznie i bez wysyłania rozmów na serwery firmy.

„Open-weight” oznacza, że firma publikuje wagi — pliki zawierające wszystko, czego nauczył się model — dzięki czemu każdy może je pobrać i uruchomić. Pliki Gemma 4 w bibliotece Ollamy mają od około 4,6 GB do 20 GB. Ten przewodnik wyjaśnia, jak pobrać i uruchomić modele AI bezpośrednio na własnym komputerze, jaki sprzęt jest wymagany oraz jak zacząć korzystać z darmowych narzędzi, takich jak Ollama i LM Studio — niezależnie od tego, czy celem jest oszczędzanie pieniędzy, zachowanie prywatności rozmów, czy eksperymentowanie z modelami, które można samodzielnie dostosować.

Dlaczego uruchamiać model AI na własnej maszynie

Chatbot w chmurze wysyła każde zapytanie na serwery firmy, a sąd nakazał OpenAI zachowanie logów ChatGPT, w tym usuniętych, jak donosił Decrypt w przeglądzie narzędzi AI skupionych na prywatności. Model lokalny utrzymuje rozmowę na komputerze użytkownika, gdzie nikt nie może z niej skorzystać bez pozwolenia.

Dokumentacja LM Studio mówi, że aplikacja „może działać całkowicie offline, wystarczy najpierw pobrać jakieś pliki modeli”, a dokumenty dołączone do czatu również mogą być używane całkowicie offline.

Subskrypcje płatnych chatbotów kosztują około 20 USD miesięcznie, a opisane tutaj oprogramowanie jest darmowe; koszty przenoszą się za to na sprzęt, który użytkownik może już posiadać.

Licencje decydują o tym, co można zrobić z pobranymi wagami. Seria R1 firmy DeepSeek jest objęta licencją MIT, a karta modelu informuje, że modele „obsługują użycie komercyjne, dopuszczają dowolne modyfikacje i dzieła pochodne”, podczas gdy Gemma 4 od Google i gpt-oss od OpenAI są udostępniane na licencji Apache 2.0. Uruchamianie modeli na licencjach open-source, takich jak Apache czy MIT, oznacza, że użytkownik może swobodnie używać, modyfikować i robić z modelem, co chce — oraz korzystać z ulepszonych lub zmodyfikowanych wersji lepiej dopasowanych do swoich potrzeb. Kto na przykład potrzebuje modelu biegłego w medycynie, nie musi przejmować się tym, jak dobrze ten model programuje. Taki poziom personalizacji jest dostępny wyłącznie w modelach dostosowanych.

Co faktycznie uruchomi Twój sprzęt

Modele określa się liczbą parametrów — wewnętrznych wartości dostosowywanych podczas treningu — a rozmiar pobieranych plików rośnie wraz z nimi. Model musi zmieścić się w pamięci wideo karty graficznej, znanej jako VRAM, albo w ujednoliconej pamięci Maca, którą współdzielą procesor i układ graficzny.

Jako ogólną zasadę można przyjąć, że rozsądnym minimum jest 8 GB VRAM, a modele skompresowane do mniejszych rozmiarów się zmieszczą. Poważni użytkownicy powinni rozważyć kartę graficzną do gier z 24 GB VRAM lub więcej — bądź łącząc kilka GPU, bądź kupując dedykowane szafy AI lub maszyny z ujednoliconą pamięcią, takie jak Mac Mini czy Nvidia DGX Spark.

Kwantyzacja zmniejsza model, przechowując każdą wagę z użyciem mniejszej liczby bitów. Dokumentacja Hugging Face opisuje ją jako reprezentowanie wag i aktywacji „za pomocą niskoprecyzyjnych typów danych, takich jak 8-bitowe liczby całkowite (int8), zamiast zwykłych 32-bitowych liczb zmiennoprzecinkowych (float32)”, co zmniejsza zużycie pamięci kosztem części dokładności.

Wymagania systemowe LM Studio zalecają 16 GB pamięci RAM lub więcej na Macach z układem Apple Silicon działających pod kontrolą macOS 14 lub nowszego, choć Maki z 8 GB RAM poradzą sobie z mniejszymi modelami. Na Windowsie zalecane jest co najmniej 16 GB RAM i 4 GB dedykowanego VRAM, z obsługą instrukcji AVX2; Maki oparte na procesorach Intel nie są wspierane.

Biblioteka Ollamy podaje Gemma 4 26B w rozmiarze od 16 do 19 GB, a wersję 31B w rozmiarze od 19 do 20 GB. gpt-oss-20b od OpenAI potrzebuje jedynie 16 GB pamięci, a gpt-oss-120b mieści się w 80 GB — według OpenAI.

Jak skonfigurować Ollamę i LM Studio

Dla większości użytkowników wyborem domyślnym będzie zapewne LM Studio, ponieważ oferuje dopracowany graficzny interfejs użytkownika. Ollama z kolei jest skierowana do programistów i bardziej doświadczonych użytkowników, którzy wolą pracować w terminalu (CLI).

W przypadku LM Studio należy pobrać instalator dla swojego systemu operacyjnego ze strony lmstudio.ai, wyszukać model w aplikacji, pobrać jego wagi i otworzyć czat. Aplikacja przeszukuje Hugging Face — publiczne repozytorium, w którym publikowane są otwarte modele.

W przypadku Ollamy użytkownicy macOS i Linuxa instalują ją poleceniem curl -fsSL | sh, a użytkownicy Windowsa uruchamiają irm | iex w PowerShellu — oba polecenia są podane na stronie pobierania Ollamy.

Wpisanie ollama pull gemma4:e2b pobiera model, a ollama run gemma4:e2b otwiera czat; /bye kończy pracę — zgodnie z szybkim startem Ollamy. Program otwiera również lokalne API pod adresem dzięki czemu inne aplikacje na maszynie mogą korzystać z modelu.

Nazwy modeli kończące się na „:cloud”, na przykład gemma4:cloud, to modele chmurowe, które działają w chmurze Ollamy i nie wymagają pobierania — można je pominąć, jeśli chodzi o prywatność. Są jednak rozsądną opcją drugą dla tych, którzy potrzebują mocniejszych modeli: wywołania i zapytania obsługiwane przez API nie są przechowywane na serwerach dostawcy i nie są wykorzystywane do trenowania modeli.

Prędkość generowania można też poprawić lokalnie. Mechanizmy Multi-Token Prediction od Google dla Gemma 4, dostępne w Ollamie na licencji Apache 2.0, przyspieszają generowanie nawet 3x dzięki dekodowaniu spekulacyjnemu, w którym mały model proponuje z wyprzedzeniem kilka tokenów, a duży sprawdza je wszystkie naraz. Google stwierdziło, że „jeśli model docelowy zgadza się z projektem, akceptuje całą sekwencję w jednym przebiegu forward”, a model docelowy dodaje w tym samym przebiegu jeden dodatkowy token od siebie.

Modele lokalne mogą również zyskać dostęp do wyszukiwania w sieci i plików za pośrednictwem serwerów MCP — skrótu od Model Context Protocol — a LM Studio dodał wsparcie w wersji 0.3.17, według przewodnika Decrypta.

Gdzie modele lokalne nadal przegrywają z chmurą

Średnia czterech miesięcy opisuje najzdolniejsze modele otwarte, a największe wykraczają daleko poza sprzęt konsumencki. Qwen3.8-Max od Alibaba ma 2,4 biliona parametrów łącznie, z 95 miliardami aktywnymi w danym momencie, w porównaniu z 80 GB pamięci, w której mieści się gpt-oss-120b.

Gdy model przekracza pojemność VRAM i przelewa się do pamięci RAM systemu, odpowiedzi mogą znacząco zwolnić, a większe okna kontekstowe wymagają więcej pamięci. Małe modele Gemma 4 oferują okno kontekstowe 128K tokenów — ilość tekstu, którą model może objąć naraz — a większe 256K. Usługi chmurowe nie wymagają żadnego z tych planowania, a stojące za nimi graniczne modele nadal prowadzą w najtrudniejszych testach.

Praktyczny wybór to zatem kompromis między kontrolą a wygodą: narzędzia lokalne utrzymują rozmowy na komputerze i pozwalają użytkownikom wybierać kompatybilne lub dostosowane wagi, ale trzeba dopasować model do dostępnej pamięci i zaakceptować, że najzdolniejsze modele mogą wymagać usług chmurowych lub mocniejszego sprzętu. Dostęp do sieci nie jest też automatyczny, gdy model działa offline; wymaga serwera MCP lub innego podłączonego narzędzia.

Dla tych, którzy chcą korzystać z AI prywatnie, własny przegląd Decrypta rekomendował „xPrivo z samodzielnie hostowanym modelem lokalnym do codziennego pisania, które nie może opuścić Twojej maszyny”, oraz Kagi „gdy potrzebujesz wyszukiwania w sieci i akceptujesz kompromis związany z wywołaniami API”.