Epoch AIの5月29日の分析によると、オープンウェイトAIモデルは2026年1月以降、最良のクローズドモデルに平均4か月の遅れを取っている。しかし、その多くはすでに多くの人が所有するハードウェアで動作するようになり、OllamaとLM Studioという2つの無料プログラムがセットアップを担う。小規模モデルには約8GBのVRAMまたはMacのユニファイドメモリが必要で、LM Studioは完全にオフラインで動作できる。

Alibabaの2.4兆パラメータを持つQwen 3.8-Maxなど最大級のオープンモデルはコンシューマーハードウェアの範囲をはるかに超えており、Alibaba自身の比較ではクローズドモデルが31テスト中24で勝利した。ただし、日常的なタスクについては差が十分に縮まり、月約20ドルのサブスクリプション料金を払わず、会話を企業のサーバーに送ることなく、高性能なチャットボットをパソコン上で完全に実行できる。

「オープンウェイト」とは、企業がモデルが学習したすべてを保持するファイルである重み(ウェイト)を公開し、誰でもダウンロードして実行できることを意味する。OllamaのライブラリにあるGemma 4のダウンロードは約4.6GBから20GBの範囲だ。本ガイドでは、AIモデルをパソコン上で直接ダウンロードして実行する方法、必要なハードウェアの種類、OllamaやLM Studioといった無料ツールの使い方を解説する。目的がコスト削減であれ、会話のプライバシー保護であれ、自分でカスタマイズできるモデルの実験であれ、対応は可能だ。

なぜ自分のマシンでAIモデルを実行するのか

クラウドのチャットボットはすべてのプロンプトを企業のサーバーに送信する。Decryptがプライバシー重視のAIツールのレビューで報じたように、裁判所はOpenAIに対し、削除されたものを含むChatGPTのログの保存を命じた。ローカルモデルなら会話はユーザーのコンピュータ上に留まり、許可なく利用されることはない。

LM Studioのドキュメントによると、同アプリは「完全にオフラインで動作できる。ただし、最初にいくつかのモデルファイルを取得しておく必要がある」とされ、チャットに添付されたドキュメントも完全にオフラインで利用できる。

有料チャットボットのサブスクリプションは月約20ドルだが、ここで紹介するソフトウェアは無料だ。コストは、ユーザーがすでに所有している可能性のあるハードウェアに置き換わる。

ライセンスは、ダウンロードした重みで何ができるかを決める。DeepSeekのR1シリーズはMITライセンスの下で提供されており、そのモデルカードは「商用利用を支援し、いかなる改変や派生物の作成も許可する」としている。一方、GoogleのGemma 4とOpenAIのgpt-ossはApache 2.0の下で提供されている。ApacheやMITのようなオープンソースライセンスでモデルを実行するということは、モデルを自由に利用、改変し、好きなように扱えることを意味し、ニーズにより適合した改良版や改変版にアクセスすることもできる。例えば、医療に強いモデルが必要な人は、コーディングの性能は気にする必要がない。このレベルのカスタマイズは、カスタマイズされたモデルでのみ可能だ。

自分のハードウェアで実際に実行できるもの

モデルはパラメータ(学習中に調整される内部の数値)の規模で測られ、ダウンロードサイズもそれに応じて大きくなる。モデルはグラフィックカードのビデオメモリ(VRAM)、あるいはプロセッサとグラフィックチップが共有するMacのユニファイドメモリに収まる必要がある。

一般的な目安として、少なくとも8GBのVRAMが妥当な基準であり、より小さく圧縮されたモデルであれば収まる。本格的なユーザーは、複数のGPUを積むか、専用のAIラック、あるいはMac MiniやNvidia DGX Sparkのようなユニファイドメモリ搭載マシンを購入するなどして、24GB以上のVRAMを持つゲーミングGPUを検討すべきだ。

量子化は、各重みをより少ないビットで格納することでモデルを縮小する。Hugging Faceのドキュメントはこれを、重みと活性化を「通常の32ビット浮動小数点(float32)の代わりに8ビット整数(int8)などの低精度データ型」で表現することと説明しており、ある程度の精度と引き換えにメモリ使用量を削減する。

LM Studioのシステム要件は、macOS 14以降を搭載するApple Silicon Macでは16GB以上のRAMを推奨しているが、8GBのMacでも小規模なモデルは処理できる。Windowsでは16GB以上のRAM、4GBの専用VRAM、AVX2対応プロセッサを推奨しており、Intel製Macはサポートされていない。

Ollamaのライブラリでは、Gemma 4 26Bは16〜19GB、31B版は19〜20GBと記載されている。OpenAIによると、gpt-oss-20bはわずか16GBのメモリで動作し、gpt-oss-120bは80GB以内で実行できる。

OllamaとLM Studioのセットアップ方法

洗練されたグラフィカルユーザーインターフェースを提供している点で、LM Studioが多くのユーザーにとって第一の選択肢だろう。一方のOllamaは、ターミナル(CLI)内での作業を好む開発者や上級ユーザー向けだ。

LM Studioの場合、lmstudio.aiから自分のオペレーティングシステム用のインストーラーをダウンロードし、アプリ内でモデルを検索し、重みをダウンロードしてチャットを開く。アプリは、オープンモデルが公開される公開ハブであるHugging Faceを検索する。

Ollamaの場合、macOSとLinuxのユーザーはコマンド curl -fsSL | sh で、WindowsのユーザーはPowerShellで irm | iex を実行してインストールする。いずれもOllamaのダウンロードページに記載されている。

ollama pull gemma4:e2b と入力するとモデルがダウンロードされ、ollama run gemma4:e2b でチャットが開き、/bye で終了する。詳細はOllamaのクイックスタートを参照。このプログラムは にローカルAPIも開くため、マシン上の他のアプリもモデルを利用できる。

gemma4:cloudのように「:cloud」で終わるモデル名は、Ollamaのクラウドで実行されるクラウドモデルで、ダウンロードは不要だ。プライバシーが目的であれば、これらはスキップしてよい。ただし、より強力なモデルを必要とする人にとっては妥当な第二の選択肢だ。API経由で処理される呼び出しやプロンプトはプロバイダーのサーバーに保存されず、モデルの学習にも使用されない。

生成速度をローカルで向上させることもできる。Apache 2.0の下でOllamaから利用できるGoogleのGemma 4向けMulti-Token Predictionドラフターは、speculative decoding(推測デコーディング)を使用して生成を最大3倍高速化する。これは、小規模モデルが数トークン先を提案し、大規模モデルがそれらをまとめて検証する仕組みだ。Googleは「ターゲットモデルがドラフトに同意した場合、1回のフォワードパスでシーケンス全体を受け入れる」と説明し、ターゲットモデルは同じパスで自ら1つの追加トークンを出力するという。

ローカルモデルは、Model Context Protocolの略であるMCPサーバーを通じてウェブ検索やファイルアクセスも取得でき、Decryptのガイドによると、LM Studioはバージョン0.3.17でこのサポートを追加した。

ローカルモデルが依然としてクラウドに劣る点

4か月という平均は最も高性能なオープンモデルについての話であり、最大級のモデルはコンシューマーハードウェアの範囲をはるかに超えている。AlibabaのQwen3.8-Maxは合計2.4兆パラメータを持ち、常時アクティブなのは950億パラメータだ。これは、gpt-oss-120bが実行される80GBのメモリと比較される。

モデルがVRAMからシステムRAMにあふれると、応答がかなり遅くなる可能性があり、より大きなコンテキストウィンドウにはより多くのメモリが必要になる。Gemma 4の小規模モデルは128Kトークンのコンテキストウィンドウ(モデルが一度に考慮できるテキスト量)を提供し、大規模モデルは256Kを提供する。クラウドサービスはそのような計画を一切必要とせず、その背後にあるフロンティアモデルは依然として最も難しいテストでリードしている。

したがって、実務上の選択は制御と利便性のトレードオフとなる。ローカルツールは会話をコンピュータ上に保ち、互換性のある重みやカスタマイズされた重みを選択できる一方で、ユーザーはモデルを利用可能なメモリに適合させ、最も高性能なモデルにはクラウドサービスかより強力なハードウェアが必要になる場合があることを受け入れる必要がある。モデルがオフラインのとき、ウェブアクセスも自動的には得られない。MCPサーバーまたは別の接続ツールが必要だ。

AIをプライベートに利用したい場合、Decrypt自身のレビューは、「日常の下書きのためにマシンから出してはならない内容には、自己ホスト型ローカルモデルを備えたxPrivo」を、また「ウェブ検索が必要でAPI呼び出しのトレードオフを受け入れられる場合」はKagiを推奨していた。