Reflection AIは10月5日、初のオープンウェイトモデル「Beam」のアーリーアクセスを開放した。同社の公式発表によると、このモデルは現在、リリース前に敵対的なテスターが安全性やセキュリティ上の欠陥を探る「レッドチーミング」の最終段階にあり、ウェイト、技術レポート、モデルカードは今月後半に公開される予定だ。

Reflectionによると、ウェイトはApache 2.0ライセンスで提供され、モデルの実行、評価、ファインチューニングに必要なフルスタックも併せて公開される。Apache 2.0は商用利用、改変、再配布を許可するパーミッシブなライセンスであり、オープンウェイト公開により開発者はパラメータをダウンロードし、自身のハードウェア上でモデルを実行できる。

推論計算量3〜4分の1でGLM-5.2に匹敵

Beamは総パラメータ数5,010億、トークンあたりアクティブパラメータ230億のスパースMixture-of-Expertsモデルだ。この種のアーキテクチャでは、トークンごとにモデルのパラメータの一部のみが活性化されるため、総パラメータ数に比べてトークンあたりの計算量が削減される。23.8兆トークンで事前学習され、ミッドトレーニング中にコンテキスト長は100万トークンに達した。

Reflectionは、BeamがZ.aiのGLM-5.2と高度な推論テストにおいて同等の性能を、「推論計算量3〜4分の1」で達成していると主張している。この主張は独自には検証されていないが、オープン公開により第三者評価が可能になる。GLM-5.2は約7,440億のパラメータを持ち、そのうち400億がアクティブだ。Reflectionは生の性能ではKimi K3がBeamを上回るとし、Beamの優位点推論効率として位置付けている。

7月にリリースされたThinking Machines LabのInklingとの比較では、Reflectionのベンチマーク表で、両モデルのスコアが公表された4つのコーディングベンチマークすべてでBeamが優位を示している。実際のソフトウェア開発性能を測定するSWE Bench Pro v2-Hardでは、Beamが77.2を記録し、Inklingの56.9を上回った。Inklingはマルチモーダルだが、Beamはテキストのみだ。

Nvidian GB300 GPU 10,500基による4週間の強化学習

Reflectionの強化学習ランは、Nvidian GB300 GPU 10,500基を4週間にわたり使用し、1億回を超えるロールアウトを生成、訓練と評価のために約13億個のサンドボックスを使用した。ロールアウトとは、タスクに対するモデルの完全な試行を指し、隔離されたサンドボックス環境内で実行・評価される。同社はこれを、オープンな研究所によるものとしては最大級の強化学習ランと説明している。Reflectionの集計では、Inklingは3,000万回のロールアウトで訓練された。

Reflectionは2024年、元Google DeepMindの研究者であるMisha Laskin氏とIoannis Antonoglou氏によって設立された。同社はNvidia、Sequoia Capital、Lightspeed Venture Partnersらの投資家から約47億ドルを調達しており、直近ではプレマネー評価額250億ドルとなっている。

1年前には、Cryptopolitanが報じたように、評価額80億ドルで20億ドルを調達した。SpaceXとの契約だけでも最大63億ドル規模で、メンフィス近郊のColossus 2におけるNvidian GB300容量として月額1億5000万ドルとなると、Cryptopolitanが6月に報じた。

Beamはまた、機関が自社のデータでモデルを訓練し、自社の計算資源で実行できるようにするReflectionの「AIファクトリー」提供を支えるものでもある。新興グループは韓国で sovereign edition の試験導入を進めている。

「これらはある種のロケットのようなものです」とLaskin氏は、自社モデルのフロンティアへの道のりについて語っている。「大きなロケットを作るには時間がかかります」