Nous Researchは、Qwen基盤モデルを後学習させた言語モデル「Arete-27B」を公開した。同社はこれを、中国語データで学習された基盤の上に西洋的な価値観を強化する取り組みとして説明している。目立つ成果は、モデルのプロパガンダ率が22%から1%に低下し、一般的な性能に大きな損失が見られなかったことである。

名称は意図的に選ばれた。「Arete」はギリシャ語でἀρετήと表記され、卓越性と徳という古典的な概念、すなわち物事の最高の潜在能力の完全な実現を指す。Nous Researchにとって、この名称は意向の表明をも兼ねている。

Nous Researchが実際に行ったこと

QwenはAlibabaのオープンウェイト言語モデルファミリーであり、オープンソースAIコミュニティでファインチューニングの基盤として広く利用されている。これらのモデルは高性能で自由に入手できるため、開発者にとって魅力的な出発点となっている。一方で、中国語データでの事前学習の過程で埋め込まれた測定可能な思想的傾向も抱えており、これが基盤モデルのプロパガンダ率22%という数値の由来である。

Nous Researchは、モデルの初期学習後に実施される教師ありファインチューニングと強化学習の工程を指す技術用語である「後学習(post-training)」を適用し、これらの傾向を調整した。同社はこのプロセスを「価値アライメント」と位置付けており、その具体的な方向性は明確である。すなわち、中国の国家ナラティブに一致する出力を減らし、西洋のリベラルな規範へと向かわせることである。

カスタムアプリケーション構築の際にQwenのチェックポイントを出発点とするオープンソースコミュニティの多くのチームにとって、この成果は直接関連するものである。事前学習から継承された思想的傾向は後学習の段階で対処でき、報告された数値によれば一般的な性能は維持されることを示している。

オープンソースAIの展望におけるNous Researchの位置づけ

同社は、オープンウェイトモデルシリーズ「Hermes」で最もよく知られており、より制限の厳しい商用の代替モデルと比較して、指示追従性の高さと拒否の少なさにより、オープンソースコミュニティで支持を築いてきた。Areteは同じ後学習のツールキットを異なる目的に適用したものであり、拒否の削減ではなく、モデル出力の思想的内容を誘導することを狙っている。

Nous Researchは、2025年4月に報道された約5,000万ドルのシリーズAを調達し、その後に報道された約9,000万ドルの追加資金調達ラウンドを実施した。同社は一貫してオープンウェイトの領域で活動しており、競合企業や独立系開発者が直接利用できるモデルを公開している。

「27B」という名称は、約270億パラメータのモデルに対する標準的な命名規則に従ったものであり、このサイズクラスはオープンソースコミュニティで広く採用されており、Qwenのチェックポイントがカスタムファインチューニングの出発点として頻繁に利用されている。これらのチェックポイントが広く流通していることを踏まえると、今後注目すべきは、このような価値アライメントのパイプラインが、中国語学習の基盤モデルを自らのオーディエンス向けに転用する他のチームに採用されるかどうかである。

出典：CryptoBriefing。本レポートは、Diego Almada Lopezが編集したオリジナルの報道に基づいている。