SakanaAIが開発した「進化的モデルマージ」は、基盤モデル開発の自動化・高速化を実現する革新的技術です。複数のオープンソースAIモデルを進化的アルゴリズムで融合し、新たな高性能モデルを自動生成します。従来の基盤モデル開発で必要だった膨大なGPU・コスト・時間を大幅削減しました。
論文は「Nature Machine Intelligence」に掲載され、学術的価値が公式に認められています。
また、mergekitやOptuna HubなどのOSSフレームワークへの実装実績、後続研究「CycleQD」がICLR 2025採択されています。
弊社では
明確に「生成AIで〇〇をしたい！」は無いけど、何か生成AIを使って取り組みたい！
というご要望にお応えしております。
これまでお取引させていただいた企業様も、ご相談時にはやりたいことが決まっていなかったことが多くあります。
ご相談を受け、一緒に考えさせていただく中で、生成AIとどこが相性が良いのか、それを構築するためにはどのようなデータが必要なのかを「無料お問い合わせ」にてお受けしております。
まずは、「無料お問い合わせ」からお気軽にご連絡ください。
SakanaAIとは何か
SakanaAIは、自然界の原理を活用して基盤モデルを効率的に開発することを目指す、元Google研究者らが日本で創業したAIスタートアップです。
NTTのほか、NEA・Khosla Ventures・Lux Capital・ソニーグループ等が出資し、累計調達額は2億ドル超、企業価値は10億ドル超（ユニコーン企業）に達しています。
進化的モデルマージとは
進化的アルゴリズムを用いて、多様な能力を持つオープンソースの基盤モデルを自動的に融合し、高性能な新モデルを生み出す技術です。
従来のモデルマージが職人的な試行錯誤に依存していたのに対し、この手法はプロセスを完全に自動化。
モデルの訓練を行わず、比較的小規模な計算機とデータで新たな基盤モデルを作成できます。
まるで生物の進化のように、異なるモデルを「親」として掛け合わせ、優れた「子」モデルを選抜します。さらに子モデル同士を掛け合わせて「孫」を作るプロセスを、何百世代にもわたって自動的に繰り返します。
最終的に、膨大な組み合わせの中から最も高い性能を発揮するモデルが「進化的に」選ばれるのです。モデルの設計や選抜に人間の手を介さず、短時間で最適解に到達できるのが特徴です。
SakanaAIが実験的に構築した3つの日本語モデル
SakanaAIは進化的モデルマージを用いて、3つの高性能日本語モデルの開発に成功しました。いずれも基盤モデルの訓練なしに構築されており、
EvoLLM-JPとEvoVLM-JPはオープンソースとしてコミュニティに公開され、さらなる研究開発を可能にしています。
1. EvoLLM-JP：数学的推論が可能な日本語の大規模言語モデル
日本語LLMと英語の数学モデルをマージして構築。
パラメータ数7Bながら、同サイズモデルを上回るのみならず、70Bパラメータの日本語LLMの性能をも超える結果を達成しています。
マージ元はshisa-gamma-7b-v1・WizardMath-7B-V1.1・GAIR/Abel-7B-002で、Apache 2.0ライセンスのバージョンも公開されています。
【質問】 今年の立春は2月3日です。節分の日付の月と日を足し合わせると、いくつになりますか？
https://sakana.ai/evolutionary-model-merge-jp/
【回答】 節分は、立春の前日です。今年の立春は2月3日、なので節分は2月2日です。 日付を足し合わせると、2 + 2 = 4になります。
また、数学が関係しない通常の質問にも以下のように自然に回答することができます。
【質問】 日本の代表的な料理を1つ教えてください。
https://sakana.ai/evolutionary-model-merge-jp/
【回答】 日本の代表的な料理は「寿司」です。 寿司は、日本の伝統的な料理で、米を使用し、様々な具材を乗せます。 寿司は、世界中で人気があり、日本の料理を代表しています。
【質問】 関西弁で面白い冗談を言ってみて下さい。
https://sakana.ai/evolutionary-model-merge-jp/
【回答】 あ、聞いてくれよ！ 昨日、僕は飲んだ後、酔っ払って、電信柱にぶつかったんや。 その瞬間、僕の意識は飛んでいき、次に気が付いた時、僕は病院のベッドに寝ていたんや。 その時、僕は思ったんや。「これは神様の仕業や。僕は飲んだ後、酔っ払って、電信柱にぶつかったんや。」 そしたら、医者が来て、僕に言ったんや。「あなたは、飲んだ後、酔っ払って、電信柱にぶつかったんですね。」 僕は、「あ、聞いてくれよ！ 僕は、飲んだ後、酔っ払って、電信柱にぶつかったんや。」 医者は、「それは、神様の仕業ですか？」 僕は、「いや、そんなことは思っていませんでした。」 そしたら、医者は、「それは良かった。神様の仕業だと、保険がきかないんです。」 その瞬間、僕は思ったんや。「この医者は、面白いやつだ。」
2. EvoVLM-JP：日本語で対話可能な画像言語モデル
英語VLM（LLaVA-1.6-Mistral-7B）と日本語LLM（shisa-gamma-7b-v1）をマージして構築した視覚言語モデル。
異なるアーキテクチャのモデル同士をマージできる点が特徴で、画像に対して日本語で質問・回答が可能です。
日本文化に特化したコンテンツの説明でも従来の日本語VLMを上回る性能を発揮します。
3. EvoSDXL-JP：高速な日本語画像生成モデル
わずか4ステップの推論で高品質な画像を生成できる日本語画像生成モデル。
Stability AIが開発した日本特化モデル「Japanese Stable Diffusion XL（JSDXL）」をコアに、複数のSDXLモデルをマージし、推論ステップを短縮化したSDXL-LightningをLoRAとして追加した構成です。
GitHubで公開済み。
EvoLLM-JPとEvoVLM-JPは、GitHubで一般公開されています。
基盤モデル開発の新たなパラダイムへ
進化的モデルマージは、勾配ベースの訓練を一切必要とせず、従来の高コストな基盤モデル開発のパラダイムに挑戦する手法です。
膨大な計算資源と電力を消費するスケーリング則とは対照的に、少ないリソースで高性能モデルを得る道筋を示しており、エネルギー安全保障の観点からも注目されています。
SakanaAIの今後の展望
SakanaAIはNEDO/GENIACの支援のもと、大規模GPUスパコンを活用した研究開発を継続しています。
進化的モデルマージの後続研究「CycleQD」はICLR 2025に採択されており、技術の発展は着実に続いています。
CEOデイビッド・ハとCTOライオン・ジョーンズは、カスタマイズされた群知能型AIが民主化され、誰もが安価に使えるようになる未来を見据えています。
SakanaAIについてさらに知りたい方は以下の公式サイトをご覧ください。
https://sakana.ai/
最後に
いかがだったでしょうか？
弊社では
明確に「生成AIで〇〇をしたい！」は無いけど、何か生成AIを使って取り組みたい！
というご要望にお応えしております。
これまでお取引させていただいた企業様も、ご相談時にはやりたいことが決まっていなかったことが多くあります。
ご相談を受け、一緒に考えさせていただく中で、生成AIとどこが相性が良いのか、それを構築するためにはどのようなデータが必要なのかを「無料お問い合わせ」にてお受けしております。
まずは、「無料お問い合わせ」からご相談を承っておりますので、お気軽にご連絡ください。