SakanaAIが実現する基盤モデル開発の自動化と高速化 – 進化的モデルマージ技術とは!?

2024年3月21日2024年3月22日

SakanaAIが開発した「進化的モデルマージ」は、AI分野に革新をもたらす可能性を秘めた画期的な技術です。この記事では、多様な能力を持つオープンソースのAIモデルを生物の進化のように掛け合わせて新たな高性能モデルを自動生成する「進化的モデルマージ」について詳しく解説します。この手法は、従来の基盤モデル開発に必要だった膨大な時間とコストを大幅に削減できるとして注目を集めています。実験では数学や画像言語理解、画像生成といった日本語AIモデルで高い性能を達成し、わずか数ステップの推論で高品質の画像生成を可能にするモデルの開発にも成功しています。NTTなどが出資する日本発のAIスタートアップであるSakanaAIが切り拓く、基盤モデル開発の新時代について、ぜひご一読ください。

弊社では

明確に「生成AIで〇〇をしたい！」は無いけど、何か生成AIを使って取り組みたい！

というご要望にお応えしております。

これまでお取引させていただいた企業様も、ご相談時にはやりたいことが決まっていなかったことが多くあります。

ご相談を受け、一緒に考えさせていただく中で、生成AIとどこが相性が良いのか、それを構築するためにはどのようなデータが必要なのかを「無料お問い合わせ」にてお受けしております。

まずは、「無料お問い合わせ」からお気軽にご連絡ください。

　➡︎無料で生成AIツールの開発について相談をしてみる。

SakanaAIとは何か

SakanaAIは、元Google研究者らが2023年に日本で創業した注目のAIスタートアップです。自然界の原理を活用して基盤モデルを効率的に開発することを目指しています。

Introducing Evolutionary Model Merge: A new approach bringing us closer to automating foundation model development. We use evolution to find great ways of combining open-source models, building new powerful foundation models with user-specified abilities!https://t.co/G0EyM7pztr pic.twitter.com/msOokvqGbR
— Sakana AI (@SakanaAILabs) March 21, 2024

NTTなどの大手企業から出資を受け、世界のAI業界から注目を集めているSakanaAIが、このたび「進化的モデルマージ」という画期的な技術を発表しました。

進化的モデルマージとは

進化的モデルマージとは、多様な能力を持つ複数のオープンソースモデルを組み合わせて、新たな高性能モデルを自動的に生成する技術です。

引用：https://sakana.ai/evolutionary-model-merge-jp/

まるで生物の進化のように、異なるモデルを「親」として掛け合わせ、優れた「子」モデルを選抜します。さらに子モデル同士を掛け合わせて「孫」を作るプロセスを、何百世代にもわたって自動的に繰り返します。

最終的に、膨大な組み合わせの中から最も高い性能を発揮するモデルが「進化的に」選ばれるのです。モデルの設計や選抜に人間の手を介さず、短時間で最適解に到達できるのが特徴です。

SakanaAIが実験的に構築した3つの日本語モデル

SakanaAIは進化的モデルマージにより、以下の高性能な日本語モデルの開発に成功しました。

1. EvoLLM-JP：数学的推論が可能な日本語の大規模言語モデル

日本語LLMと英語の数学モデルをマージ。数学だけでなく日本語の汎用タスクでも70B規模の大規模モデルに匹敵する性能を7Bで実現。

【質問】今年の立春は2月3日です。節分の日付の月と日を足し合わせると、いくつになりますか？
【回答】節分は、立春の前日です。今年の立春は2月3日、なので節分は2月2日です。日付を足し合わせると、2 + 2 = 4になります。
https://sakana.ai/evolutionary-model-merge-jp/

また、数学が関係しない通常の質問にも以下のように自然に回答することができます。

【質問】日本の代表的な料理を1つ教えてください。
【回答】日本の代表的な料理は「寿司」です。寿司は、日本の伝統的な料理で、米を使用し、様々な具材を乗せます。寿司は、世界中で人気があり、日本の料理を代表しています。
https://sakana.ai/evolutionary-model-merge-jp/

【質問】関西弁で面白い冗談を言ってみて下さい。
【回答】あ、聞いてくれよ！昨日、僕は飲んだ後、酔っ払って、電信柱にぶつかったんや。その瞬間、僕の意識は飛んでいき、次に気が付いた時、僕は病院のベッドに寝ていたんや。その時、僕は思ったんや。「これは神様の仕業や。僕は飲んだ後、酔っ払って、電信柱にぶつかったんや。」そしたら、医者が来て、僕に言ったんや。「あなたは、飲んだ後、酔っ払って、電信柱にぶつかったんですね。」僕は、「あ、聞いてくれよ！僕は、飲んだ後、酔っ払って、電信柱にぶつかったんや。」医者は、「それは、神様の仕業ですか？」僕は、「いや、そんなことは思っていませんでした。」そしたら、医者は、「それは良かった。神様の仕業だと、保険がきかないんです。」その瞬間、僕は思ったんや。「この医者は、面白いやつだ。」
https://sakana.ai/evolutionary-model-merge-jp/