👑
👑

Open-Weight King

  • 123BパラメータでLlama 3.1 405Bに匹敵。

  • 軽量かつ高効率な推論能力を商用ライセンスで提供。

Slide 1 of 3Remaining 2

AIの覇権争いは、アメリカ(OpenAI, Google, Meta)だけのものではありません。 フランス・パリに拠点を置くMistral AIが、またしてもやってくれました。

「Mistral Large 2」 。 このモデルは、オープンウェイト(商用利用可能なライセンスで重みが公開されている)界隈において、MetaのLlamaシリーズに対する最も強力な対抗馬です。

なぜ Mistral Large 2 なのか?

一言で言えば 「高効率」 です。 パラメータ数は123B(1230億)。これはLlama 3.1の最大モデル(405B)の約4分の1のサイズです。 しかし、ベンチマークスコアではその405Bモデルと互角、あるいは特定のタスクでは上回る性能を見せています。

モデル パラメータ数 コンテキスト長 MMLU (知識) HumanEval (コード)
Mistral Large 2, 123B, 128k, 86.8%, 92.0%
Llama 3.1 405B, 405B, 128k, 88.6%, 89.0%
GPT-4o, Unknown, 128k, 88.7%, 90.2%
ℹ️
コーディング特化

特に注目すべきは HumanEval のスコアです。92.0%という数字は、現存するLLMの中でもトップクラス。コード生成において、Mistral Large 2は非常に信頼できるパートナーになります。

ローカルで動かす(vLLM)

123Bモデルなので、コンシューマー向けGPU 1枚(RTX 4090など)で動かすのは量子化しても厳しいですが、クラウドGPU(H100 1枚など)があれば爆速で動作します。

Run with vLLM
pip install vllm

# 4bit量子化モデルなら、メモリ48GB程度のGPUでも動作可能

vllm serve mistralai/Mistral-Large-Instruct-v2 \
 --quantization awq \
 --tensor-parallel-size 1

企業が自社のサーバ内に「GPT-4級の知能」を閉じ込めたい場合、コストパフォーマンスの観点からMistral Large 2は現状ベストな選択肢の一つと言えるでしょう。

日本語能力の検証

Mistral Small (Mixtral 8x7B) の頃は日本語が少し怪しかったですが、Large 2では完全に克服されています。 敬語の使い分け、日本特有の文化的文脈の理解もスムーズで、ビジネス文書の作成にも十分耐えうる品質です。

結論:賢い選択肢

「とにかく一番有名なものを」選ぶ時代は終わり、「用途に合わせて最適なサイズとコストのものを選ぶ」時代に入りました。

Mistral Large 2は、その 「ちょうどいい高性能」 を体現したモデルです。 API経由で使うもよし、AWS Bedrockで動かすもよし、自社サーバにデプロイするもよし。この柔軟こそが、オープンウェイトの真価です。

💡

技術者向け

Hugging Faceからのモデルダウンロード、量子化、vLLMによる高速推論サーバの構築まで。オンプレミスAI活用のすべてが詰まった技術書。