💡

この記事の要点

この記事の重要ポイント

  • 1

    Privacy First

  • 2

    Mac Studio (Unified Memory)：VRAMの壁を突破する唯一の解。192GBメモリなら、Llama 3 70Bの量子化モデルだけでなく、Mixtral 8x22Bも余裕で動く

  • 3

    Jetson Orin AGX：組み込みAIの最高峰。消費電力60Wで、常時稼働するエージェント（JARVIS）を作るならこれ

  • 4

    Ollama：コマンド一発でLLMが立ち上がる。API互換性があり、既存のLangChainアプリがそのまま動く

  • 5

    RAG (Retrieval Augmented Generation)：自分のNotionやObsidianを全検索し、回答を生成する。データは一歩も外に出ない

はじめに: クラウドAIの限界

💡
💡

Key Highlights

  • Privacy First

  • Mac Studio (Unified Memory)：VRAMの壁を突破する唯一の解。192GBメモリなら、Llama 3 70Bの量子化モデルだけでなく、Mixtral 8x22Bも余裕で動く

Slide 1 of 3Remaining 2

ChatGPTは便利ですが、社外秘のコードや、プライベートな日記を食わせることはできません。 検閲もあります。「爆弾の作り方」だけでなく、「過激なジョーク」すら拒否されます。

真の自由（Uncensored Model）を手に入れるには、ハードウェアを買うしかありません。

1. The VRAM King: Mac Studio (M3 Ultra)

NvidiaのGPU（RTX 4090）は強力ですが、VRAMが24GBしかありません。 これは70Bクラスのモデルを動かすには足りないのです。 Apple Siliconのユニファイドメモリ構造は、このボトルネックを破壊しました。

Apple Mac Studio (M2 Ultra)

Apple Mac Studio (M2 Ultra)

最大192GBのユニファイドメモリ。これはA100 80GB（数百万円）2枚分に相当するLLM推論能力を持つ。ファンノイズも聞こえないレベルで、デスクの上にこのモンスターを置ける時代。

Amazon楽天

Apple MLX Framework

PyTorchを経由せず、Apple Siliconに最適化された MLX フレームワークを使えば、推論速度はさらに加速します。 Pythonから直接Metal（GPU）を叩くため、オーバーヘッドがありません。

2. The Edge AI King: Nvidia Jetson Orin AGX

「24時間365日動かし続けたい」なら、Mac Studioは消費電力が気になります。 Jetson Orinは、ロボットの脳みそとして開発されたため、圧倒的なワットパフォーマンスを誇ります。

NVIDIA Jetson AGX Orin 開発者キット

NVIDIA Jetson AGX Orin 開発者キット

手のひらサイズで275 TOPSのAI処理能力。Ubuntuが動き、CUDAがネイティブで使える。消費電力は最大60W。自宅サーバー（Homelab）のAI担当としてラックに収まる。

Amazon楽天

3. Operations: Ollama & Open WebUI

黒い画面で推論する必要はありません。 Ollama をバックエンドで動かし、 Open WebUI (旧 Ollama WebUI) をフロントに置けば、見た目は完全にChatGPTです。

# Llama 3を起動
ollama run llama3:70b

これだけで、ローカルAPIサーバー（localhost:11434）が立ち上がります。 WindsurfやCursorのエンドポイントをここに書き換えれば、コーディングもオフラインで可能です。

Deep Dive: モデルサイズとVRAMの計算式

70Bクラスのモデルを動かすために必要なVRAM（ユニファイドメモリ）は、以下の簡易式で計算できます。

メモリ消費(GB) ≈ (パラメータ数 * 量子化ビット数 / 8) * 1.2 (オーバーヘッド)

例: Llama 3 70B を 4bit (Q4_K_M) で動かす場合
(70 * 4 / 8) * 1.2 = 42GB

Mac Studio (M2/M3 Ultra) で 128GB 以上のメモリを積んでおくべき理由はここにあります。コンテキスト長を拡大（128kトークンなど）すると、さらに 10GB〜20GB 程度の KV キャッシュが必要になるため、余裕を持った設計が重要です。

結論: 脳みそをレンタルするな

クラウドAIは「賃貸」です。家賃（サブスクリプション）を払い続ける限り使えますが、改造はできません。 ローカルLLMは「持ち家」です。 壁を塗り替え、増築し、あなた好みの最強のアシスタントを育てることができます。

初期投資は高いですが、自由への切符だと思えば安いものです。

関連記事

# llm # local-ai # mac-studio # jetson # ollama # 2026