The Silicon Brain 2026 | 自家用 AI 中心

💡

この記事の重要ポイント

30秒で読めます

1
Sovereign Intelligence
2
Privacy：上传到 ChatGPT 的数据，有被用于学习的可能性。如果要喂公司机密文档，或私人的日记，只能选本地环境 (Local LLM)
3
Mac Studio (M2/M3 Ultra)：能搭载最大 192GB 的统一内存。这意味这什么？意味着光靠 GPU 内存就能运行 70B (700 亿参数) 级的巨大 LLM。虽然推理速度不是爆速，但能处理的模型尺寸是不同数量级
4
NVIDIA GeForce RTX 4090：不仅是推理 (Inference)，如果也想学习 (Training/Fine-tuning) 的话就是 NVIDIA。CUDA 生态系统是绝对王者，最新的论文总是被写成如果在 NVIDIA 上动
5
Latency：因为不经过云端，所以响应是瞬间的。能以思考的速度对话

引言：智能的所有权

电，水，气。然后是“智能”。 AI 成了第 4 个基础设施。

但是，持续依赖 OpenAI 和 Google 是风险。如果他们说“违反策略”，你的脑就停止。在家里放服务器，跑开源 LLM (Llama 3 或 Mistral)。那是，数字时代的“武装”。

Apple Silicon，在 AI 业界掀起了革命。多亏了共享 VRAM (视频内存) 和主内存的“统一内存”，能以 100 万日元以下获得拥有 192GB VRAM 的机器。如果在 NVIDIA 做同样的事，需要 H100 (数百万日元)。

ASIN: B0C7J56P88

静音性很棒。即使跑着 70B 模型，也几乎听不到风扇的声音。电费也便宜。作为推理专用机世界性价比最强。

如果使用“LM Studio”或“Ollama”，一条命令本地 AI 就会启动。即使切断 Wi-Fi，你也能和全知全能的 AI 对话。

如果想自己培育 AI (Fine-tuning)，由于绿色巨人 (NVIDIA) 是必须的。依靠 CUDA 核心的暴力的计算能力，LoRA (追加学习) 几十分钟就结束。

ASIN: B0C82C1PWN

VRAM 是 24GB。虽然比 Mac 少，但速度是压倒性的。如果要运行图像生成 AI (Stable Diffusion)，比 Mac 快数倍。