ローカルAIワークロード
Mac miniでローカルLLM：構成が足りるか判断する方法
単一のAIスコアではなく、モデルファイル、量子化、コンテキスト、同時実行、ランタイム、作業内容で判断します。
要点
最初に容量を計算します。モデルとコンテキストがユニファイドメモリに収まってから、帯域、GPU、ストレージ、持続運転を確認します。小型モデルにMac Studioは不要で、大型モデルは速いチップだけでは解決しません。
容量はハード条件
ユニファイドメモリにはモデル重み、KV Cache、システム、他のアプリが同時に入ります。パラメータ数だけでなく実ファイルと量子化を確認します。
速度は工程ごとに違う
収まった後の逐次生成は主に帯域、プロンプトの事前処理や画像処理はGPU、長時間負荷は冷却と電力にも左右されます。
AgentとRAGには余裕が必要
長いコンテキスト、ツール呼び出し、索引、複数セッション、IDE、ブラウザが同時にメモリを使うため、重みだけでぎりぎりにしません。
ローカルとクラウドを分ける
プライバシー、オフライン、遅延、継続費用が重要ならローカル性能を重視します。主にクラウドAPIならローカルの最大性能が体験を変えない場合があります。
モデルと作業から計算
モデル、量子化、コンテキスト、ランタイム、同時実行を入力して最低安全構成を確認します。