FreeTokenは本当に速い？【128GBと2GPUの実測でわかった境界線】

まず単体の実力から。35B級は約100 tok/sで、体感は「一瞬で書き終わる」速さ。120B級でも20 tok/s台と、人が読む速度を上回ります。そしてこの120B級こそが「128GBが人権ライン」と言われる理由でした。メインメモリを82GiB使うため、64GB機では起動すらできません。

一方で284B級はアプリの公式判定で「Insufficient RAM」。128GBでも、あと20GiB足りません。「メモリはあればあるだけ強い」を、これほど具体的な数字で突きつけられるソフトは初めてです。

なお速度は容量だけでなくメモリの帯域（速さ）にも依存します。うちは4枚挿しのため3600MT/s動作（付属の帯域テストで実測44.5GB/s）で、X上のDDR5-128GB構成の報告（120B級で30 tok/s、GPU不明）よりやや遅いのは、このハンデ込みで妥当な位置と見ています。高クロックの2枚構成なら、もう少し伸びる余地があるはずです。

X上で「llama.cppより2倍速い」「いや、うちのllama.cppのほうが速い」と議論になっていましたが、両方とも正しいというのが実測の答えです。VRAM32GB（16GB×2枚）に丸ごと載る35B級では、全部をGPUで回せるLM Studioが1.5倍速い。VRAMに載らない120B級では、FreeTokenが約4倍速い。

ただし35B級の敗因は「2枚目のGPU」でした。1GPUどうしに条件を揃えるとFreeTokenが4.6倍速い——エンジン性能そのものはFreeTokenが上で、LM Studioの150 tok/sは2枚目のGPUによる勝利です。まとめるとこうなります:16GB1枚ならFreeToken、VRAM合計に載る規模ならllama.cpp系、載らない規模なら常にFreeToken。

おまけの実用差として、FreeTokenはコンテキスト長262,144が既定で、8千字の文書もそのまま投げられました。LM Studioは既定4096のままだと即エラーになり、設定変更と再ロードが必要です（初心者がつまずくポイント）。

今回いちばん予想外だったのがこれです。同一モデル・同一設定・定格Power Limitで、新しいRTX 5080（70〜74 tok/s）が、RTX 4080 SUPER（95〜104 tok/s）より約3割遅いという世代逆転が起きました。

原因の切り分けもしました。生成中のクロックは5080がフルブースト（2872MHz）、温度47℃、スロットリング全項目なし、それでも遅い。つまり熱・電力・クロックはすべてシロ。残る容疑はFreeTokenのNVFP4カーネルがBlackwell世代（SM120）に未最適化であること。5080だけ初回の応答に49秒かかる（コンパイルが走る挙動）ことも傍証です。50シリーズで試して「思ったより遅い」と感じた人は、カードではなくソフトの成熟待ちの可能性が高いです。

① `ft bench bw`（帯域測定コマンド）は使い分けが必要。実行すると設定が自動で「hybrid」化され、120B級は+20%速くなる一方、35B級は半減しました（104→57 tok/s）。大型モデル常用なら実行、35B級常用なら実行しない（または設定でoffloadを明示）が正解です。

② 同時利用に弱い。120B級で2並列にすると各8.3 tok/s、合算16.6と、1人のとき（20.2）より合計まで下がりました。1人で使う道具です。

③ マルチGPUは現状非対応。2枚挿していても使うのは常に1枚（うちでは自動で4080 SUPER側）。どちらを使うかの指定は可能ですが、番号指定は罠が多く、GPUのUUID指定が確実でした。

④ Power Limit 50%でも速度が落ちない。4080 SUPERをPL50%（160W）に絞っても35B級は104 tok/sのまま——定格（190W前後）と同速度を約2割少ないGPU電力で出せました。MoEオフロード動作はGPU電力律速ではない証拠で、電気代の記事で書いた「絞って回す」運用がここでも有効です。

※壁コンセントの消費電力・電気代の実測は現在測定中で、結果が出しだいこの記事に追記します（未測定の数字は書かない方針のため）。