Kimi K3を完全解剖
2.8兆パラメータのオープンウェイトは何がすごいのか
2026年7月27日、Moonshot AIがKimi K3の重み(オープンウェイト)を公開しました。 総パラメータ2.8兆(2.8T)は、公開重みモデルとして史上最大です。 「ほぼフロンティア級の性能を、誰でも重みごと手元に置ける」時代の号砲と評されています。 この記事では、盛られがちなスペックを一次情報に当たって分解し、何が新しくて、なぜ回せるのかを出典付きで解剖します。
数字で見るKimi K3
| 項目 | 値 |
|---|---|
| 総パラメータ | 2.8兆(2.8T)— 公開重み史上最大 |
| 活性パラメータ / トークン | 約50B相当(896エキスパート中16個を発火)※出典に幅あり |
| コンテキスト長 | 1,048,576トークン(約100万) |
| 入力 | テキスト+画像+動画(ネイティブ・マルチモーダル) |
| 量子化 | 重みMXFP4(4bit) / 活性MXFP8(8bit)、SFT段階からのQAT |
| 重み容量 | 約1.4TB(FP16なら約5.6TB) |
| ライセンス | オープンウェイト(商用可)。訓練データ・訓練コードは非公開 |
3つのアーキテクチャ革新
K3が前世代K2から約2.5倍のスケーリング効率を叩き出した中身は、主に3つの新機構に集約されます。
- Kimi Delta Attention(KDA) — ハイブリッド線形アテンション。 100万トークンの長文脈でデコードが約6.3倍高速になり、長いコードベースをまるごと渡す使い方が「経済的に」成立します。長文処理コストの核。
- Attention Residuals(AttnRes) — 各層が任意の過去層の表現を選択的に引っ張れる残差機構。 層が深くなっても情報の流れが痩せにくくなり、深さ方向の学習を安定させます。
- Stable LatentMoE — 896エキスパート中16個を潜在空間でルーティングするMoE基盤。
Quantile Balancing(負荷の偏りを抑える)とPer-Head Muon(ヘッドごとの適応学習)で、 大規模MoEにありがちなルーティング崩壊を抑え込みます。
要するに、長文脈を安くする(KDA)・深さの情報流を保つ(AttnRes)・2.8兆規模のMoEを安定させる(LatentMoE)の三点セット。 これが「巨大だが実用的に回る」を成立させています。
なぜ「自前で回せる」のか — MXFP4量子化
2.8兆パラメータをFP16で持つと約5.6TBですが、K3は重みをMXFP4(4bit)・活性をMXFP8(8bit)で扱い、 しかも後付けの量子化ではなくSFT段階からの量子化学習(QAT)で仕上げています。 「学習時から4bit前提」なので、量子化による精度劣化が小さいのが肝です。
- 重み容量は約1.4TBまで圧縮(FP16比で約1/4)。
- MXFP4/MXFP8はNVIDIA Blackwell・AMD MI400がネイティブ対応。
- 自前ホストの現実的な最小構成は80GB GPU ×8 ×8ノード(計64枚)。KV-cache/活性のための余裕込み。
ベンチマーク — コーディングは世界最上位クラス
| ベンチ | K3 | 位置づけ |
|---|---|---|
| SWE Marathon | 42.0 | 全体トップ |
| Program Bench | 77.8 | 全体トップ |
| DeepSWE(コーディング) | 67.5 | GPT-5.6 Solに約0.5pt差 |
| GDPval-AA v2(総合) | 1,687 | Fable 5 Max(1,815)には届かず |
傾向は明快です。コーディング/エージェント系では世界最上位クラスで、一部ベンチは首位。 一方、総合的な知能ではまだクローズドのトップ(Fable 5・GPT-5.6 Sol)に一歩届かない、というのが実像です。 ベンチ数値は評価条件で動くため、参考値として扱ってください。
teai.ioで実際に叩いてみた
数値の引用だけでなく、teai.io経由で実際にKimi K3のAPIを叩いて挙動を確認しました(2026-07-28)。
- 「常時思考(always-on thinking)」の実挙動:
max_tokensを20と小さくすると、本文が空で返りました。 K3は応答前に内部推論トークンを消費するため、上限が小さいと推論だけで枠を使い切ります。 枠を2,000に広げるとK3-LIVE-OKと正しく返り、38トークン中およそ28トークンが本文前の推論に使われていました。 K3を使うときはmax_tokensを絞りすぎない、が実務上の勘所です。 - コーディング(エージェント経由):
teai.ioの公式CLI「Sente」の最高性能モード(
te max= Kimi K3)に 「整数→ローマ数字変換関数と自己検証を書いて実行して」と一発依頼。 生成されたroman.pyをこちらで独立にPython実行して正誤を確認しました (下の「まとめ」に検証結果を反映)。
# Kimi K3 を最高性能モードで一発起動(teai.io公式CLI Sente)
curl -fsSL https://teai.io/te | sh
te max run "整数→ローマ数字変換の関数と自己検証を書いて実行して"オープンウェイト化が意味すること
識者は今回を「オープンウェイトのエスカレーション」と評しています。“ほぼフロンティア”の性能を、誰でも重みごと持てるようになると、 競争の堀はモデル単体の性能から、インフラ・UX・流通へと移っていきます。モデルはコモディティに近づき、 「どう届けるか」「どう安く回すか」「どんな体験に包むか」で差がつく――というのが大きな流れです。
teai.ioの立場でも同じで、Kimi K3のAPI価格は各社ほぼ横並び。だからこそ、 Claude CodeやCodex CLIをそのまま日本語で使える互換性・国内の商習慣に合った課金・公式CLI(Sente)といった 「届け方」で価値を出す設計にしています。将来的には自前ホストによる原価最適化も選択肢に入ります。
出典: Moonshot AI 公式Tech Blog / Hugging Face(MXFP4量子化解説) / Tom's Hardware / Interconnects(Nathan Lambert) / Forbes。 本記事のベンチ数値・活性パラメータ数は各媒体の公開情報に基づく参考値で、評価条件により変動します。