パラメーター数 — LLMのサイズを示す 「通貨」、その正体は重みの集合

LLM の話で必ず出てくる単位がある。「175B」「7B」「70B」「1.7T」。

これが パラメーター数。「そのモデルが学習で持っている、調整可能な数値の総数」を表す。LLM 業界では モデルのサイズを示す通貨 として使われる。

本記事はこの 「数」 にフォーカスして、(1) パラメーターの正体、(2) なぜサイズを語るのか、(3) 内訳と GPU の現実 を押さえる。重みの中身は 前記事(重み)(#009) 参照、ここは 数の話に絞る。

パラメーター = ダイヤルとノブ

3Blue1Brown の解説 でも語られている言い方を借りる。

機械学習のモデルとは、調整可能なパラメーター(ダイヤルやノブ)をたくさん持った柔軟な構造。学習とは、それを正解に近づくように回す作業。

たとえば最も単純な線形回帰 y = a × x + b は、ダイヤルが 2個(a と b) しかない。住宅価格を予測したければ、過去データで a と b を最適化するだけ。

GPT-3 はこのダイヤルを 1,750億個 持っている。それぞれを学習で「正解に近づく方向に」少しずつ回す。これが訓練(training)の全て。

つまり パラメーター = ダイヤル = 重み + バイアス。実装上はほぼ重みの数とみなしてよい(バイアスは重みの 1%未満)。

なぜ 「数」 を語るのか — LLM の通貨単位

LLM の業界では、モデル名の後に必ず サイズ表記 が付く。

B = Billion = 10億、T = Trillion = 1兆。日本で言うと 「億」 ではなく 「10億」 単位なので注意(GPT-3 の 「175B」 を「175億」と訳すと一桁ズレる)。

なぜこの数字が独り歩きするかというと、「大きいほど賢くなる」 傾向 が経験的に確認されているから(これを スケーリング則 と呼ぶ)。同じ家系のモデルなら、パラメーターを増やしただけで性能が上がる。だから業界全体が 「パラメーター競争」 に走った。

ただし最近は 「パラメーターを増やすだけでは限界」 という認識も広がっている(後述)。

GPT-3 1,750億の内訳

「1,750億って、どこに何個あるの?」という素朴な疑問に答える。

図1: GPT-3 1,750億パラメーターの内訳(概算)

意外なポイント:

• MLP 層が圧倒的に多い(66%)。「Transformer = アテンション」のイメージとは裏腹に、パラメーター数で言えば 主役は MLP。
• アテンションは 33%。表現力のコアだが、数では少数派。
• 埋め込み と 出力 で 12億超。語彙数(50,257) × 埋め込み次元(12,288)の単純な掛け算。

イメージとしては、アテンションは 「目線」 を決める層、MLP は 「解釈」 を決める層。LLM の 「厚み」 は MLP のパラメーター数に支えられている。

パラメーター数 ≠ 賢さ

業界の常識として知っておきたい注意点。

パラメーター数が同じでも、賢さは大きく変わる。最近の傾向:

• Llama 3 70B(700億)が、GPT-3 175B(1,750億)を 多くのベンチマークで上回る
• Mistral 7B(70億)が、Llama 2 13B(130億)を超える
• 蒸留モデル(数B級)が、元モデル(数十B)の 80-90% の性能を出す

これは、「データ量」「データ品質」「学習回数」「アーキテクチャ細部」 の進化によるもの。「パラメーター × データ × 計算量」の3軸がスケーリング則の本体で、パラメーターだけ増やしても頭打ちになる(Chinchilla の法則)。

つまり、現代のモデル評価で重要なのは 「パラメーターあたりの賢さ」。小さいモデルで大きいモデルの性能を出せる方が、当然 有利(GPU コストが安い、推論が速い)。

業界の流れは「大きく作って、賢く小さくする」になっている。GPT-4 や Claude も、おそらく 巨大な教師モデル → 蒸留 → 配信 という構造で動いている(公式には非公開)。

パラメーター数 × メモリ = GPU 戦争の正体

もう一つ実務に直結する話。パラメーター 1個には、メモリが必要。

1パラメーター × 2byte(fp16, 半精度浮動小数) = 2byte/パラメ
GPT-3 1,750億 × 2byte = 350GB
Llama 70B × 2byte = 140GB

そして、推論(モデルを動かす)には、全パラメーターを GPU の VRAM に載せる必要がある(基本的には)。

2026年現在の主要GPU の VRAM 容量:

• NVIDIA H100: 80GB
• NVIDIA H200: 141GB
• NVIDIA B200: 192GB

つまり GPT-3 を動かすには H100 が 5枚必要。Llama 70B でも H100 2枚。これが 「AI = GPU の戦い」 と言われる物理的な理由。

そして訓練(学習)には、推論の 3〜4倍のメモリ が必要(勾配・最適化状態を保持するため)。GPT-3 を訓練するなら H100 が 20〜30枚、それを 数千〜数万GPU 並列 で数ヶ月回し続ける。

これが、AI のトップ研究所が 「数千億円規模の設備投資」 を要求される構造。パラメーター数 1個ずつにGPU が高速にアクセスする必要があるため、ボトルネックは 計算速度ではなく、メモリ帯域。

コンサル業務にもう一歩寄せる

パラメーターを「会社の意思決定における、細かい判断軸の総数」と思って業務に重ねる。

たとえば、ある企業が「採用するか否か」を決める判断構造を分解してみる:

軸を増やすほど判断は精緻になるが、(1) 軸が増えるほど運用コストが爆発する、(2) ある時点で頭打ちになる、(3) 多すぎると逆に判断がブレる(次元の呪い、高次元空間(#006) 記事参照)。

LLM のパラメーター競争は、まさにこの構造を 機械の中で何百億倍に拡大した話。コンサルが普段「判断軸を何個にするか」で悩んでいる作業を、機械では「1,750億個まで増やしたら何が起きるか」のレベルでやっている。

逆に言えば、コンサルが「シンプルな3軸で意思決定」を推奨する場面と、AI が「数千億パラメーターで判断」する場面は、原理的に同じ「軸を何個用意するか」問題。だから、AI ベンダーの選定 や 内製モデル設計 の議論で パラメーター数だけで判断するのは危険 ということが、コンサル感覚で言える。

パラメーターを増やす vs 減らす — 業界の2つの流れ

業界の動きを整理する。

増やす派(スケーリング論者):

• OpenAI、Google、Anthropic、xAI などのフロンティアラボ
• 「パラメーター × データ × 計算量」をひたすら積むと、新しい能力が 「創発」 される
• GPT-5、Claude Opus 5 などの次世代は、おそらく 数兆 (1T+) パラメーター級

減らす派(効率論者):

• Meta(Llama)、Mistral、DeepSeek、各種オープンソースコミュニティ
• 「同じ性能を、より少ないパラメーターで達成する」競争
• 量子化(8bit/4bit/1.58bit)、蒸留、MoE(Mixture of Experts)で物理メモリを節約
• 2026年現在、7B〜70B モデルがコンシューマGPU で動く 領域に来た

コンサルの実務感覚で言うと、業務に AI を組み込むなら、絶対に 「減らす派」 を追うべき。GPU 1〜2枚で動く 7B〜13B モデルは、社内ローカル運用が可能で、データ漏洩リスクがゼロになる。

逆にフロンティア(GPT-5級)は API 経由でしか使えない 前提で、社外送信が許される業務に限定する、という設計判断になる。