サンプリング(Sampling) — 確率分布から 「1個」 に絞る操作、AIの 「性格」 を決めるダイヤル

前記事 確率分布(#024) で、LLM が出口で 5万次元の確率分布 を作る、と説明した。本記事はその後の「分布から1個に絞る」ステップ、サンプリング の話。

結論を先に: サンプリング = 確率分布から1個を選ぶ操作。LLM の 「最後の決断」 がここに集約される。同じ分布でも、選び方を変えると AI の 「性格」 が変わる。ChatGPT が「真面目に答える」「ふざけて答える」「同じ質問でも毎回違う」と振る舞いを変える理由は、ほぼ全てこのサンプリングの設定で決まる。

サンプリングとは何か — 分布から 「1個」 を引き当てる

確率分布は 候補と確率の集合。具体的には例えばこうなっている:

入力: 「私の名前は」

確率分布(出口で生成):
{ 「田中」: 0.12, 「鈴木」: 0.08, 「山田」: 0.06, 「佐藤」: 0.05, ... }

このままでは出力できないので、1個を選ぶ 必要がある。これがサンプリング。素朴な方法はいくつかある。

• Greedy(貪欲): 常に最大確率を選ぶ。例だと毎回「田中」。「安全だが定型的」 な選び方。
• ランダムサンプリング: 確率に応じてくじを引く。例だと12%の確率で「田中」、8%で「鈴木」…。多様な出力が出るが、外れも増える。

実用では両者の中間を狙う。それを調整するためのツマミが 温度パラメータ。

温度(Temperature) — 分布の 「とがり」 を変えるツマミ

温度は LLM 業界でいちばんよく出てくるパラメータ。T(Temperature) と書く。0〜2 程度の範囲で設定する。

図1: 同じロジット(生スコア)でも、温度を変えると分布の 「とがり」 が大きく変わる

温度の効果を一言で言うと:

• T が低い(0.2〜0.5): 分布がとがる → 1位の確率がさらに上がる → 「無難で定型的」 な出力
• T = 1.0(デフォルト): 分布そのまま → 「標準的なバランス」
• T が高い(1.5〜2.0): 分布がなだらかになる → 2位や3位も選ばれやすい → 「多様で創造的」(ただし暴走リスク増)
• T = 0(極端): 分布が完全に1位に集中 → 毎回必ず同じ出力 → Greedy と同じ

つまり 温度 = AI の 「性格」 ダイヤル。低温は几帳面な事務員、高温は気まぐれな芸術家、というイメージ。用途で使い分けるのが基本。

Top-k と Top-p — 極端な選択を防ぐもう2つのツマミ

温度だけだと 「低確率の暴走」 が残る。例えば 温度高めにすると、確率0.0001% の極端な単語まで選ばれる可能性があり、文章が破綻する。これを防ぐのが Top-k / Top-p。

• Top-k サンプリング: 上位 k 個の候補だけに絞ってからサンプリング。k=40 なら、5万候補のうち上位40件だけ。「下位の極端な候補」を物理的に排除。
• Top-p サンプリング(Nucleus サンプリング): 累積確率が p% に達するまでの候補に絞る。p=0.9 なら、確率の高い順に足していって90%に達したところで打ち切り。分布のとがり具合に応じて候補数が自動調整 されるのが特徴。

実務では 温度 + Top-p の組み合わせ が定番。例えば「温度0.7 + Top-p=0.9」みたいに設定する。OpenAI / Anthropic / Google の API はいずれもこの3つのパラメータを公開している。

コンサル感覚 — 意思決定の温度を場面で使い分ける

温度パラメータの考え方は、組織の意思決定にもそのまま応用できる。

赤崎の 「いいねいいね」 は 常時温度2.0 なので、緊急対応の場では機能不全になる。逆に 「いつも案Aだけ」 の硬直マネージャは 常時温度0 で、創造的領域では機能不全になる。場面で温度を変える のが現代のマネジメントスキル、と整理できる。

AI と人間の意思決定が同じ語彙で語れるようになったのも、サンプリングという概念のおかげ。「あの上司は温度高すぎ」「あのチームは温度0で硬直してる」 のような語り方が、組織論として有効になってくる。