内積(Dot Product) — 「どれだけ波長が合うか」を1つの数値にする道具

「ベクトル同士の似ている度合いを測る」と言われると、なんとなく難しそうに聞こえるが、実態はただの掛け算と足し算 だ。

その演算を 内積(Dot Product) と呼ぶ。中学高校で出てきたかもしれないが、機械学習で出てくると意味合いがガラッと変わって見える。本記事は内積の正体を、計算・直感・使われ方 の3点で押さえる。LLM のアテンション機構を理解する直前の「最後のピース」でもある。

計算は驚くほどシンプル

定義から入る。

内積 = 同じ位置の要素同士を掛けて、全部足したもの

例:

v1 = [1, 2, 3]
v2 = [4, 5, 6]

v1 · v2 = 1×4 + 2×5 + 3×6
        = 4 + 10 + 18
        = 32

これだけ。2つのベクトルから1つの数値が生まれる。ベクトル → スカラー の変換と覚えてもいい。

ポイント:

• 2つのベクトルは 同じ次元 である必要がある(でないと位置がずれる)
• 結果は 数値ひとつ(スカラー)
• 計算自体は要素ごとの掛け算と足し算だけ

直感: 「どれだけ同じ方向を向いているか」

数式だけだと「で?」となる。意味を捉えるには 幾何学的な見方 が必要だ。

2次元で考えるとわかりやすい。2本のベクトルを矢印として描いたとき、

• 同じ方向を向いてる → 内積は 正の大きな値
• 直角(90度)で交差する → 内積は ゼロ
• 逆方向を向いている → 内積は 負の値

数式で書くと:

v1 · v2 = |v1| × |v2| × cos(θ)

ここで θ は2本のベクトルの間の角度、|v| はベクトルの長さ。つまり内積は、2つのベクトルがどれだけ整列しているかを、長さの掛け算でスケーリングしたもの。

機械学習で重要なのは、この 「整列度」 の解釈。「2つの何かが、どれだけ同じ方向性を持っているか」を1つの数値に圧縮できる。

「類似度」を測る最も基本的な道具

機械学習で内積が主役になる場面は、ほぼすべて 「類似度の計算」 だ。

特に最後が重要。LLM のアテンション機構は、トークン同士の関連度を内積で測ることが本質。だから内積を理解せずに Transformer は語れない、というのが立場として正しい。

コンサル業務にもう一歩寄せる

内積を「波長一致度スコア」と思って業務に重ねる。

コンサル流に言えば、「波長が合う/合わない」を数値1つで判定する道具。経験豊富なシニアが「直感で」感じている整合度を、ベクトルにしてしまえば数値化できる、というのが内積の身も蓋もない意味だ。

「直交」が意味すること

内積がゼロになる場合、つまり2つのベクトルが 直角に交わる とき。これを「直交している」と言う。

機械学習で直交が出てくると、次のような意味になる:

• 2つのベクトルが 完全に独立した情報 を持っている
• 一方を変えても、もう一方には影響しない
• 「混ざらない軸」として共存できる

埋め込み空間で「性別の方向」と「単複の方向」が直交していると、その2つは互いに干渉せずに動かせる(king→queen の方向と cat→cats の方向が独立)。次元を増やす理由の1つは、意味同士を直交に近く保つこと で干渉を減らすこと(詳細は 高次元空間 の記事へ)。

Transformer での主役: アテンション機構の中身

ここから Transformer の心臓部に直結する話。

LLM のアテンション機構では、各トークンに対して「Query(問い)」と「Key(鍵)」というベクトルが用意される。そして、

あるトークン i から見て、トークン j がどれだけ関連しているか
   = Q_i · K_j (内積)

を全ペアで計算する。内積が大きいトークンほど「関連が強い」と判定され、その情報が今のトークンに引き込まれる。

つまり 「今のトークンは、文中のどのトークンに注意を向けるべきか?」 という問いを、内積で解いている。これがアテンション機構の数学的な核心。

詳細は アテンションブロック の記事に譲るが、ここで覚えておきたいのは:

• 内積はアテンションの 最小単位の演算
• 数千トークン × 数千トークン の内積を、行列演算で一気にやる
• LLM の処理時間の大半はこの内積計算 に費やされている

つまり、現代のAI 業界が GPU を血眼で探している理由は、「大規模な内積計算を高速化したい」 という一点に集約される。