高次元空間 — 直感が効かないが、AIが住んでいる場所

「埋め込みは12,288次元のベクトル」「ベクトルは高次元空間の点」と聞いて、「12,288次元?どんな空間?」と詰まった人向け。

結論から言うと: イメージしようとしないでいい。人間の脳は3次元までしか直感が効かないように出来ている。高次元は、定義としては存在するが、絵に描けないし、頭の中で回せない。AI 教科書を読むとき、ここで挫折する人が一番多い ポイントだ。

本記事は高次元空間を、(1) どう諦めるか、(2) なぜAIに不可欠か、(3) コンサル業務との接続 の3点で押さえる。

高次元空間 = ただ「軸がたくさんある空間」

定義は身も蓋もなくシンプル。

• 1次元 = 数直線 (軸1本、x で位置を指定)
• 2次元 = 平面 (軸2本、(x, y) で点を指定)
• 3次元 = 立体 (軸3本、(x, y, z) で点を指定)
• N次元 = 軸 N本 ある空間 ((x1, x2, x3, ..., xN) で点を指定)

つまり高次元空間とは、「ベクトルの次元 = N」のとき、その N本の座標で全ての点が一意に決まる空間 のこと。

数学的にはどんな N でも自然に定義できる。10次元でも、1万次元でも、無限次元でも。だが 人間がイメージできるのは3次元まで。4次元目を頭に描こうとした瞬間に脳がフリーズする。これは脳の構造的限界で、訓練で克服できるものではない。

なぜ「諦める」のが正解なのか

3次元までは矢印として図に描ける。だから2次元・3次元の説明に頼って高次元を直感的に理解しようとする本が多い。

しかし 多くの 「高次元の感覚」 は、3次元の延長では絶対に得られない。むしろ低次元の直感を持ち込むと、間違える。

実例:

• 3次元の球: 体積はだいたい中心付近に集まる
• 10次元の球: 体積はほぼ 表面の極薄い殻 に集まる
• 100次元の球: 体積は 完全に表面に張り付く(中心はほぼ空)

これは「球の体積は半径の N乗で増える」ことから素直に出てくる結果だが、3次元の直感では「えっ?」となる。

だから戦略は明確: 3次元のイメージは捨てる。高次元では何が起きるかを、性質として記憶する。これが諦めの中身。

高次元で起きる「奇妙なこと」

機械学習に関係する3つだけ覚えておけば十分。

(1) ほぼ全てのペアが「直交」する

まず 「直交」が嬉しい理由 から。

2つのベクトルが直交している = 互いに完全に独立している ということ。一方を動かしても、もう一方には影響しない。これが意味の世界で起きると、「1つの意味の軸を、他の軸を巻き込まずに動かせる」状態が作れる。

たとえば埋め込み空間で「性別の方向」と「複数形の方向」が直交していれば、

• 「king」を「queen」にする(性別だけ動かす) → 単複は変わらない
• 「cat」を「cats」にする(単複だけ動かす) → 性別は変わらない

互いに混ざらない、独立した「ノブ」として扱える。

ところが、低次元では直交軸はすぐ枯渇する。

• 2次元 → 直交軸は最大 2本 だけ
• 3次元 → 最大 3本 だけ
• N次元 → 最大 N本 だけ

つまり3次元空間に「意味の独立軸」を入れたければ、3つしか入らない。「性別」「単複」「国名」で3つ使ったら、もう「感情」「職業」「年代」を入れる場所がない。あふれた意味は、既存の軸と干渉する。

ここで「コンサルの2軸マップで価格×品質をプロットしたら、なぜか右上に偏る」現象を思い出してほしい。価格と品質は実は相関していて(高いものは品質も高い傾向)、本当の意味で直交した独立軸ではない。だから「品質を上げつつ価格は据え置き」みたいなポジションが空白になる。これが軸の干渉。

高次元の何が嬉しいか — 軸を取り放題。

12,288次元の空間では、ランダムに2本のベクトルを取ると、ほぼ確実に内積がゼロに近くなる(=ほぼ直交している)。これは数学的事実で、次元が高いほど顕著になる。

なので、意味の軸を 何千本でも、互いに干渉せずに並べられる。性別・単複・国名・感情・職業・年代・時制・…と、必要なだけ独立スロットが取れる。

これが「意味の独立スロットの取り放題」の正体。AI が複雑な意味を扱える根本理由はここにある。

(2) 距離がほぼ均一化する

まず 何が困るのか から。

機械学習の素朴な発想は、「距離が近いものは似ている」だ。顧客 A と B の特徴ベクトルを比べて、距離が小さければ「似た顧客」と判定する。これが k-NN(k近傍法)やクラスタリングの基本。

ところが、高次元ではこの直感が壊れる。

ランダムに点を撒いたとき:

• 低次元 → 近い点と遠い点の差が はっきり出る
• 高次元 → ほぼ全部の点が 同じくらいの距離になる

東京駅の朝のラッシュをイメージしてほしい。少人数のオフィスなら「あの人、私の隣の席で近い」と分かる。だが何千人の人混みの中で「誰が一番近い?」と聞かれても、全員がほぼ同じ距離に見える。これが高次元で起きる現象。

つまり 「距離が近いから似ている」が成立しない。最近傍検索(k-NN)が高次元で実用的に機能しない、という古典的問題の正体。

じゃあどうするか — 距離ではなく 「向き」 で測る。

これが内積(=方向ベースの類似度)が AI の主役になった理由。距離は死んでも、「2人が同じ方向を向いているか」は高次元でも崩れない。

「同じ方向 = 似ている」という発想転換が、AI が高次元データを扱える根本理由。検索エンジン・レコメンド・アテンション機構、全て内積で似ている度を測っている。

(3) 体積は「表面」にしかない

低次元では「平均的なやつ」「中心的な例」が直感的に存在する。ところが高次元では、この感覚が崩れる。

10次元・100次元の球を想像してほしい(できないけど数学的に存在する)。直感では「中心に物が詰まっている」イメージだが、実際は 体積のほぼ全てが、表面の薄い殻に集中する。中心はほぼ空。

何が困るかというと、「典型例」「平均的なケース」が存在しない世界になる。

たとえば 12,288次元で「平均的な顧客像」を作ろうとして、全ての属性の平均値を並べてみる。するとその「平均顧客」は、実在する顧客の誰にも似ていない、架空の存在 になる。データ点は全部「縁」に並んでいて、中心にいる人がいないから。

コンサル流に言えば、「ペルソナを作りたい、平均像を出したい」という発想が、高次元では機能しない。代わりに「個別の似た事例を引っ張る」(=ベクトル類似検索)が主流になる。

AIのレコメンドが「あなたに似た人はこの商品を買いました」をやって、「平均的な顧客はこの商品が好きです」をやらない理由は、ここにある。

機械学習にとっての「祝福」

ここまで読むと「高次元って厄介じゃん」と思える。実際、これらの性質をまとめて 「次元の呪い (Curse of Dimensionality)」 と呼ぶ。

ところが、機械学習はこの呪いを 利用する側に回った。

• ほぼ全てが直交する → 意味の軸を独立に取り放題(性別/単複/国名/感情/職業/…)
• 距離が均一化する → 方向ベースの類似度(=内積)が主役になる
• 多くの軸が取れる → 表現力が指数的に増える

つまり「呪い」と「祝福」は同じ現象の裏表。AI、特に LLM は 祝福側だけを使い倒している。

GPT-3 が 12,288次元を選んだのは、これより少ないと「干渉しない意味の軸が足りない」 = 性別と単複が混じってしまうから。これより多いと計算コストが爆発するから。意味同士の独立性 vs 計算量 のトレードオフで選ばれた数字。

コンサル業務にもう一歩寄せる

コンサルの仕事で 12,288軸の評価マトリクス を描くことは無いが、本質的に同じ発想は使える。

「2軸マップで分かった気になる」のコンサル文化に対して、高次元は逆を行く。「もっと軸を増やしていい、ただし直交化すれば干渉しない」というのが高次元の教え。

ただし、人間が読むレポートには2軸まで に圧縮する必要がある(=次元削減)。AIが12,288軸で考えた結果を、人間用に2軸に潰す、というのが現代の流れになる。

アテンション機構との関係

高次元空間は、Transformer のアテンション機構が 意味のある類似度計算 を成立させるための前提条件でもある。

低次元では:

• 内積で類似度を測ろうとしても、全体の点が密集していて「どれが似ているか」の差が出にくい
• 意味の軸が干渉して、性別を変えると勝手に時制も変わる、みたいな事故が起きる

高次元(12,288)では:

• 意味の軸が直交に近く並ぶ → 1つの意味だけを純粋に動かせる
• ランダムなペアは内積がほぼゼロ → 「本当に関連する組」だけが目立つ

つまり Transformer の精度の根源には、「高次元空間の祝福を最大限利用する設計」 がある。アテンション機構を理解するには、高次元の性質を直感ではなく 性質として 受け入れる必要がある。