文脈吸収 — 同じ単語の意味が、前後の文脈で変わる仕組み

埋め込み (#002) では、単語が空間の 「点」 になった。だが、ここまでの話には 大きな穴 がある。「あつい」のように、同じ単語でも文脈でまるで意味が違う語 を、固定の1点で表せるはずがない。本記事は、その穴を埋める仕組み ── 文脈吸収 を扱う。

定義 — 単語の意味は「固定」ではない

「あつい」という単語を、ひとつ思い浮かべてほしい。これだけでは、意味が 決まらない。前後にどんな言葉が来るかで、意味が割れる:

• 「コーヒーが あつい」→ 熱い(温度)
• 「今日は あつい から上着を脱ぐ」→ 暑い(気温)
• 「あつい 辞書をめくる」→ 厚い(分厚い)

同じ「あつい」が、前後の文脈に 引っぱられて、別の意味に着地している。大蔵の「結構です」と、まったく同じ構造だ。意味は単語そのものに固定されているのではなく、文脈と合わさってはじめて決まる ── これが文脈吸収の出発点だ。

図1: 「あつい」単体では意味があいまい。前後の文脈が、同じ単語を別の意味へ 「寄せる」。単語の意味は固定ではない

仕組み — アテンションが「周りの語」を混ぜる

では、AIはどうやって文脈を吸うのか。鍵は 「単語のベクトルは、固定の辞書値のままではない」 という点だ。

最初、「あつい」は辞書を引いただけの 静的なベクトル(意味あいまい)として入ってくる。それが アテンション(#030) の層を通るたびに、周りの単語(「コーヒー」「が」「湯気」…)の情報を混ぜ込まれ、ベクトルが更新される。「コーヒー」や「湯気」を吸った「あつい」は、「熱い(温度)」 の方向へ寄った ベクトルに化ける。これが、文脈を吸収するということだ。

図2: 静的なベクトル → アテンションが周りの語を混ぜる → 文脈を吸収して意味が確定。単語ベクトルは固定ではなく、層ごとに更新されていく

これが、いわゆる 「静的な埋め込み」から「文脈に応じた表現」への進化 だ。昔の方式は、単語ごとに1つの固定ベクトルしか持てなかった(「あつい」は常に同じ点)。いまのLLMは、同じ単語でも、文ごとに違うベクトル を持てる。だから一語多義を、文脈で正しく捌ける。

だから何が嬉しいのか

文脈吸収ができると、AIは 「言葉の表面」ではなく「その場での意味」 を扱えるようになる:

• 一語多義を解ける: 「あつい」「結構です」「やばい」のような、文脈で意味が割れる語を、取り違えずに処理できる。
• 指す相手を追える: 「課長がそれを承認した。彼は…」の「彼」が誰か、文脈を吸って結びつける(照応の解決)。
• 同じ問いでも場面で答えを変えられる: 前の会話を文脈として吸うから、続きの一言の意味を取り違えない。

ここで 前回の 「方向=意味」 (#049) とつながる。静的な埋め込みは「単語の住所」を固定で持つ地図だった。文脈吸収は、その住所を、文脈に応じて少しずつ動かす 仕組みだと言える。地図は同じでも、立つ位置が文ごとに変わる。

コンサル感覚 — 「言葉だけ見ても、意味は分からない」

本記事の核心メッセージは 「意味は、単語そのものではなく 「文脈とセット」 で決まる」。大蔵の接客がそうだったように、この視点は実務でも効く:

① クライアントの言葉は、文脈ごと拾う: 議事録で「検討します」の一語だけ切り出しても、前向きか先送りか分からない。その前後・場の空気・力関係まで含めて はじめて意味が取れる。AIの文脈吸収は、この当たり前を計算で再現したものだ。

② AIへの指示も 「文脈ごと」 与える: 同じ単語でも文脈で意味が変わる以上、AIに曖昧な一語だけ投げると、想定と違う方向に 「吸って」 しまう。背景・前提・例をセットで渡す(プロンプト (#043) 設計)ほど、狙った意味に着地する。

③ ただし「空気を読んでいる」わけではない: AIは前後の語を 計算で混ぜている だけで、人間のように相手の気持ちや事情を汲んでいるのではない。クライアントに説明するときは、「文脈を計算で取り込む」=便利だが万能ではない と添えると、過度な期待を避けられる。