サブワード(Subword) — 単語より小さい「部品」が、未知語を消す

トークナイザー (#044) で、文章は「トークン」に切られてから LLM に入る、と見た。本記事はその続き ── なぜトークンは 「単語」 ではなく、単語より小さい 「部品(サブワード)」 なのか。地味に見えて、LLM が実用に耐える理由の核心が、ここにある。

問題 — 「単語まるごと」の辞書は、必ず詰む

素朴に考えると、AIの語彙は「単語の辞書」でよさそうに思える。「こんにちは」「会議」「予算」…と単語を登録しておき、入ってきた文章を単語単位で引く。だが、この方式には 致命的な欠陥 がある。

辞書(語彙)は 有限。だが、新語・造語・社内用語・製品名・人名・タイプミスは 無限に生まれる。単語まるごと方式は、辞書に無い単語 ── 未知語 ── に出会った瞬間、その単語を扱えなくなる。

「ボンダリゼーション」も「DX人材リスキリング」も、昨日できた新サービス名も、辞書には載っていない。実際の業務文書は、こういう言葉だらけだ。未知語で詰む方式は、実務では使いものにならない。

図1: 単語まるごとの辞書は未知語で詰む。サブワード(部品)の組み立てなら、どんな新語でも必ず表せる

解決 — 単語より小さい「部品」に割る

そこで現代の LLM は、語彙を 単語ではなく「サブワード(部品)」 で持つ。よく使う単語(「こんにちは」)はそのまま1部品、珍しい単語や新語は 複数の部品に割って 表す。「ボンダリゼーション」なら「ボンダ」+「リゼーション」。最悪、どの部品にも当てはまらなければ 1文字ずつ・1バイトずつ まで割れる (#044)。

この「どの部品を語彙にするか」を決めるのが、トークナイザーの学習だ。代表的な BPE という方式は、大量のテキストの中で よく隣り合う文字の並びを、頻度の高い順にくっつけて部品に昇格させていく。頻出の「リゼーション」は1部品になり、滅多に出ない並びは細かいまま残る ── よく使う表現ほど少ないトークンで済む、効率のいい部品セットが出来上がる。

核心 — 部品には「意味」が乗っている

サブワードの価値は、未知語が消えるだけではない。もっと面白いのは、部品それぞれが、埋め込み (#002) として 「意味」 を持つ ことだ。

図2: 部品には意味が乗る。初見の単語でも、知っている部品の意味を足し合わせて当たりがつけられる

「unhappiness」を初めて見ても、un(否定)+ happi(幸せ)+ ness(名詞化) と割れば、「幸せでない状態」だと組み立てられる。凡田の「ボンダリゼーション」も同じで、「ボンダ」は不明でも、「リゼーション」が globalization や digitalization で学習済み だから、「何かを〜化する話だな」と当たりがつく。

人間が漢字でやっていることに、実はよく似ている。「未踏峰」という言葉を初めて見ても、未(まだ)+ 踏(ふむ)+ 峰(みね)から「まだ誰も登っていない山」と読める ── 部品が意味を運ぶから、初見の言葉に応用が利く。サブワードは、その仕組みを語彙の設計に組み込んだものだ。

コンサル感覚 — 「専門用語だらけの現場」でAIが使える理由

本記事の核心メッセージは 「AIが業務の現場で使いものになるのは、サブワードが未知語を消しているから」。地味だが、提案の足腰になる:

① 社内用語・製品名だらけの文書が読める理由を説明できる: クライアントから「うちの専門用語、AIは知らないのでは?」と聞かれたら ── 「単語ではなく部品で読むので、初見の用語も部品から当たりをつけます。さらに文脈 (#051) からも意味を吸収します」。導入前の不安を、仕組みで解消できる。

② ただし 「当たり」 は外れることもある: 部品からの推測は、あくまで推測。固有名詞を誤読したり、変な位置で割れて意味を取り違えることもある(専門用語の誤解の一因)。重要な固有名詞・社内用語は、プロンプトで定義を渡す (#043) のが確実 ── 「読める」と「正しく分かる」は別、と添えるのが誠実だ。

③ トークン数=コストの感覚にも直結する: 珍しい言葉ほど部品が細かくなり、トークン数が増える (#044)。社内用語だらけの文書は見た目より 「高い」。コスト見積もりのとき、この感覚があると精度が上がる。