「AIの知性」って結局1,750億個の 小さな小数点の数字 に詰まってるって、ロマンないですよね。
凡田くん、いいや。それを言うなら、ぼくのワインの テイスティングノート だって、結局 [香り 4.2, 渋み 3.8, 余韻 4.5] みたいな数字に集約されてる。
部長、それも ロマンないですね。
……。
- 重みとは、ニューラルネットの各接続にある「この入力をどれだけ重要視するか」を表す小さな数字。AI の知性の実体は、この数字が何百億個も集まったもの。
- だから「AI を学習させる = 重みを正解側に少しずつ調整する作業」。それ以外に賢さを作る方法はなく、ここが知能の正体そのもの。
- イメージは 無数の音量つまみ。どの入力を大きく/小さく鳴らすかを一つひとつ調整して、全体の 「音」 を仕上げていく(調整の仕組みは本文で)。
「ニューラルネット(NN)って何?」と聞かれたら、「パーセプトロンを何層も積んだ装置」 と答える(別記事 ニューラルネットワーク(#008) 参照)。
では、その装置を 賢くしているもの は何か。
正解は 「重み」。NN という箱の中に詰まっている、何百億個の小さな数値。それが全て。
本記事は重みを (1) 中身は何か、(2) どう学習で決まるか、(3) コンサル業務との接続 の3点で押さえる。これが分かれば「学習」「訓練」「ファインチューニング」など後続の話が全部すんなり入る。
重み = 接続の 「強さ」 を表す数値
NN の中で、ニューロン同士は 接続線 で繋がっている。各接続には1つの 重み が割り当てられている。
たとえば、ある入力 x = [1, 2, 3] と、3つの重み w = [0.5, -0.3, 0.8] があったとき:
ポイント:
- 重みが 正の大きな値 → その入力を 強く重視(発火に貢献)
- 重みが 負の大きな値 → その入力を 強く抑制(発火を妨げる)
- 重みが 0付近 → その入力を 無視
つまり重みは 「この情報を、どれだけ意味あるものとして扱うか」 の調整つまみ。
「バイアス」もセットで覚える
教科書には必ず バイアス(bias) が登場する。
バイアスは、しきい値そのものを動かす数値:
合計 = (重み付き和) + バイアス
たとえばバイアスが +1.0 なら、入力が小さくてもニューロンは発火しやすい。-2.0 なら、入力が大きくないと発火しない。ニューロン全体の 「発火しやすさ」 を決めるオフセット。
重みとバイアスは 必ずセットで学習される。実装上は「重み」とまとめて呼ぶことが多いが、厳密には別物。本記事では特に区別せず、「重み」= 重み + バイアスとして扱う。
学習前は 「ランダム」、学習後は 「意味の固まり」
ここが現代AIの面白いところ。
学習前、NN の重みは 完全にランダム な数値で初期化される(例: 平均0・分散小の正規分布から sample)。この状態の NN は、入力に対して でたらめな出力 を返す。
学習 とは、「正解と出力が一致するように、重みを少しずつ動かす」作業(具体的には誤差逆伝播 と 勾配降下 による、別記事で深掘り予定)。
学習を1億回・10億回・100億回と繰り返すうちに、ランダムだった重みが、特定のパターンに収束していく。最終的にできあがる重みの集合体が、AI の 「知性」 そのもの。
GPT-3 の例:
- 重みの数: 約 1,750億個
- 学習データ: インターネット上の数兆トークン
- 学習時間: 数百GPU・数ヶ月
- 学習コスト: 推定 数百万〜数千万ドル
- 結果: 約 350GB のファイル = これが「GPT-3」の正体
つまり、GPT-3 を別のサーバーで動かしたければ、この 350GB の重みファイルをコピーするだけ。コードはオープンソース、ロジックは数式、個性は全部 重みに詰まっている。
モデルを「動かす」 vs 「学習させる」
ここで2つのフェーズを区別する。
| フェーズ | やってること | 重みの状態 |
|---|---|---|
| 訓練(training) | 重みを最適化していく | 動的に更新される |
| 推論(inference) | 重みは固定、入力に対して出力を返すだけ | 不変 |
私たちが ChatGPT のような LLM を使うとき、やっていることは 推論。重みは固定された状態で、入力プロンプトに対して計算を回しているだけ。
逆に、ファインチューニング(別記事)とは、推論用に固定されていた重みを、特定のタスク向けに 少し動かし直す こと。
つまり、AI の話で重要なのは:
- 重みを作る = 訓練(高コスト、年単位)
- 重みを使う = 推論(安い、ミリ秒〜秒単位)
- 重みを再調整する = ファインチューニング(中コスト、時間単位)
「重みは作るのに死ぬほどお金かかるが、できてしまえばコピーで配れる」 — これが現代AI の経済構造のコア。
コンサル業務にもう一歩寄せる
重みを「評価軸の重要度ウェイト」と思って業務に重ねる。
コンサルが KPI 採点をするとき、こんな式を組む:
総合スコア = 売上×0.4 + 利益率×0.3 + 成長率×0.2 + 満足度×0.1
この 「×0.4」「×0.3」 の係数が、まさに重み。「何を重視するか」を数値で表現している。
| 業務 | 重みの例 |
|---|---|
| 期末評価 | 売上・利益・人材育成・コンプライアンス を 4:3:2:1 のウェイトで採点 |
| 投資判断 | 市場規模・収益性・チーム・タイミング のスコアにウェイトを振って合計 |
| 顧客優先順位 | 売上貢献度・将来性・関係性・コスト の加重平均で並び替え |
| 採用評価 | 経験・スキル・カルチャーフィット・成長性 のウェイト合算 |
コンサルが普段やっている 「ウェイト振り」 の作業を、人間が手で1個1個決めるのではなく、機械が1,750億回繰り返して最適化したのが NN、と理解すると違和感が消える。
逆に言えば、コンサルが KPI のウェイトをエクセルで悩むのは、ニューロン1個分の重み調整を手作業でやっているのと同じ。
あー、これ俺、広告会社時代に クライアント評価表 を作ってウェイト振り回ってましたよ。「ブランド力40%、予算30%、上司との相性20%、デザイナーの好き嫌い10%」みたいな。…で、最後の 「好き嫌い10%」 が結局 案件取れるかどうかを決めてた。
凡田くん、それは「重みの初期化バイアス」の話だね。…そういえば僕、ワインのテイスティングで勝手にウェイト振ってる んだ。香り40%、味30%、後味20%、価格10%。妻と意見が分かれるたびに「君は香りに10% しか振ってないからだ」って言うんだけど、たいてい怒られる。
…部長、ご家庭で重みの話するの、危険じゃないですか?
私も美容クリニック選びには勝手にウェイト振っておりますわ。評判30%、技術30%、立地20%、価格10%、Instagramのフォロワー数10%。…最後の10%が時々上位に来ますの。
大蔵の言うフォロワー数の話、本質はそこではない。ハイデガーが『存在と時間』 で論じた「世間 (das Man)」だ。SNSフォロワー数というのは、結局…
御託さん、あれ、ハイデガーの話ですの?私はインスタの単純な信頼度シグナルだと思ってましたわ。
あの、ぼく、ゲームのキャラビルドで重み振ってる んですけど、攻撃40%・防御30%・素早さ20%・運10% で組むと、最近 全部 AI が「最適化済みビルド」を出してくるんですよ。ぼくのウェイト振りより AI の方が強い んです、もう。
川口、それ AI に 「重み」 取られてるんじゃないか…
バイアスと「初期値」が及ぼす影響
人間の判断にもバイアスがあるように、NN にも重みの 初期値の影響 がある。
学習を始めるとき、重みは ランダムに初期化 される。だが「ただのランダム」ではなく、特定の分布(平均0、分散小) から sample される。なぜか:
- 大きすぎる初期値 → 学習中に勾配が爆発(値が無限大に)
- 小さすぎる初期値 → 学習中に勾配が消失(更新が止まる)
- ちょうどよい分布(Xavier初期化、He初期化など) → 学習が安定する
つまり、AI の学習の「最初の一歩」をどう踏むかは、研究者が長年研究してきた繊細な分野。
おまけに、同じデータで同じモデルを学習させても、初期値が違うと最終的な重みも違う。これが「学習の再現性問題」と呼ばれるもので、論文で発表された AI モデルを再現するのが難しい一因。
重みの初期値の話、私は 葉巻の選定 で似た経験がある。最初に出会った1本目の銘柄に強い印象を持つと、その後 何本吸っても 「最初の1本」のウェイトが下がらない。…キューバの 「コイーバ」 を40年前に吸って以来、私の中で他の銘柄の重みは全部 0.5以下だ。
社長、それまさに 初期値バイアス ですね。最初に得た情報の重みが大きくなりすぎる。AIだと収束しなくなる現象です。
…ふむ。だから私は 娘の嫁ぎ先を選ぶ時 に、自分1人で決めずに妻に相談した。私だけだと「最初の1人=コイーバ」になりかねん。
あら社長、お嬢様の嫁ぎ先まで合議制で?さすがの慎重さですわ。
いや、結局 妻も「最初に挨拶に来た青年の重みが大きい」と言うんでな。人間は重みの初期化を学習で修正できない と分かった。
社長、それ、僕も実感あります。最初に買ったキャンプ用品ブランド の重みが今も心の中で最大で、新しいブランドを試そうとすると無意識に減点してしまうんです。
部長、それ全部 コーヒー器具にも適用されてません? 最初に買ったメーカーで揃えてるとか…
…(青ざめる)
あの、関係ないんですけど、今日 妙にエレベーター混んでません? さっき乗ろうとしたら、御託さんと二人きりになりそうだったので3階分 階段で来ました。
…(なぜか目を逸らす)
