ニューラルネットワーク — パーセプトロンを積み重ねた 「深い」 装置

「AI 解説で必ず出てくる ニューラルネットワーク って何?」と聞かれて、一言で答えられるか。

正解は「パーセプトロン1個を、何個も、何層にも繋げただけ」だ。

パーセプトロンは「入力に重みを掛けて合計し、しきい値を超えたら発火する」という、ニューロン1個の最小モデル(1958年 Frank Rosenblatt 発)。詳細はパーセプトロン(#007)の記事へ。それを大量に積んだのがニューラルネットワーク。本記事は NN の構造を、(1) 層という概念、(2) なぜ 「深く」 するのか、(3) コンサル業務との接続 の3点で押さえる。

ニューラルネットワーク = ニューロンの 「層構造」

図1: ニューラルネットワークの層構造(入力層・隠れ層 ×複数・出力層、各層のニューロンが全結合)

NN は、ニューロン(パーセプトロン)を 層(layer) という単位で並べる。

それぞれの役割:

• 入力層: 外部から来るデータ(画像のピクセル、トークンの埋め込みベクトル等)を受け取る
• 隠れ層: データを加工する中間処理。ここが何をしているかは人間には直感的に分かりにくい(=ブラックボックス)
• 出力層: 最終的な答えを出す(画像分類なら「犬 vs 猫」、LLM なら「次のトークンの確率分布」等)

各層には数十〜数万個のニューロンが並ぶ。隣の層との間で全結合(各ニューロンが、隣の層の全ニューロンと繋がる)が一般的。

GPT-3 のような LLM はこの仕組みを 96層 重ねている。1層あたり数万次元のベクトルが流れる。膨大な数の 「ニューロン同士の接続」 が処理の本体だ。

「深い」とは何か

「ディープラーニング(深層学習)」の 「ディープ」 は、隠れ層が複数あること を指す。

歴史的には:

• 1980年代までの NN: 隠れ層0〜1層(=浅い)
• 2010年代以降のディープラーニング: 隠れ層 10層〜100層〜
• 現代の LLM: 数十〜数百層

なぜ 「深い」 方が良いのか — それは次のセクションで。

なぜ 「深く」 するのか — 普遍近似定理と表現力

1層のパーセプトロンは XOR が解けない(線形分離可能な問題しか解けない、Minsky & Papert 1969年、詳細はパーセプトロン記事(#007))。これが第1次 AI ブームを終わらせた原因の一つ。

ところが層を増やすと、状況が劇的に変わる。

数学的な事実として:

隠れ層が1層でも、ニューロンを十分多く並べれば、どんな連続関数でも任意の精度で近似できる(普遍近似定理, Cybenko 1989)

つまり、理論上、十分大きな NN はどんな問題でも解ける。ということになっている。

ただし「理論上」と「実用上」は別の話。実用上は、ニューロンの数を増やすより、層を増やす方が効率的ということが経験的に分かっている:

• 1層に数百万ニューロン並べる → 学習が極めて難しい
• 100層に数千ニューロンずつ並べる → 同じ表現力で学習しやすい

これが「深さ」が現代AIの主役になった理由。深さ = 抽象化の段数、と捉えると直感的。

• 最初の層: ピクセルや文字の粗い特徴
• 中間の層: 線・形・単語の関係性
• 後ろの層: 物体・概念・意味

各層が前の層の出力をさらに抽象化していく。これが「階層的な特徴抽出」と呼ばれる現象。

NN は 「学習する」 装置

ここが重要。NN はただ繋いだだけでは動かない。学習(training) という段階が必要。

学習とは、ニューロン同士の接続の 「重み」 を、データを使って調整する プロセス。

未学習のNN: 重みはランダム → でたらめな出力
       ↓ 大量のデータで学習
学習済みNN: 重みが調整済み → 適切な出力

GPT-3 で言うと、1,750億個 の重みが、インターネット中のテキストデータで何ヶ月もかけて調整されている。1個1個の重みは小さな数字だが、合計で巨大な 「知識の固まり」 になる。

学習の中身は別記事(重み・訓練・損失関数・勾配降下・逆伝播)に譲るが、ここで覚えておきたいのは:

• NN の 「知性」 は、全部 重みの中に詰まっている
• 学習 = データを見て重みを更新する作業
• 学習後は重みを固定して、推論(=入力に対して答えを出す)に使う

つまり NN という箱の 「中身」(=重み) を、データで作り込んでいく のが機械学習。これが「ルールを人間が書く」古典AIとの根本的な違い。

コンサル業務にもう一歩寄せる

NN を「多段階のレポート連鎖システム」と思って業務に重ねる。

コンサル組織の構造を思い出してほしい:

[現場データ] → [アナリスト] → [マネージャー] → [パートナー] → [社長報告]

各層で:

• アナリスト: 生データから数字や事実を抽出
• マネージャー: 数字を意味のある要約に変換
• パートナー: 要約を経営判断に翻訳
• 社長: 最終的な意思決定

これが そのままニューラルネットワークの構造。各「層」が前の層の出力を加工して、より抽象的な情報に変える。最後に「結論」が出る。

コンサルが普段やっている「情報の階層的処理」が、機械の中で何百層も並列に走っているのが LLM、と理解すると違和感が消える。

「深さ」がもたらした革命

ディープラーニングが2010年代以降に爆発的に発展した理由は、3つに集約される:

1. 計算リソース: GPU の発展で、深い NN を訓練できるようになった
2. データ: インターネットの発展で、訓練に使える大量のデータが揃った
3. アルゴリズム: 誤差逆伝播(別記事)など、深い NN を効率的に学習する手法が確立した

この3つが揃った2012年、ImageNet という画像分類コンペで AlexNet という深層 NN が、従来手法を圧倒的差で破った。これが現代 AI 革命の起点。

そこから先は、皆さんが知っている通り。深さは指数的に伸び、ニューロンの数は爆発し、いまや GPT-3 で 1,750億パラメーター に到達している。