記事の繋がりマップ｜アイマイコンサルティング

入口・基礎(まずはここから)

全ての NN / Transformer / LLM の最小単位。線形回帰を掴めば残りが地続きで理解できる

#021

線形回帰 (Linear Regression)

y = ax + b、最も単純な機械学習モデル。すべての NN の最小単位、まずここを掴む

↓

#011

機械学習モデル

ルールを書かずデータから振る舞いを決める枠組み。線形回帰も GPT-3 も同じ枠

フェーズ① NN 基礎

深層学習の構造、ニューロンから NN まで

#007

パーセプトロン

ニューロン1個、線形回帰 + ステップ関数 = NN の最小単位

↓

#008

ニューラルネットワーク

パーセプトロンを何層にも積んだ装置、深層学習の本体

↓

#009

重み(Weights)

AI の "知性" の正体、何百億個の小さな数字

↓

#010

パラメーター数

7B / 70B / 175B、LLM のサイズを示す "通貨"

↓

#012

非線形関数(活性化関数)

NN を "ただの線形" から解放する1ピース、ReLU が現代の主役

フェーズ② 学習の仕組み

どうやって機械が学ぶか、6本の中核

#013

訓練(Training)

学習プロセス全体、OJT と同じ構造で機械が学ぶ

↓

#014

損失関数(Loss)

ズレを1個の数字にまとめる装置、KPI 設計と同型

↓

#015

勾配降下(Gradient Descent)

損失の "山" を最急下り方向に降りる、AI学習の主役

↓

#016

逆伝播(Backpropagation)

損失を出力から入力に "責任配分"、偏微分の再利用

↓

#017

最適化手法(SGD/Momentum/Adam)

勾配降下を実用化、AdamW が LLM 訓練の標準

↓

#018

正規化(BatchNorm/LayerNorm)

深い NN を安定して学習させる "ならし" の技

フェーズ③ 学習の落とし穴

本番運用で必須の失敗パターンと対策

#019

過学習(Overfitting)

訓練満点、本番赤点という典型失敗、ベテラン陳腐化と同型

↓

#020

正則化(Dropout/L1/L2)

過学習対策の中核、組織のキーマン依存解消と同型

フェーズ④ 事前学習の仕組み

LLM 革命の核心。GPT の "P" がここ、現代 AI の土台

#022

事前訓練(Pre-training)

GPT の "P"、汎用能力を作る下準備。新卒研修と同型、フロンティアラボの独占領域

↓

#023

次トークン予測(Next Token Prediction)

LLM 推論の心臓部、次の単語1個を予測するだけのループ。優秀な接客/営業の "予測パーツ" と構造的に近い

↓

#024

確率分布(Probability Distribution)

LLM 出力の正体=5万次元の分布。コンサル "点推定病" の対極、AI 時代の意思決定スタイル

↓

#025

サンプリング(Sampling)

確率分布から1個を選ぶ操作。温度=AIの性格ダイヤル、場面で温度を変えるのが現代マネジメント

↓

#026

自己回帰生成(Autoregressive Generation)

1個予測→連結→再投入のループ。ChatGPT が1文字ずつ表示する正体、組織にも自己回帰の罠あり

↓

#027

ファインチューニング(Fine-tuning) 🎉 フェーズ④完結

事前訓練済みモデルを特定タスク用に上書き調整、一般企業の現実解。SFT/RLHF/LoRAの3大流派

フェーズ④.5 アーキテクチャ歴史

Transformer 以前の覇者たちを押さえる。古い覇者は完全には消えない

#028

CNN(畳み込みニューラルネット)

画像認識の覇者、2012年AlexNet → ImageNet でAIブーム点火。マルチモーダルLLMに吸収されつつある

↓

#029

RNN / LSTM / GRU

時系列処理の覇者、2014-2017の機械翻訳主役。Transformer で完全置換、いまや教養レベル

フェーズ⑤ アテンション(Transformer の心臓)

いよいよ本丸。LLM 革命の核心、現代 AI の中心装置

#030

アテンションブロック(Attention Block)

単語が他の単語を見て自分の意味を更新する仕組み。"察し" の自動化、RNN を駆逐した本丸

↓

↓

アテンション + MLP + 残差 + 正規化のプレハブを何十回も積む工業化された深層学習

↓

#033

なぜアテンションが RNN を駆逐したか

並列処理 + 長距離依存 + GPU相性の3つの決定打、技術選定の判断軸

↓

#034

マルチモーダルアテンション 🎉 フェーズ⑤完結

画像・音声・動画を Transformer で吸収、VLM(GPT-4V/Claude/Gemini)、"察し" 全モダリティ化

※ 入口の語彙系(トークン #003 / ベクトル #004 / 内積 #005 / 埋め込み #002 / 高次元 #006)と AI の歴史 #001、閑話休題は記事一覧から個別アクセス推奨。

📊 記事の繋がりマップ