多層パーセプトロンについてClaude Opus 4.5に説明してもらいました。
自分は間違いを指摘したり、構成を整理しました。
多層パーセプトロン
本章では、多層パーセプトロン（Multi-Layer Perceptron, MLP）について詳しく説明します。単一パーセプトロンの限界を克服するために開発されたMLPは、隠れ層を導入することで非線形問題を解決できるようになりました。
1 多層パーセプトロン（MLP）の構造
多層パーセプトロン（Multi-Layer Perceptron, MLP）は、複数の層を持つニューラルネットワークです。隠れ層の導入により、単一パーセプトロンでは解決できなかったXOR問題などの非線形問題を解決できるようになりました。
3層ニューラルネットワークの構造（バイアス付き）
図0-2: 3層ニューラルネットワークの例（バイアス項付き）
2 ネットワークの重みとバイアス
ネットワークの重みとバイアスの完全なリスト
この3層ニューラルネットワーク（入力層3ユニット、隠れ層4ユニット、出力層3ユニット）には以下のパラメータがあります：
| 層間 | 重み | 個数 | 表記 |
|---|---|---|---|
| 入力層 → 隠れ層 | 重み行列 \(W^{(1)}\) | \(3 \times 4 = 12\) | \(w^{(1)}_{ij}\) (\(i=1..3, j=1..4\)) |
| バイアスベクトル \(\mathbf{b}^{(1)}\) | 4 | \(b^{(1)}_j\) (\(j=1..4\)) | |
| 隠れ層 → 出力層 | 重み行列 \(W^{(2)}\) | \(4 \times 3 = 12\) | \(w^{(2)}_{jk}\) (\(j=1..4, k=1..3\)) |
| バイアスベクトル \(\mathbf{b}^{(2)}\) | 3 | \(b^{(2)}_k\) (\(k=1..3\)) | |
| 総パラメータ数 | 31 (重み24 + バイアス7) | ||
詳細な重みリスト：
\(w^{(1)}_{11}, w^{(1)}_{12}, w^{(1)}_{13}, w^{(1)}_{14}\) (\(x_1\)から各隠れユニットへ)
\(w^{(1)}_{21}, w^{(1)}_{22}, w^{(1)}_{23}, w^{(1)}_{24}\) (\(x_2\)から各隠れユニットへ)
\(w^{(1)}_{31}, w^{(1)}_{32}, w^{(1)}_{33}, w^{(1)}_{34}\) (\(x_3\)から各隠れユニットへ)
第1層のバイアス \(\mathbf{b}^{(1)}\):
\(b^{(1)}_1, b^{(1)}_2, b^{(1)}_3, b^{(1)}_4\) (各隠れユニットのバイアス)
第2層（隠れ→出力）の重み \(W^{(2)}\):
\(w^{(2)}_{11}, w^{(2)}_{12}, w^{(2)}_{13}\) (\(h_1\)から各出力へ)
\(w^{(2)}_{21}, w^{(2)}_{22}, w^{(2)}_{23}\) (\(h_2\)から各出力へ)
\(w^{(2)}_{31}, w^{(2)}_{32}, w^{(2)}_{33}\) (\(h_3\)から各出力へ)
\(w^{(2)}_{41}, w^{(2)}_{42}, w^{(2)}_{43}\) (\(h_4\)から各出力へ)
第2層のバイアス \(\mathbf{b}^{(2)}\):
\(b^{(2)}_1, b^{(2)}_2, b^{(2)}_3\) (各出力ユニットのバイアス)