悪条件行列の生成（列同士がほぼ平行に近い状態）

悪条件行列の生成（列同士がほぼ平行に近い状態）の見逃せないポイントをわかりやすく整理しました。

グラム・シュミットの直交化法は、単なるユークリッド空間（$\mathbb{R}^n$）の幾何学的テクニックに留まりません。関数の空間や無限次元空間を扱うヒルベルト空間など、一般の内積空間における正規直交化を基礎づける極めて重要な定理です。

数学的な厳密性を担保するため、なぜこのアルゴリズムで必ず互いに直交する基底が生成され、かつ元のベクトルと同じ空間を張る（生成する）ことができるのか、数学的帰納法を用いたグラムシュミットの直交化法 証明のエッセンスを整理します。

証明すべき命題は以下の2点です。
1. すべての $1 \le j < k$ に対して、$\langle u_k, u_j \rangle = 0$ であること（直交性）。
2. $\text{span}(u_1, \dots, u_k) = \text{span}(x_1, \dots, x_k)$ であること（同一空間の生成）。

まず第1の直交性について、$u_k$ と任意の先行ベクトル $u_j$（$j < k$）との内積を取ります。内積の線形性を用いると、以下のように展開されます。

$$\langle u_k, u_j \rangle = \left\langle x_k - \sum_{i=1}^{k-1} \frac{\langle x_k, u_i \rangle}{\|u_i\|^2} u_i, \; u_j \right\rangle = \langle x_k, u_j \rangle - \sum_{i=1}^{k-1} \frac{\langle x_k, u_i \rangle}{\|u_i\|^2} \langle u_i, u_j \rangle$$

帰納法の仮定により、$i \ne j$ のとき $\langle u_i, u_j \rangle = 0$ です。したがって、シグマ記号の中で生き残るのは $i = j$ の項ただ1つに絞られます。

$$\langle u_k, u_j \rangle = \langle x_k, u_j \rangle - \frac{\langle x_k, u_j \rangle}{\|u_j\|^2} \langle u_j, u_j \rangle = \langle x_k, u_j \rangle - \langle x_k, u_j \rangle = 0$$

見事な相殺により、内積はゼロになります。また第2の張る空間の一致に関しても、$u_k$ は $x_k$ と先行する $u_1, \dots, u_{k-1}$ の線形結合であり、$x_k$ が線形独立である限り $u_k \ne 0$ が保証されるため、数学的帰納法によって次元を保ったまま直交空間へ写像されることが厳密に証明されます。