線代啟示錄

Hermitian 矩陣特徵值的變化界定

三月 16th, 2010 by 大俠

本文的閱讀等級：高級

在“二次型與正定矩陣”一文，我們曾經介紹對稱矩陣的特徵值與特徵向量於最佳化問題的用途，本文延續該文的討論並進一步將定義於實數域的對稱矩陣推廣至 Hermitian 複數矩陣（請參閱背景文章“特殊矩陣 (九)：Hermitian 矩陣”）。設 $A$ 為 $n$ 階 Hermitian 方陣，對於 $\mathcal{C}^n$ 中的任意向量 $\mathbf{x}$ ，二次型 $\mathbf{x}^{\ast}A\mathbf{x}$ 必為實數。考慮這兩個實數集合：

$\Phi=\left\{\frac{\mathbf{x}^{\ast}A\mathbf{x}}{\mathbf{x}^{\ast}\mathbf{x}}~\vline~\mathbf{x}\neq\mathbf{0}\right\}$

$\Psi=\left\{\mathbf{x}^{\ast}A\mathbf{x}~\vline~\Vert\mathbf{x}\Vert=1\right\}$

很明顯， $\Psi\subset\Phi$ 。另一方面，對於任意 $\mathbf{x}\neq\mathbf{0}$ ，令 $\mathbf{y}=\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}$ ，則 $\Vert\mathbf{y}\Vert=1$ 而且

$\frac{\mathbf{x}^{\ast}A\mathbf{x}}{\Vert\mathbf{x}\Vert^2}=\left(\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}\right)^{\ast}A\left(\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}\right)=\mathbf{y}^{\ast}A\mathbf{y}$

故集合 $\Phi$ 中的任何元素也都屬於 $\Psi$ ，所以 $\Phi=\Psi$ 。集合 $\Phi$ 中的表示式 $\frac{\mathbf{x}^{\ast}A\mathbf{x}}{\mathbf{x}^{\ast}\mathbf{x}}$ 稱為 Rayleigh quotient，它與特徵方程式 $A\mathbf{x}=\lambda\mathbf{x}$ 有著密切的關係。因為 Hermitian 矩陣的特徵值為實數，我們可以假設 $\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n$ ，下面這個定理描述了 Rayleigh quotient 的範圍。

Continue reading ‘Hermitian 矩陣特徵值的變化界定’

Tags: Courant-Fischer 定理, Hermitian 矩陣, Rayleigh quotient, Rayleigh 定理, 二次型, 特徵值. 專欄, 高級 5 Comments

每週問題 March 15, 2010

三月 15th, 2010 by 大俠

本週問題是證明若線性變換不改變二向量內積，則該線性變換為正交矩陣。

點選問題↓

Pow-March-15-10

Tags: 正交矩陣. 問題, 每週問題 Add a comment

可逆矩陣定理

三月 12th, 2010 by 大俠

本文的閱讀等級：初級

可逆矩陣定理貫穿線性代數的許多重要主題，如線性方程、線性獨立、向量空間、行列式、特徵值和奇異值；不論準備考試或自我充實，可逆矩陣定理好比「線代雞湯」是極佳的觀念複習濃縮菁華。本文並未給出可逆矩陣定理的完整證明，僅解釋部分陳述並說明常用的推論路徑。

Continue reading ‘可逆矩陣定理’

Tags: 可逆矩陣, 特徵值, 線性獨立, 行列式, 高斯消去法. 初級, 專欄 Add a comment

Schwarz 不等式

三月 10th, 2010 by 大俠

本文的閱讀等級：中級

Schwarz 不等式是一條應用廣泛的不等式，常見於線性代數的內積空間，數學分析的無窮級數，和連續函數乘積的積分。Schwarz 不等式給出內積空間中二向量內積大小與各自長度乘積的不等關係。設 $\mathbf{x}$ 和 $\mathbf{y}$ 為內積空間中的二向量，Schwarz 不等式說：

$\vert\left\langle\mathbf{x},\mathbf{y}\right\rangle\vert\le\Vert\mathbf{x}\Vert\cdot\Vert\mathbf{y}\Vert$

其中 $\left\langle\mathbf{x},\mathbf{y}\right\rangle$ 代表 $\mathbf{x}$ 和 $\mathbf{y}$ 的內積。

Continue reading ‘Schwarz 不等式’

Tags: Bessel 不等式, Cauchy 不等式, Schwarz 不等式, 三角不等式, 內積. 中級, 專欄 Add a comment

每週問題 March 8, 2010

三月 8th, 2010 by 大俠

本週問題是關於 LU 分解的演算法。貼上此題的用意是要介紹一個 $PA=LU$ 算法，既容易手算也適合電腦程式，此算法並未出現於兩年前錄製的教學光碟中。

點選問題↓

Pow-March-8-10

參考解答↓

PowSol-March-8-10

Tags: LU 分解, 高斯消去法. 問題, 每週問題 Add a comment

矩陣與複數的類比

三月 4th, 2010 by 大俠

本文的閱讀等級：高級

定義於複數域的 $n$ 階方陣代表 $\mathcal{C}^n$ 空間中的一個線性變換。除了少數特殊矩陣，如主對角矩陣、投影矩陣、旋轉矩陣，和反射矩陣等，學者經常無法清楚地掌握矩陣變換的確實行為，主要原因是人們很難想像高維度（ $n>3$ ）向量空間，遑論向量在這些空間中的變換。欲洞察任意方陣的映射行為雖非易事，但也不是全然無跡可循，本文介紹一個認識矩陣行為的方法——透過矩陣與複數的類比來區分界定重要的特殊方陣。（對複數矩陣陌生的讀者，請先閱讀背景文章 “從實數域到複數域”。）

Continue reading ‘矩陣與複數的類比’

Tags: Hermitian 矩陣, SVD, 奇異值分解, 極分解, 正交矩陣, 正定矩陣, 複數, 酉矩陣. 專欄, 高級 12 Comments

你不能不知道的矩陣秩

三月 2nd, 2010 by 大俠

本文的閱讀等級：初級

提及矩陣，我們經常以其外表尺寸描述它，例如，“矩陣 $A$ 是一個 $4\times 5$ 階矩陣”就表示 $A$ 有四個列和五個行，總計 $20$ 個元。如果矩陣的用途只是像電腦程式裡的陣列或數組（array）用來儲存物件，那麼表明幾何尺寸便足以規範其體量。在線性代數中，矩陣不僅是儲存體，它也代表向量空間之間的線性變換。很自然地，我們想要知道矩陣所表達的線性變換攜帶了多少訊息？淺白一點的說法是矩陣的“真實尺寸”為何？它與線性代數裡的空間概念又有何關聯？