矩阵分析

作者：吉恩·戈卢布，查尔斯·范洛恩

国籍：美国

出处：矩阵计算（第四版）

中文译文：在矩阵计算领域，算法的推到与分析需要借助线性代数的知识作为工具，2.1节介绍了线性代数的一些基础知识。范数在算法分析中起着特别重要的作用，在2.2节和2.3节，我们分别介绍向量范数和矩阵范数。2.4节引入了普遍存在的奇异值分解，然后在2.5节用它定义CS分解，介绍它对量度子空间分离度量的影响。在2.6节，我们研究了当A和b受到扰动时，线性方程组的解是如何变化的。同时，也适时引入了问题敏感度、向后误差分析和条件数等概念。这些是贯穿全书的核心。为了完成这一章，我们在2.7节开发了一个基于IEEE标准的有限精度浮点算法模型，并且给出舍入误差分析的几个典型实例。

2.1 线性代数的基本思想

本节我们快速回顾一下线性代数的知识，更多的细节内容请参考各节文献。

2.1.1 线性无关，子空间，基，维数

对于中的一组向量,若蕴涵,则称是线性无关的。反之，若有的非平凡组合为零，则我们称是线性相关的。

如果的子集也构成向量空间，那么称其为的子空间。给定一组向量，其所有的线性组合构成一个子空间，称为的张成空间：

.

若是线性无关的且，则b仅能表示成的唯一一个线性组合。

若是的子空间，则它们的和是由定义的子空间。若每个都有唯一表示(其中)，则称S为直和，此时我们记.的交集也是一个子空间,.

若向量组线性无关,且不真包含于的任何线性无关组中，则称其为的一个极大线性无关组。若是极大线性无关组，则,且是的一组基。若是一个子空间，则可以找到线性无关的基向量满足.一个子空间S的所有集中都含有相同数量的向量，这个数量称为S的维数，记作.

2.1.2 值域，零空间，秩

有两个与的矩阵A相关的重要子空间。A的值域定义为

.

A的零空间定义为

.

若是根据列划分的，则

.

矩阵A的秩定义为

.

设,那么

.

如果,我们称为秩亏损的。矩阵的秩是线性无关列（或行）的最大数量。

2.1.3 逆矩阵

若A和X都属于,且满足,则称X为A的逆矩阵，记作.若存在，则称A是非奇异的，反之称A为奇异的。乘积的逆等于逆的反序乘积：

同样地，逆的转置等于转置的逆：

2.1.4 Sherman-Morrison-Woodbury公式

恒等式

表明了逆的变化和矩阵的变化的关系。假设,U和V都是矩阵，Sherman-Morrison-Woodbury公式给出的逆的一个简便表达式：

矩阵的秩k的变化导致逆矩阵的秩k的变化。在（2.1.4）中，我们假定A和都是非奇异的。

的例子非常有用。若是非奇异的，,且，则

这称为Sherman-Morrison-Woodbury公式。

2.1.5 正交性

如果对任意都有,则称中的向量组是正交的。进一步，若,则称其为规范正交。显然，正交向量组是极大线性无关组，因为它们的方向各不相同。

中的一组子空间称为相互正交的，如果对于任意的和都有.子空间的正交补定义为：

不难证明.对于子空间，若向量组规范正交且张成S，则称其为S的一组规范正交基。

若矩阵满足，则Q称为正交矩阵。若是正交的，则形成的一组规范正交基。总可以把一组基扩充为的规范正交基.

定理2.1.1 若的各列是规范正交的，则存在使得

是正交的。注意，.

证明 这是初等线性代数中的基本结论，也是我们将在5.2节中给出的QR分解的推论。

2.1.6 行列式

若，则其行列式.矩阵的行列式可以由阶行列式定义为：

这里是从A中去掉第1行和第j列后得到的矩阵。熟知的行列式性质包括：,其中

.此外，当且仅当A是非奇异的。

2.1.7 特征值和特征向量

在学习本书的特征值的主要章节（第7章和第8章）之前，我们需要了解一些基本性质，以便能够更好地理解奇异值分解（2.4节）、正定性（4.2节）和线性方程组的各种快速求解方法（4.8节）.

矩阵的特征值就是其特征多项式

的零点。因此，每个矩阵都有n个特征值，A的特征值的集合记为

如果A的特征值是实数，那么我们将它们从小到大排列如下:

在这种情况下，有时使用符号和分别表示和.

如果矩阵是非奇异的，且,则称A与B是相似的。如果两个矩阵相似，那么它们具有完全相同的特征值。

若,则存在非零向量x使得此时，这样的向量称为A的对应于的特征向量。若有n个线性无关的特征向量且对于有,那么A是可对角化矩阵。相应地，若

那么

并非所有的矩阵都可以对角化。然而，如果是对称矩阵，那么存在正交矩阵Q使得

这称为Schur分解。对称矩阵的最大特征值和最小特征值满足

和

2.1.8 微分

设是标量，且是由元素组成的矩阵，如果对所有的i和j,都是的可微函数，则我们记为矩阵的微分，且

微分是一个有用的工具，有时可以提供对矩阵敏感度问题的深刻理解。

2.2 向量范数

向量空间上范数的作用就像绝对值。它给出了距离的度量。更准确地说，及其范数定义了一个度量空间，涉及领域、开集、收敛和连续性等熟悉的概念。

2.2.1 定义

上的向量范数是满足以下性质的函数

我们用双竖线记号表示此类函数：双竖线的下标用于区分不同的范数。一类有用的向量函数是p-范数，定义为：

其中最重要的是1-范数、2-范数和-范数：

关于范数的单位向量是指满足的向量x.

2.2.2 向量范数的性质

关于p-范数的一个经典结论是不等式：

一个非常重要的特殊情形是Cauchy-Schwarz不等式：

上的所有范数都是等价的，也就是说，若和是上的两个范数，则存在正常数和使得

对于所有的都成立。例如，如果，那么我们有

最后，我们知道，2-范数在正交变换下保持不变，事实上，如果是正交矩阵，,那么

2.2.3 绝对误差和相对误差

假设是的一个近似值。对于给定的向量范数，我们称

为的绝对误差。若，则称

为的相对误差。在-范数下相对误差可以换成具有正确有效数字的数量这一说法。具体来说，如果

那么，的最大分量大约有个正确的有效数字。例如，若且，则.注意，大约有3个有效数字是正确的，而只有一个有效数字是正确的。

2.2.4 收敛性

如果

,

则称n维向量序列收敛到向量x.由（2.2.4）可知，任何特定范数下的收敛意味着所有范数收敛。

附：外文原文

The analysis and derivation of algorithms in the matrix computation area requires a facility with linear algebra. Some of the basics are reviewed in sect;2.1. Norms are particularly important, and we step through the vector and matrix cases in sect;2.2 and sect;2.3. The ubiquitous singular value decomposition is introduced in sect;2.4 and then used in the next section to define the CS decomposition and its ramifications for the measurement of subspace separation. In sect;2.6 we examine how the solution to a linear system changes if A and b are perturbed. It is the ideal setting for introducing the concepts of problem sensitivity, backward error analysis, and condition number. These ideas are central throughout the text. To complete the chapter we develop a model of finite-precision floating point arithmetic based on the IEEE standard. Several canonical examples of roundoff error analysis are offered.

2.1 Basic Ideas from Linear Algebra

This section is a quick review of linear algebra. Readers who wish a more detailed coverage should consult the references at the end of the section.

2.1.1 Independence, Subspace, Basis, and Dimension

A set of vectors in is linearly independent if implies . Otherwise, a nontrivial combination of the is zero and is said to be linearly dependent.

A subspace of is a subset that is also a vector space. Given a collection of vectors, the set of all linear combinations of these vectors is a subspace referred to as the span of ：

.

If is a independent and , then b is a unique linear combination of the .

If are subspaces of , then their sum is the subspace defined by .S is said to be a direct sum if each has a unique representation with . In this case we write . The intersection of the is also a subspace, .

The subset is a maximal linearly independent subset of if it is linearly independent and is not properly contained in any linearly independent subset of . If is maximal, then and is a basis for span. If is a subspace, then it is possible to find independent basic vectors such that . All bases for a subspace S have the same number of elements. This number is the dimension and is denoted by .

2.1.2 Range, Null Space, and Rank

There are two important subspaces associated with an m-by-n matrix A. The range of A is defined by

.

And the of A is defined by

.

If is a column partitioning, then

.

The rank of a matrix A is defined by

.

If , then

.

We say that is rank deficient if . The rank of a matrix is the maximal

剩余内容已隐藏，支付完成后下载完整资料

---

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[595836]，资料为PDF文档或Word文档，PDF文档可免费转换为Word