来源:公众号SIGAI
本文仅用于学习交流分享,如有侵权请联系删除
相对于微积分,线性代数似乎用的更多,而且有一部分属于矩阵论/矩阵分析的范畴,超出了工科线性代数教材的范围。下面列出线性代数和矩阵论的常用知识点。
**向量及其运算。**机器学习算法的输入很多时候是向量,如样本的特征向量。因此熟练掌握向量以及常用的运算是理解机器学习的基础。
**矩阵及其运算。**与向量一样,是线性代数的核心概念,各种运算,常用矩阵,必须烂熟于心。
**行列式。**直接使用的少,在概率论,某些模型的推导中偶尔使用。
**线性方程组。**直接使用的少,但这是线性代数的核心内容。
**特征值与特征向量。**在机器学习中被广泛使用,很多问题最后归结于求解矩阵的特征值和特征向量。如流形学习,谱聚类,线性判别分析,主成分分析等。
**广义特征值。**工科线性代数教材一般不提及此概念,但在流形学习,谱聚类等算法中经常用到它。
**Rayleigh商。**工科教材一般不提及它。在某些算法的推导过程中会用到,如线性判别分析。
**矩阵的谱范数与条件数。**工科教材一般不提及它。在某些算法的分析中会用到它,它刻画了矩阵的重要性质。
**二次型。**很多目标函数是二次函数,因此二次型的地位不言而喻。
**Cholesky分解。**某些算法的推导中会用到它,工科教材一般不提及它。
**特征值分解。**对机器学习非常重要,很多问题最后归结于特征值分解,如主成分分析,线性判别分析等。
**奇异值分解。**在机器学习中广泛使用,从正态贝叶斯分类器,到主题模型等,都有它的影子。
参考书目:
线性代数可以看矩阵分析,如果想更全面系统的学习,可以看斯蒂文的这本线性代数。