Skip to content

Latest commit

 

History

History
41 lines (21 loc) · 2.24 KB

机器学习与深度学习中的数学知识点汇总(三)线性代数.md

File metadata and controls

41 lines (21 loc) · 2.24 KB

机器学习与深度学习中的数学知识点汇总(三)

来源:公众号SIGAI

本文仅用于学习交流分享,如有侵权请联系删除


线性代数与矩阵论

相对于微积分,线性代数似乎用的更多,而且有一部分属于矩阵论/矩阵分析的范畴,超出了工科线性代数教材的范围。下面列出线性代数和矩阵论的常用知识点。

**向量及其运算。**机器学习算法的输入很多时候是向量,如样本的特征向量。因此熟练掌握向量以及常用的运算是理解机器学习的基础。

**矩阵及其运算。**与向量一样,是线性代数的核心概念,各种运算,常用矩阵,必须烂熟于心。

**行列式。**直接使用的少,在概率论,某些模型的推导中偶尔使用。

**线性方程组。**直接使用的少,但这是线性代数的核心内容。

**特征值与特征向量。**在机器学习中被广泛使用,很多问题最后归结于求解矩阵的特征值和特征向量。如流形学习,谱聚类,线性判别分析,主成分分析等。

**广义特征值。**工科线性代数教材一般不提及此概念,但在流形学习,谱聚类等算法中经常用到它。

**Rayleigh商。**工科教材一般不提及它。在某些算法的推导过程中会用到,如线性判别分析。

**矩阵的谱范数与条件数。**工科教材一般不提及它。在某些算法的分析中会用到它,它刻画了矩阵的重要性质。

**二次型。**很多目标函数是二次函数,因此二次型的地位不言而喻。

**Cholesky分解。**某些算法的推导中会用到它,工科教材一般不提及它。

**特征值分解。**对机器学习非常重要,很多问题最后归结于特征值分解,如主成分分析,线性判别分析等。

**奇异值分解。**在机器学习中广泛使用,从正态贝叶斯分类器,到主题模型等,都有它的影子。

参考书目:

线性代数可以看矩阵分析,如果想更全面系统的学习,可以看斯蒂文的这本线性代数。

img