人工智能数学基础

7.3.4 KL散度在机器学习中的应用

7.3.3 KL散度的性质

7.3.2 从熵编码的角度理解KL散度

7.3.1 KL散度的定义

7.3 KL散度

7.2.4 交叉熵损失函数

7.2.3 概率分布推断

7.2.2 交叉熵的性质

7.2.1 交叉熵的定义

7.2 交叉熵与损失函数

7.1.6 熵在机器学习中的应用

7.1.5 熵的性质

7.1.4 互信息

7.1.3 条件熵

7.1.2 联合熵

7.1.1 熵的概念

7.1 熵

第7章 信息论的基础概念

本章参考文献

6.4.4 贝叶斯估计

6.4.3 贝叶斯最优分类器

6.4.2 最大后验估计

6.4.1 最大似然估计

6.4 机器学习中的参数估计

6.3.3 中心极限定理

6.3.2 大数定律

6.3.1 随机变量的矩与切比雪夫不等式

6.3 极限理论

6.2.4 方差和协方差在PCA中的应用举例

6.2.3 协方差与相关系数

6.2.2 方差

6.2.1 随机变量的数学期望

6.2 随机变量的数字特征

6.1.7 条件概率与条件分布

6.1.6 多维随机变量及其分布

6.1.5 随机变量的函数及其分布

6.1.4 连续型随机变量

6.1.3 离散型随机变量

6.1.2 随机变量

6.1.1 概率的基本概念

6.1 随机变量及其分布

第6章 概率模型

本章参考文献

5.6.4 软间隔最大化

5.6.3 线性可分支持向量机

5.6.2 支持向量机的动机与基本概念

5.6.1 优化算法求解机器学习问题的一般模式

5.6 优化算法在机器学习中的应用

5.5.2 拟牛顿法的定义

5.5.1 牛顿法的定义

5.5 牛顿法

5.4.3 随机梯度下降算法

5.4.2 梯度下降算法

5.4.1 最速下降方向

5.4 梯度下降法

5.3.3 KKT条件

5.3.2 约束问题的最优性条件

5.3.1 无约束问题的最优性条件

5.3 最优性条件

5.2.3 可行方向与下降方向

5.2.2 优化算法的一般思路

5.2.1 最优化问题及解的定义

5.2 最优化问题与求解算法的一般形式

5.1.3 凸函数的判定

5.1.2 凸函数

5.1.1 凸集

5.1 凸集与凸函数

第5章 最优化理论与算法

本章参考文献

4.4.4 矩阵奇异值分解的应用

4.4.3 矩阵奇异值分解的意义及逼近

4.4.2 矩阵奇异值分解的计算

4.4.1 矩阵奇异值分解的定义

4.4 矩阵的奇异值分解

4.3.3 矩阵特征值分解的应用

4.3.2 矩阵特征值分解的本质

4.3.1 矩阵特征值分解的定义

4.3 矩阵的特征值分解

4.2.2 利用施密特正交化方法进行矩阵的QR分解

4.2.1 矩阵QR分解的定义

4.2 矩阵的QR分解

4.1.4 利用矩阵的LU分解求解线性方程组

4.1.3 矩阵LU分解的扩展形式

4.1.2 矩阵LU分解的条件

4.1.1 矩阵LU分解的定义及本质

4.1 矩阵的LU分解

第4章 矩阵分解

本章参考文献

3.6.3 标准正交基的常用性质

3.6.2 施密特正交化方法

3.6.1 内积空间的定义

3.6 内积空间

3.5.3 线性变换的定义

3.5.2 坐标变换的定义

3.5.1 基变换的定义

3.5 线性变换

3.4.2 线性空间的基与维数

3.4.1 线性空间的相关定义

3.4 线性空间

3.3.4 正交矩阵和对称矩阵的对角化

3.3.3 相似矩阵与相似对角化

3.3.2 特征值与特征向量的基本性质

3.3.1 特征值与特征向量的定义

3.3 特征值与特征向量

3.2.2 向量组的秩

3.2.1 线性组合

3.2 向量组的线性相关性

3.1.2 矩阵的秩

3.1.1 矩阵的初等变换

3.1 矩阵秩的概述

第3章 矩阵与线性变换

本章参考文献

2.4.2 一阶微分方程的概述

2.4.1 常微分方程的概述

2.4 常微分方程

2.3.4 多重积分

2.3.3 广义积分

2.3.2 定积分

2.3.1 不定积分

2.3 积分

2.2.2 微分中值定理

2.2.1 微分的概述

2.2 微分

2.1.4 机器学习中常见函数的导数

2.1.3 泰勒公式

2.1.2 梯度、雅可比矩阵和黑塞矩阵

2.1.1 导数、偏导数与方向导数

2.1 导数

第2章 微积分的基础概念

本章参考文献

1.5.2 函数的连续性

1.5.1 函数的极限

1.5 函数的极限与连续性

1.4.3 行列式的几何意义

1.4.2 行列式的性质

1.4.1 行列式的定义

1.4 行列式

1.3.4 深入理解矩阵因子的几何意义

1.3.3 逆矩阵

1.3.2 矩阵的基本运算

1.3.1 矩阵的定义

1.3 矩阵的定义及其基本运算

1.2.4 向量的范数

1.2.3 向量的外积

1.2.2 向量的内积

1.2.1 向量和线性空间

1.2 向量与范数

1.1 人工智能需要数学的原因

第1章 代数学和分析学的基础概念

前言

内容简介

版权信息

封面

封面

版权信息

内容简介

前言

第1章 代数学和分析学的基础概念

1.1 人工智能需要数学的原因

1.2 向量与范数

1.2.1 向量和线性空间

1.2.2 向量的内积

1.2.3 向量的外积

1.2.4 向量的范数

1.3 矩阵的定义及其基本运算

1.3.1 矩阵的定义

1.3.2 矩阵的基本运算

1.3.3 逆矩阵

1.3.4 深入理解矩阵因子的几何意义

1.4 行列式

1.4.1 行列式的定义

1.4.2 行列式的性质

1.4.3 行列式的几何意义

1.5 函数的极限与连续性

1.5.1 函数的极限

1.5.2 函数的连续性

本章参考文献

第2章 微积分的基础概念

2.1 导数

2.1.1 导数、偏导数与方向导数

2.1.2 梯度、雅可比矩阵和黑塞矩阵

2.1.3 泰勒公式

2.1.4 机器学习中常见函数的导数

2.2 微分

2.2.1 微分的概述

2.2.2 微分中值定理

2.3 积分

2.3.1 不定积分

2.3.2 定积分

2.3.3 广义积分

2.3.4 多重积分

2.4 常微分方程

2.4.1 常微分方程的概述

2.4.2 一阶微分方程的概述

本章参考文献

第3章 矩阵与线性变换

3.1 矩阵秩的概述

3.1.1 矩阵的初等变换

3.1.2 矩阵的秩

3.2 向量组的线性相关性

3.2.1 线性组合

3.2.2 向量组的秩

3.3 特征值与特征向量

3.3.1 特征值与特征向量的定义

3.3.2 特征值与特征向量的基本性质

3.3.3 相似矩阵与相似对角化

3.3.4 正交矩阵和对称矩阵的对角化

3.4 线性空间

3.4.1 线性空间的相关定义

3.4.2 线性空间的基与维数

3.5 线性变换

3.5.1 基变换的定义

3.5.2 坐标变换的定义

3.5.3 线性变换的定义

3.6 内积空间

3.6.1 内积空间的定义

3.6.2 施密特正交化方法

3.6.3 标准正交基的常用性质

本章参考文献

第4章 矩阵分解

4.1 矩阵的LU分解

4.1.1 矩阵LU分解的定义及本质

4.1.2 矩阵LU分解的条件

4.1.3 矩阵LU分解的扩展形式

4.1.4 利用矩阵的LU分解求解线性方程组

4.2 矩阵的QR分解

4.2.1 矩阵QR分解的定义

4.2.2 利用施密特正交化方法进行矩阵的QR分解

4.3 矩阵的特征值分解

4.3.1 矩阵特征值分解的定义

4.3.2 矩阵特征值分解的本质

4.3.3 矩阵特征值分解的应用

4.4 矩阵的奇异值分解

4.4.1 矩阵奇异值分解的定义

4.4.2 矩阵奇异值分解的计算

4.4.3 矩阵奇异值分解的意义及逼近

4.4.4 矩阵奇异值分解的应用

本章参考文献

第5章 最优化理论与算法

5.1 凸集与凸函数

5.1.1 凸集

5.1.2 凸函数

5.1.3 凸函数的判定

5.2 最优化问题与求解算法的一般形式

5.2.1 最优化问题及解的定义

5.2.2 优化算法的一般思路

5.2.3 可行方向与下降方向

5.3 最优性条件

5.3.1 无约束问题的最优性条件

5.3.2 约束问题的最优性条件

5.3.3 KKT条件

5.4 梯度下降法

5.4.1 最速下降方向

5.4.2 梯度下降算法

5.4.3 随机梯度下降算法

5.5 牛顿法

5.5.1 牛顿法的定义

5.5.2 拟牛顿法的定义

5.6 优化算法在机器学习中的应用

5.6.1 优化算法求解机器学习问题的一般模式

5.6.2 支持向量机的动机与基本概念

5.6.3 线性可分支持向量机

5.6.4 软间隔最大化

本章参考文献

第6章 概率模型

6.1 随机变量及其分布

6.1.1 概率的基本概念

6.1.2 随机变量

6.1.3 离散型随机变量

6.1.4 连续型随机变量

6.1.5 随机变量的函数及其分布

6.1.6 多维随机变量及其分布

6.1.7 条件概率与条件分布

6.2 随机变量的数字特征

6.2.1 随机变量的数学期望

6.2.2 方差

6.2.3 协方差与相关系数

6.2.4 方差和协方差在PCA中的应用举例

6.3 极限理论

6.3.1 随机变量的矩与切比雪夫不等式

6.3.2 大数定律

6.3.3 中心极限定理

6.4 机器学习中的参数估计

6.4.1 最大似然估计

6.4.2 最大后验估计

6.4.3 贝叶斯最优分类器

6.4.4 贝叶斯估计

本章参考文献

第7章 信息论的基础概念

7.1 熵

7.1.1 熵的概念

7.1.2 联合熵

7.1.3 条件熵

7.1.4 互信息

7.1.5 熵的性质

7.1.6 熵在机器学习中的应用

7.2 交叉熵与损失函数

7.2.1 交叉熵的定义

7.2.2 交叉熵的性质

7.2.3 概率分布推断

7.2.4 交叉熵损失函数

7.3 KL散度

7.3.1 KL散度的定义

7.3.2 从熵编码的角度理解KL散度

7.3.3 KL散度的性质

7.3.4 KL散度在机器学习中的应用