> 中考 >

李航统计学习方法和机器学习方法

中考 2025-08-08 07:04中考时间www.ettschool.cn

李航教授的《统计学习方法》是机器学习领域的重要教材，系统介绍了统计学习的基本理论和方法。以下是核心内容的梳理：

1. 监督学习：从标注数据中学习输入到输出的映射规律，包括分类（离散输出）和回归（连续输出）问题。其本质是通过训练数据集构建预测模型，涉及输入空间、特征空间和输出空间的形式化定义。

2. 三要素：

模型：如感知机（线性分类模型）、K近邻法（基于实例的学习）。

策略：损失函数设计（如感知机的误分类损失）。

算法：优化方法（如梯度下降）。

3. 典型算法：

K近邻法：通过多数表决预测新实例类别，依赖距离度量和k值选择。

决策树：基于信息增益（如ID3算法）递归划分特征空间。

支持向量机：通过核函数处理非线性分类问题。

1. 矩阵运算：数据表示为向量/矩阵，涉及特征值、投影等概念。

2. 概率基础：包括随机变量的期望、方差计算，以及概率分布对模型的影响。

书中强调算法实现，例如：

决策树的剪枝通过动态规划优化泛化能力。

感知机原始形式与对偶形式的Python实现对比。

统计学习方法侧重概率模型和统计推断，而广义机器学习还包括学习等非概率方法。书中内容为后续学习神经网络、SVM等奠定了基础。

如需具体算法推导或代码示例，可进一步说明章节方向。