11.18课堂作业：线性与非线性分类/回归的几何意义
作业题目
题目：对比分析线性与非线性分类/回归的几何意义，理解不同模型的决策边界特征。
几何对比图
图：线性与非线性分类/回归的几何意义对比
一、线性分类（左上图）
几何意义
- 用一条直线（或高维超平面）将数据点分成两个类别
- 决策边界是线性的，可以用线性方程表示：\(w_1x_1 + w_2x_2 + b = 0\)
特点
决策边界为直线
简洁明了
区域划分
绿色线条代表分类边界，红色和蓝色区域分别对应两个类别的决策区域
适用场景
适用于线性可分的数据
数学表达
$$f(x) = w_1x_1 + w_2x_2 + b$$
类别预测：
$$y = \begin{cases}
1 & \text{if } f(x) \geq 0 \\
0 & \text{if } f(x) < 0
\end{cases}$$
二、线性回归（右上图）
几何意义
- 用一条直线拟合连续的目标值
- 试图最小化预测值与真实值之间的垂直距离（残差）
特点
回归线
绿色直线表示回归线
残差
红色虚线表示残差（预测误差）
目标
找到最佳拟合直线 \(y = ax + b\)
数学表达
$$y = ax + b$$
目标：最小化均方误差（最小二乘法）
$$\min \sum_{i=1}^{n}(y_i - \hat{y}_i)^2$$
三、非线性分类（左下图）
几何意义
- 用复杂的曲线（如圆形、椭圆等）作为决策边界
- 能够处理线性不可分的数据分布
特点
决策边界为曲线
绿色圆圈代表分类边界
复杂分布
能够分离环形分布的数据
区域划分
内圆为一个类别，外圆为另一个类别
数学表达
圆形决策边界：
$$f(x) = x_1^2 + x_2^2 - r^2$$
类别预测：
$$y = \begin{cases}
1 & \text{if } f(x) \geq 0 \\
0 & \text{if } f(x) < 0
\end{cases}$$
四、非线性回归（右下图）
几何意义
- 用曲线（如抛物线）拟合连续的目标值
- 捕捉数据中的非线性趋势
特点
回归曲线
绿色曲线表示非线性回归曲线
拟合能力
能够拟合具有弯曲趋势的数据
多项式
二次函数 \(y = ax^2 + bx + c\)
数学表达
二次多项式回归：
$$y = ax^2 + bx + c$$
目标：最小化均方误差
$$\min \sum_{i=1}^{n}(y_i - \hat{y}_i)^2$$
五、线性与非线性对比总结
| 特征 | 线性模型 | 非线性模型 |
|---|---|---|
| 决策边界/拟合曲线 | 直线或超平面 | 曲线或曲面 |
| 数学形式 | 线性方程 | 多项式、指数、对数等 |
| 模型复杂度 | 简单 | 复杂 |
| 计算效率 | 高 | 相对较低 |
| 可解释性 | 强 | 弱 |
| 过拟合风险 | 低 | 高 |
| 适用数据 | 线性可分/线性趋势 | 复杂分布/非线性趋势 |
| 典型算法 | 线性回归、逻辑回归、SVM（线性核） | 多项式回归、决策树、神经网络、SVM（非线性核） |
关键要点
- 线性模型：简单、高效、可解释性强，但表达能力有限
- 非线性模型：表达能力强，能处理复杂数据，但容易过拟合且计算复杂
- 选择原则：优先尝试线性模型，如果性能不足再考虑非线性模型
- 实践建议：通过交叉验证选择合适的模型复杂度