机器学习方法公式推导

一、线性回归

1. 最小二乘法：通过最小化残差平方和求解参数，目标函数为 $L(w)=\\sum_{y_i

2. 几何解释：投影后同类样本方差最小化与异类样本中心距离最大化

二、逻辑回归

1. Sigmoid函数：$g(z)=\\frac{1}{1+e^{-z}}$ 将线性输出映射为概率

2. 极大似然估计：联合概率 $P(y|x;w)=(h_w(x))^y(1-h_w(x))^{1-y}$，对数似然函数为 $\\sum y_i\\log h_w(x_i)+(1-y_i)\\log(1-h_w(x_i))$

3. 梯度下降：通过 $\\frac{\\partial J(w)}{\\partial w}$ 更新权重

三、支持向量机（SVM）

1. 间隔最大化：优化目标 $\\min \\frac{1}{2}||w||^2$ s.t. $y_i(w^Tx_i+b)\\geq1$

2. 拉格朗日对偶：引入乘子 $\\alpha_i$ 转化为对偶问题求解

四、神经网络

1. 反向传播：链式法则计算 $\\frac{\\partial L}{\\partial w}=\\frac{\\partial L}{\\partial z}\\frac{\\partial z}{\\partial w}$

2. LSTM门控：遗忘门 $f_t=\\sigma(W_f[h_{t-1},x_t]+b_f)$ 控制信息流

五、优化方法

1. 梯度下降：参数更新 $w_{t+1}=w_t-\\eta\

abla L(w_t)$

2. 动量法：引入历史梯度加权 $v_t=\\gamma v_{t-1}+\\eta\

abla L(w_t)$

3. 自适应方法：如Adam结合动量和学习率调整

建议结合南瓜书与西瓜书系统学习推导细节，并通过代码实现加深理解。