机器学习

Posted on |

机器学习相关问题

数学基础

  1. 请问（决策树、Random Forest、Booting、Adaboot）GBDT和XGBoost的区别是什么？
    机器学习复习笔记之集成学习
    机器学习之梯度提升决策树(GBDT)
    ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结

西瓜书详细讲解不同集成方法

朴素贝叶斯法

知识点：

  • 朴素贝叶斯法的学习与预测
  • 后验概率最大化的含义：0-1损失函数时期望风险最小化等价于后验概率最大化
  • 朴素贝叶斯的参数估计
    • 极大似然估计
    • 贝叶斯估计：在随机变量的各个取值的频数上赋予一个整数$lambda$

朴素贝叶斯法是典型的生成学习方法。

  • 基于特征条件独立假设，利用训练数据集学习条件概率$P(X|Y)$和先验概率$P(Y)$的估计，得到输入和输出的联合概率分布$P(X,Y)$。概率估计方法可以是极大似然估计、贝叶斯估计。
  • 利用贝叶斯定理和学习到的联合概率模型进行分类与预测，将输入x分到后验概率最大的类y

贝叶斯决策论

贝叶斯判定准则：最小化总体风险，只需要在每个样本上选择那个使条件风险最小的类别标记

拉普拉斯修正：避免了因训练数据集样本不充分而导致概率估计值为零的问题，并且在训练数据集变大时，修正过程所引入的先验的影响也会逐渐变得可忽略，使得估计值见趋向于实际概率值。

简述

EM算法是不断求解下界的极大化逼近求解不完全数据对数似然函数$\log P(Y|\theta)$极大化的算法

算法

对于一个含有隐变量的概率模型，其目标是极大化观测数据（不完全数据）关于参数的对数似然函数

EM算法是通过迭代逐步逼近极大化似然函数$L(\theta)$

不断求解似然函数的下界的极大化，逼近求解似然函数的极大化（省去对$\theta$而言是是常数的项）

EM算法的一次迭代，就是求解Q函数及其极大化

优点及缺点：

  • 优点：算法的简单性和普适性
  • 缺点：EM算法不能保证收敛到全局最优；对初值是敏感的

    推导：

    收敛性证明：$P(Y|\theta^(i))$对数似然函数序列是单调递增的。
    应用及推广：混合高斯模型的参数估计、隐马尔可夫模型的非监督学习
    关键词：概率模型参数估计、隐变量、
  • 博客：极大似然函数估计和贝叶斯估计详解

集锦