AdaBoost（Adaptive Boosting）是一种用于二分类问题的集成学习算法，通过结合多个弱分类器来构建一个强分类器。以下是AdaBoost算法的详细说明：
基本思想：
初始化权重： 对每个样本赋予初始的权重，初始时所有样本的权重相等。
迭代训练： 进行多轮迭代，每一轮训练都会构建一个弱分类器，并调整样本的权重。
弱分类器选择： 在每轮训练中，选择一个弱分类器，该分类器应该在当前样本分布下表现相对较好。
权重调整： 根据弱分类器的错误率，调整被错误分类样本的权重，使其在下一轮训练中受到更多关注。
强分类器构建： 将每个弱分类器赋予一个权重，最终通过加权组合形成一个强分类器。
最终预测： 对于新样本，通过强分类器的加权组合进行预测。
算法步骤：
初始化权重：
- 对于有N个样本的训练集，每个样本的初始权重为 1/N。
迭代训练：
- 对于每一轮迭代 t=1,2,…,T，执行以下步骤：
- 训练一个弱分类器 ht，该分类器在当前样本分布下表现较好。
- 计算弱分类器的错误率errt，即被错误分类的样本的权重之和。
- 计算弱分类器的权重
- 更新样本权重：对于被错误分类的样本，增加其权重；对于被正确分类的样本，降低其权重。
- 归一化样本权重，确保它们的总和仍为1。
强分类器构建：
- 将每个弱分类器 ht 乘以其权重 αt，并将它们加权求和，得到最终的强分类器 H(x)=∑t=1Tαtht(x)。
最终预测：
- 对于新样本，通过强分类器 H(x) 进行二分类预测。
特点与优势：
适应性： AdaBoost会根据之前的错误调整样本权重，从而对之前的错误更加敏感，提高了模型的适应性。
简单的弱分类器： AdaBoost可以使用简单的弱分类器，例如深度为1的决策树桩，而仍能得到强大的整体模型。
降低过拟合风险： 通过对每一轮训练中的错误样本加权，AdaBoost减少了对噪声的过度拟合，提高了模型的泛化能力。
不需要调整太多参数： AdaBoost的主要参数是迭代轮数（T），通常不需要过多的调整。
AdaBoost在实际应用中表现良好，但对异常值敏感，因此在使用时需要注意数据的质量。