机器学习之归一化（Normalization)

Answer 1

在机器学习的实践中，特征处理占据了大量时间，其中关键步骤之一就是归一化，它为何如此重要？

归一化，即数据标准化，是通过算法处理使数据限定在特定范围内，消除不同指标的量纲和单位影响，提高数据的可比性。其主要目的是将不同来源的数据统一到同一数量级，便于比较和后续分析。

归一化有两大显著优势：一是提升梯度下降法求解最优解的效率。如图所示，原始特征区间差异大可能导致梯度下降路径曲折，归一化后的等高线圆滑，有助于更快收敛。二是可能提高分类器的精度，比如在计算样本间距离时，归一化可以帮助确保重要特征的影响更大。

常见的归一化方法包括线性归一化（将数据映射到[0,1]区间）、标准差归一化（数据均值为0，标准差为1）以及非线性归一化（根据数据分布选择适当函数）。在深度学习中，归一化也应用于激活函数、解决梯度消失问题、批量归一化和自归一化神经网络等场景。

总结来说，当对输出范围有特定要求，或者数据稳定，没有极端值时，归一化是个不错的选择。而对于异常值和噪声较多的数据，标准差归一化可以间接通过中心化减少它们的影响。