【机器学习】normalization中的norm

Answer 1

在探讨机器学习中的"normalization"时，我们首先需要理解其中的"norm"这一概念。在数学领域，norm被定义为一种度量，用以评估向量的大小或长度。在机器学习的上下文中，它用于标准化数据，确保不同量级的特征在同一尺度上。这使得模型的训练更加有效率，避免因特征量级差异导致的权重偏斜。

在"Machine Learning With Python Cookbook"一书中，我们学习了三种常见的norm：L1、L2和L0。L0范数虽然在处理0和非0值问题上表现良好，但在实践中很少使用，因此不在讨论范围内。而L1和L2范数则是两种主要的norm。

L1范数，也称为曼哈顿范数或Taxicab范数，通过将向量中所有元素的绝对值累加求和来衡量其大小。类比于一个人在街区中从一个点到另一个点，选择最直接的路径。L2范数，即欧几里得范数，通过计算向量中所有元素的平方和后开方来度量其大小。这相当于鸟瞰视图下两点之间的直线距离，直觉上与勾股定理相关联。

归一化的过程，本质上是将数据值映射到一个统一的范围，比如0到1。这有助于消除特征间的量级差异，使机器学习模型能更公平地处理每个特征。在实践中，归一化通常通过将原始数据除以其对应的norm来实现。

以具体例子来展示L1和L2范数的计算：假设我们有两个向量的元素分别为1.1和3.4。

对于L2范数，我们先计算元素的平方和，然后对总和开方得到归一化因子。对于给定的向量，L2范数为`sqrt(1.1^2 + 3.4^2)`，计算结果为约1.86。接着，我们将每个元素分别除以这个值，得到归一化后的向量元素为0.3078和0.9514。

相比之下，L1范数通过简单地将向量中所有元素的绝对值相加以得到其大小。对于同一向量，L1范数为`1.1 + 3.4`，结果为4.5。通过将每个元素除以L1范数，我们得到归一化后的向量元素为0.2444和0.7556。

综上所述，归一化是确保特征在同一尺度上进行比较和处理的一种有效策略。选择适当的norm（如L1或L2）取决于特定的场景需求，以及希望在数据点间如何度量距离或大小。通过标准化数据，机器学习模型能更有效地学习特征间的关联，从而提升预测和分类的准确性。