机器学习（3）——Logistic回归（Logistic Regression）

Answer 1

在学习阶段，计算机科学与人工智能专业背景下，深入探讨了机器学习系列的第三个主题——Logistic回归。此文章旨在构建在概率统计和线性回归知识基础上对机器学习的理论框架进行完善。文章首先介绍了线性分类问题，指出线性回归在处理该类问题时的局限性，通过实例形象地展示了线性回归模型与理想分类边界之间的偏差。接着，文章引入了Logistic回归的假设函数，解释了Sigmoid函数在实现非线性分类中的优势，并阐述了其在概率上的解释，即假设函数输出的值可以视为样本属于某类别的概率。进一步地，文章详细描述了Logistic回归的代价函数，采用极大似然估计法，通过交叉熵代价函数优化参数，确保了分类模型的准确性和泛化能力。在梯度下降法部分，文章揭示了梯度下降与Sigmoid函数结合后的简洁计算形式，展示了Logistic回归优化过程的高效性。高级优化算法的讨论，虽然涉及复杂算法，但强调了在实际应用中利用现成库调用优化算法的便利性。对于多元分类问题，文章区分了非互斥与互斥类别，详细阐述了非互斥多元分类的分解方法以及互斥多元分类中softmax函数的引入与应用。文章最后通过softmax函数在计算概率分布上的优势，解释了如何通过极大似然估计法计算多元分类的交叉熵代价函数，并强调了独热编码在实现中的一致性。