1. 公式推導(dǎo)一定要會(huì)
2. 邏輯回歸的基本概念
這個(gè)最好從廣義線性模型的角度分析，邏輯回歸是假設(shè)y服從Bernoulli分布。
3. L1-norm和L2-norm
其實(shí)稀疏的根本還是在于L0-norm也就是直接統(tǒng)計(jì)參數(shù)不為0的個(gè)數(shù)作為規(guī)則項(xiàng)，但實(shí)際上卻不好執(zhí)行于是引入了L1-norm;而L1norm本質(zhì)上是假設(shè)參數(shù)先驗(yàn)是服從Laplace分布的，而L2-norm是假設(shè)參數(shù)先驗(yàn)為Gaussian分布，我們?cè)诰W(wǎng)上看到的通常用圖像來解答這個(gè)問題的原理就在這。
但是L1-norm的求解比較困難，可以用坐標(biāo)軸下降法或是最小角回歸法求解。
4. LR和SVM對(duì)比
首先，LR和SVM最大的區(qū)別在于損失函數(shù)的選擇，LR的損失函數(shù)為Log損失(或者說是邏輯損失都可以)、而SVM的損失函數(shù)為hinge loss。
其次，兩者都是線性模型。
最后，SVM只考慮支持向量(也就是和分類相關(guān)的少數(shù)點(diǎn))
5. LR和隨機(jī)森林區(qū)別
隨機(jī)森林等樹算法都是非線性的，而LR是線性的。LR更側(cè)重全局優(yōu)化，而樹模型主要是局部的優(yōu)化。
京公網(wǎng)安備 11010802030320號(hào)