Le lasso effectue un rétrécissement de sorte qu'il y ait des "coins" dans la contrainte, ce qui en deux dimensions correspond à un losange. Si la somme des carrés "touche" l'un de ces coins, alors le coefficient correspondant à l'axe est ramené à zéro. … Par conséquent, le lasso effectue un rétrécissement et (effectivement) une sélection de sous-ensembles.
Pourquoi le lasso donne-t-il des coefficients nuls ?
Le lasso effectue un rétrécissement de sorte qu'il y ait des "coins" dans la contrainte, ce qui en deux dimensions correspond à un losange. Si la somme des carrés "touche" l'un de ces coins, alors le coefficient correspondant à l'axe est ramené à zéro.
Pourquoi le lasso se réduit-il à zéro mais pas à Ridge ?
On dit que parce que la forme de la contrainte dans LASSO est un losange, la solution des moindres carrés obtenue peut toucher le coin du losange de sorte qu'elle entraîne un rétrécissement d'une certaine variable. Cependant, dans la régression de crête, parce que c'est un cercle, il ne touchera souvent pas l'axe
Pourquoi la régression de crête réduit-elle les coefficients ?
Régression de crête rétrécit tous les coefficients de régression vers zéro; le lasso tend à donner un ensemble de coefficients de régression nuls et conduit à une solution creuse. Notez que pour la régression de crête et le lasso, les coefficients de régression peuvent passer de valeurs positives à des valeurs négatives lorsqu'ils sont réduits vers zéro.
Les coefficients du lasso sont-ils biaisés ?
…le rétrécissement du lasso entraîne un biais des estimations des coefficients non nuls vers zéro et, en général, ils ne sont pas cohérents [Note ajoutée: cela signifie que, comme le la taille de l'échantillon augmente, les estimations des coefficients ne convergent pas].
