Des d'un punt de vista pràctic, L1 tendeix a reduir els coeficients fins a zero, mentre que L2 tendeix a reduir els coeficients de manera uniforme. Per tant, L1 és útil per a la selecció de funcions, ja que podem eliminar qualsevol variable associada amb coeficients que arribin a zero. L2, en canvi, és útil quan tens característiques colineals/codependents.
Per a què serveix la regularització Què són la regularització L1 i L2?
La regularització
L1 dóna sortida en pesos binaris de 0 a 1 per a les característiques del model i s'adopta per reduir el nombre de funcions en un conjunt de dades dimensional enorme. La regularització L2 dispersa els termes d'error en tots els pesos que condueix a models finals personalitzats més precisos.
Quines diferències hi ha entre la regularització L1 i L2?
La principal diferència intuïtiva entre la regularització L1 i L2 és que la regularització L1 intenta estimar la mediana de les dades mentre que la regularització L2 intenta estimar la mitjana de les dades per evitar el sobreajustament. … Aquest valor també serà la mediana de la distribució de dades matemàticament.
Què és la regularització de L1 i L2 en l'aprenentatge profund?
La regularització
L2 també es coneix com a decadència de pes, ja que obliga els pesos a decaure cap a zero (però no exactament zero). A L1, tenim: En aquest, penalitzem el valor absolut dels pesos. A diferència de L2, els pesos es poden reduir a zero aquí. Per tant, és molt útil quan estem intentant comprimirel nostre model.
Com funciona la regularització L1 i L2?
Un model de regressió que utilitza la tècnica de regularització L1 s'anomena regressió de lazo i el model que utilitza L2 s'anomena regressió de cresta. La diferència clau entre aquests dos és la pena. La regressió de cresta afegeix la "magnitud quadrada" del coeficient com a terme de penalització a la funció de pèrdua.
