С практической точки зрения, L1 имеет тенденцию уменьшать коэффициенты до нуля, тогда как L2 имеет тенденцию уменьшать коэффициенты равномерно. Таким образом, L1 полезен для выбора признаков, поскольку мы можем отбросить любые переменные, связанные с коэффициентами, которые стремятся к нулю. L2, с другой стороны, полезен, когда у вас есть коллинеарные/созависимые признаки.
Какая польза от регуляризации Что такое регуляризация L1 и L2?
Регуляризация L1 дает выходные данные в двоичных весах от 0 до 1 для признаков модели и используется для уменьшения количества признаков в наборе данных с огромными размерами. Регуляризация L2 рассеивает члены ошибок по всем весам, что приводит к более точным настраиваемым окончательным моделям.
В чем разница между регуляризацией L1 и L2?
Основное интуитивное различие между регуляризацией L1 и L2 заключается в том, что Регуляризация L1 пытается оценить медиану данных, в то время как регуляризация L2 пытается оценить среднее значение данных, чтобы избежать переобучения. … Это значение также будет математически медианой распределения данных.
Что такое регуляризация L1 и L2 в глубоком обучении?
Регуляризация L2 также известна как уменьшение веса, поскольку она заставляет веса уменьшаться до нуля (но не точно до нуля). В L1 мы имеем: В этом мы штрафуем абсолютное значение весов. В отличие от L2, здесь веса могут быть сведены к нулю. Следовательно, это очень полезно, когда мы пытаемся сжатьнаша модель.
Как работает регуляризация L1 и L2?
Регрессионная модель, в которой используется метод регуляризации L1, называется регрессией Лассо, а модель, использующая L2, называется регрессией гребня. Основное различие между ними заключается в сроке наказания. Регрессия хребта добавляет «квадрат величины» коэффициента в качестве штрафного члена к функции потерь.
