Регуляторы позволяют применять штрафы к параметрам слоя или активности слоя во время оптимизации. Эти штрафы суммируются в функцию потерь, которую оптимизирует сеть. Штрафы за регуляризацию применяются для каждого уровня отдельно.
Что такое регуляризатор активности?
Регуляризатор активности работает как функция вывода сети и в основном используется для регуляризации скрытых единиц, в то время как weight_regularizer, как следует из названия, работает с весами. (например, заставить их разлагаться).
Когда следует использовать регуляризатор активности?
Если вы хотите, чтобы выходная функция проходила через (или имела точку пересечения ближе) к началу координат, вы можете использовать регуляризатор смещения. Если вы хотите, чтобы вывод был меньше (или ближе к 0), вы можете использовать регуляризатор активности.
Как использовать регуляризатор Keras?
Чтобы добавить регуляризатор к слою, вам просто нужно передать предпочтительный метод регуляризации в ключевой аргумент слоя 'kernel_regularizer'. Методы реализации регуляризации Keras могут предоставлять параметр, представляющий значение гиперпараметра регуляризации.
Что такое ядро и смещение?
Dense класс
Dense реализует операцию: вывод=активация(точка(ввод, ядро) + смещение), где активация - это поэлементная функция активации, переданная в качестве аргумента активации, ядро представляет собой матрицу весов, созданную слоем, иbias - это вектор смещения, созданный слоем (применимо, только если use_bias имеет значение True).
