Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-03-10

1 <p>Регуляризация используется в машинном обучении в целях контроля баланса между<strong>bias</strong>(предвзятостью) и<strong>variance</strong>(отклонением). Предвзятость нужна, чтобы показать, насколько модель переобучилась на тренировочном наборе данных, а отклонение - насколько предсказания между тренировочным датасетами и тестовым датасетами отличались. Давайте посмотрим, какие существуют<strong>техники регуляризации</strong>.</p>

2 <p>Как известно, и дисперсия, и предвзятость должны быть маленькими - это идеальный вариант. Тут и приходит на помощь регуляризация. Выделяют 2 основные техники: "Лассо" и Ridge.</p>

3 <h4>Регуляризация по технике "Лассо" (L1)</h4>

4 <p>"Лассо" штрафует весовые коэффициенты модели в целях изменения их важности для модели, причем возможно даже полное их обнуление (речь идет о том, чтобы убрать из конечной модели эти переменные). Как правило, "Лассо" применяется, когда набор данных включает в себя<strong>очень много переменных</strong>и надо исключить некоторые из этих переменных, дабы лучше понять, как именно важные признаки влияют на нашу модель (т. е. речь идет о признаках, которые были выбраны с помощью техники "Лассо" и у которых определена важность).</p>

5 <h4>Регуляризация по технике Ridge (L2)</h4>

6 <p>Задача Ridge - сохранить все переменные и в то же самое время присвоить им важность на основании вклада в эффективность модели. Ridge - хороший выбор в том случае, когда набор данных включает в себя<strong>немного переменных</strong>, причем все эти переменные нужны для интерпретации полученных результатов.</p>

7 <h4>Elastic-Net</h4>

8 <p>Таким образом, техника Ridge оставляет все переменные, а техника "Лассо" более эффективно устанавливает их важность. На основании этого был создан специальный алгоритм, объединивший в себе преимущества обеих техник регуляризации. Этот алгоритм называют<strong>Elastic-Net</strong>. Реализовать его можно посредством перекрестной валидации sklearn:</p>

9 <p>Конечно, в машинном обучении существуют и другие способы отбора признаков, однако главная идея не меняется: продемонстрировать важность переменных, а потом исключить некоторые из переменных на основе полученных показателей важности. При этом важность - термин субъективный, представляющий собой целый перечень метрик и диаграмм, который можно применять при нахождении ключевых признаков.</p>

10 <p><em>По материалам: https://pub.towardsai.net/feature-selection-in-machine-learning-3b2902852933.</em></p>