0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<p>Теги: машинное обучение, machine learning, data scientist, мультиколлинеарность, регуляризация, обучение моделей, корреляция</p>
1
<p>Теги: машинное обучение, machine learning, data scientist, мультиколлинеарность, регуляризация, обучение моделей, корреляция</p>
2
<p>Как известно, уменьшение размерности применяется в<strong>машинном обучении</strong>в двух целях: для визуализации (чтобы данные с большим количеством признаков можно было отобразить в двух- или трёхмерном пространстве) и для уменьшения количества переменных.</p>
2
<p>Как известно, уменьшение размерности применяется в<strong>машинном обучении</strong>в двух целях: для визуализации (чтобы данные с большим количеством признаков можно было отобразить в двух- или трёхмерном пространстве) и для уменьшения количества переменных.</p>
3
<p>Второе применение является более фундаментальным, базовым и основным. Здесь уместно вспомнить курс школьной математики, а точнее, систему уравнений, в которой переменных было больше, чем самих уравнений. И решить его в школьные годы мы, разумеется, не могли.</p>
3
<p>Второе применение является более фундаментальным, базовым и основным. Здесь уместно вспомнить курс школьной математики, а точнее, систему уравнений, в которой переменных было больше, чем самих уравнений. И решить его в школьные годы мы, разумеется, не могли.</p>
4
<p>Похожую аналогию можно провести и с задачами по<strong>Machine Learning</strong>, когда в количественном отношении данных меньше, чем признаков. Обучить такую модель достаточно сложно, да и хорошо работать она, скорее всего, не будет. Вдобавок ко всему, при увеличении размерности задачи данные приобретают сложно анализируемый для модели характер.</p>
4
<p>Похожую аналогию можно провести и с задачами по<strong>Machine Learning</strong>, когда в количественном отношении данных меньше, чем признаков. Обучить такую модель достаточно сложно, да и хорошо работать она, скорее всего, не будет. Вдобавок ко всему, при увеличении размерности задачи данные приобретают сложно анализируемый для модели характер.</p>
5
<p>Продолжая говорить о базовых вещах, нельзя не вспомнить о понятии<strong>мультиколлинеарности</strong>. Когда в матрице признаков какие-то признаки являются линейной комбинацией друг друга - это называется сильной коллинеарностью (грубо говоря, можно выразить один признак через другой), а когда речь идёт о сильной корреляции - это слабая или частичная коллинеарность, что тоже плохо. Такая задача решается очень неустойчиво.</p>
5
<p>Продолжая говорить о базовых вещах, нельзя не вспомнить о понятии<strong>мультиколлинеарности</strong>. Когда в матрице признаков какие-то признаки являются линейной комбинацией друг друга - это называется сильной коллинеарностью (грубо говоря, можно выразить один признак через другой), а когда речь идёт о сильной корреляции - это слабая или частичная коллинеарность, что тоже плохо. Такая задача решается очень неустойчиво.</p>
6
<h2>Как бороться с мультиколлинеарностью?</h2>
6
<h2>Как бороться с мультиколлинеарностью?</h2>
7
<p>Один из подходов - уменьшить размерность, но не просто выкинуть переменные, а перейти к другим переменным. Другой подход борьбы с мультиколлинеарностью - всем известная регуляризация:</p>
7
<p>Один из подходов - уменьшить размерность, но не просто выкинуть переменные, а перейти к другим переменным. Другой подход борьбы с мультиколлинеарностью - всем известная регуляризация:</p>
8
<p>L1 - lasso regression: L2 - ridge regression: Штрафуя модель, мы ограничиваем то количество решений, которое в случае с<strong>мультиколлинеарностью</strong>слишком велико или бесконечно, некоторым набором решений. Да, в результате мы получаем несколько смещённую оценку, но она смещена не сильно. Таким образом от глобальной проблемы (задачу решить в принципе нельзя) мы переходим к конкретному результату, когда<strong>задача решена</strong>не самым оптимальным способом, но, тем не менее, устойчивое решение мы нашли.</p>
8
<p>L1 - lasso regression: L2 - ridge regression: Штрафуя модель, мы ограничиваем то количество решений, которое в случае с<strong>мультиколлинеарностью</strong>слишком велико или бесконечно, некоторым набором решений. Да, в результате мы получаем несколько смещённую оценку, но она смещена не сильно. Таким образом от глобальной проблемы (задачу решить в принципе нельзя) мы переходим к конкретному результату, когда<strong>задача решена</strong>не самым оптимальным способом, но, тем не менее, устойчивое решение мы нашли.</p>
9
<p>Вообще, можно показывать очень интересные вещи с матричными фокусами, однако об этом пойдёт разговор в лекции про<strong>сингулярное разложение SVD</strong>. Если не хотите её пропустить, записывайтесь на курс<a>"Data Scientist"</a>в OTUS!</p>
9
<p>Вообще, можно показывать очень интересные вещи с матричными фокусами, однако об этом пойдёт разговор в лекции про<strong>сингулярное разложение SVD</strong>. Если не хотите её пропустить, записывайтесь на курс<a>"Data Scientist"</a>в OTUS!</p>
10
<p><em>Есть вопрос? Напишите в комментариях!</em></p>
10
<p><em>Есть вопрос? Напишите в комментариях!</em></p>
11
11