Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-03-10

1 <p>Эта статья представляет собой вводный материал по машинному обучению (Machine Learning). Вы узнаете про основные задачи, виды и функции обучения на моделях, ознакомитесь с некоторыми алгоритмами (algorithms) и особенностями моделирования (modelling). Статья сможет дать ответы и на многие другие вопросы.</p>

2 <p>Сегодня ML (Machine Learning) решает множество задач, упрощая многим жизнь. Достаточно заложить в ПК алгоритм (algorithm) нахождения решений, чтобы получить возможность комплексно использовать статистические данные и выводить различные закономерности, делать прогнозы.</p>

3 <p>Технология machines-обучения появилась в середине прошлого века, когда стали появляться первые программы игры в шашки. С годами суть мало изменилась. Но изменились вычислительные мощности наших компьютеров, в результате усложнились закономерности и прогнозы, увеличилось число задач и решаемых проблем.</p>

4 <p>Чтобы процесс обучения был запущен, нужно загрузить исходные данные, называемые<strong>датасетом</strong>. Если хотите, пусть это будут изображения животных с метками. Именно на них алгоритм станет обучаться обработке запросов. Когда обучение закончится, модель сможет самостоятельно распознавать нужные изображения, а метки больше не понадобятся. Но обучение на этом не прекратится совсем, а будет продолжаться и дальше по мере использования программы. Чем больше данных будет в итоге проанализировано,<strong>тем точнее будет распознавание</strong>.</p>

5 <p>Сегодня ML распознаёт и рисунки, и лица, и пейзажи, и числа, и буквы, и предметы. Та же функция машинного обучения по проверке грамматики есть почти в каждом текстовом редакторе. И учитывает эта функция как орфографию, так и другие моменты, включая лексические сочетания, жаргонизмы и прочие тонкости "великого и могучего". Есть и программы, которые сами генерируют новостные тексты - даже участие человека не требуется (копирайтеры, задумайтесь!)</p>

6 <h2>Задачи машинного обучения</h2>

7 <p>Решаемые задачи можно классифицировать на несколько категорий:</p>

8 <p>1)<strong>регрессия</strong>- речь идёт о прогнозе на основании выборки объектов с разными признаками;</p>

9 <p>2)<strong>классификация</strong>- тут мы получаем конкретный ответ на основании набора признаков ("да" либо "нет");</p>

10 <p>3)<strong>кластеризация</strong>- под этим термином понимается распределение данных на некоторые группы (пример - уровень платёжеспособности клиента);</p>

11 <p>4)<strong>уменьшение размерности</strong>- большое количество признаков сводится к меньшему, чтобы было удобнее в последующем их визуализировать;</p>

12 <p>5)<strong>выявление аномалий</strong>- аномалии отделяются от обычных (стандартных) случаев. Аномалия может совпадать с задачей классификации, но лишь на первоначальный взгляд. Реальный пример - мошенничество с банковскими картами.</p>

13 <h2>Виды машинного обучения</h2>

14 <p>Большинство методов машинного обучения относят к обучению с учителем (supervised learning) и без учителя (unsupervised learning). "Учитель" здесь - это не конкретный человек, а сам факт вмешательства в процесс обработки данных. Чем различаются эти методы? Тем, что в первом случае у нас существует ряд гипотез, и их нужно либо опровергнуть, либо подтвердить.</p>

15 <h3>С учителем</h3>

16 <p>В идеальном случае у нас есть исходные данные, т. е. правильные ответы для системы. Представьте, что нужно проанализировать тысячи квартир Санкт-Петербурга, зная все параметры: цену, район, этаж, площадь, наличие инфраструктуры. С помощью модели машинного обучения мы предскажем рыночную стоимость, т. е. решается регрессионная задача.</p>

17 <p>Или надо узнать, есть или нет рак у пациента, имея в наличии его медицинские показатели. Или понять, входящее эл. письмо - это спам или нет. Всё это задачи на классификацию.</p>

18 <h3>Без учителя</h3>

19 <p>Здесь готовых ответов нет, но менее интересно не становится, даже наоборот. Представьте, что мы знаем рост и вес большой группы людей, в соответствии с чем нужно пошить одежду трёх видов. Это кластеризация (строгого и единственно верного деления тут нет).</p>

20 <p>Или у нас каждый из объектов выборки имеет сотни разных признаков. Отобразить графически такую выборку будет очень сложно, поэтому мы уменьшим число признаков, скажем, до 3-х. Это уменьшение размерности.</p>

21 <h2>Популярные алгоритмы моделей машинного обучения</h2>

22 <h3>1. Дерево принятия решений</h3>

23 <p>Речь идёт о способе поддержки принятия решений, основанном на применении древовидного графа. Модель принятия решений учитывает их потенциальные последствия, а также ресурсозатратность и эффективность, рассчитывая вероятность наступления какого-нибудь события.</p>

24 <p>Говоря про построение бизнес-процессов, древо формируется из минимально возможного количества вопросов с однозначным ответом (либо "да", либо "нет"). Дав ответы, мы придём к верному выбору. Проблема структурируется и систематизируется, итоговое решение принимается на основании логических выводов.</p>

25 <h3>2. Наивная байесовская классификация</h3>

26 <p>Algorithms этого типа относят к семейству простых вероятностных классификаторов, которые основаны на теореме Байеса. Функции рассматривается как независимые (это и называют строгим либо наивным предположением).</p>

27 <p>В машинном обучении алгоритм используется для: • определения спама; • автоматической привязки новостей к тематическим рубрикам; • выявления эмоциональной окраски текстового материала; • распознавания лиц и прочих паттернов на изображениях.</p>

28 <h3>3. Метод наименьших квадратов</h3>

29 <p>Если изучали статистику, понятие линейной регрессии вам известно. Наименьшие квадраты - вариант её реализации. Линейная регрессия позволяет решать задачи подгонки прямой, проходящей через множество точек. Она применяется для подбора данных в машинном обучении, а сам метод наименьших квадратов используют для сведения к минимуму погрешностей посредством создания метрики ошибок.</p>

30 <h3>4. Логистическая регрессия</h3>

31 <p>Способ, определяющий зависимости между переменными, если одна из них категориально зависима, а остальные независимы. Здесь используют логистическую функцию (аккумулятивное логистическое распределение).</p>

32 <p>Логистическая регрессия - мощный статистический метод предсказания событий. Он востребован: • для кредитного скоринга; • для замеров успешности РК; • когда нужно построение прогноза прибыли с конкретного товара; • оценки вероятности землетрясения и т. п.</p>

33 <h3>5. Метод опорных векторов (SVM)</h3>

34 <p>Это даже не алгоритм, а набор алгоритмов, позволяющих решать задачи классификации и регрессионного анализа. Мы исходим, что объект находится в N-мерном пространстве и относится к одному из 2-х классов. На основании этого метод SVM выполняет построение гиперплоскости с размерностью (N - 1), чтобы объекты попали в одну из 2-х групп.</p>

35 <p>С помощью SVM решаются сложные задачи машинного обучения: сплайсинг ДНК, вывод рекламы на сайте, определение пола по фото.</p>

36 <h3>6. Метод ансамблей</h3>

37 <p>Построен на базе алгоритмов Machine Learning, генерирующих множество классификаторов. Поначалу этот метод был лишь частным случаем байесовского усреднения. Потом он усложнился дополнительными алгоритмами: • boosting (бустинг) - обеспечивается преобразование слабых моделей в сильные путём формирования ансамбля классификаторов; • bagging (бэггинг) - для сбора усложнённых классификаторов и обучения базовых; • алгоритм для корректирования ошибок выходного кодирования.</p>

38 <p>Вообще метод ансамблей является более мощным инструментом, если сравнивать с отдельными моделями прогнозирования.</p>

39 <h3>7. Алгоритмы кластеризации</h3>

40 <p>Множество объектов распределяется по категориям-кластерам, в каждом кластере должны оказаться самые похожие элементы. Для кластеризации используют разные алгоритмы (вероятностные, плотности, сокращения размерности и т. д.).</p>

41 <p>Algorithms применяются в биологии для исследования взаимодействия генов в геноме и в социологических исследованиях для обработки результатов методом Уорда, а также в ИТ.</p>

42 <h3>8. PCA - метод главных компонент</h3>

43 <p>Это статистическая операция по ортогональному преобразованию, ставящая целью перевести наблюдения за взаимосвязанными переменными в набор главных компонент или линейно некоррелированных значений.</p>

44 <p>PCA используется для визуализации и процедур сжатия, для упрощения и минимизации данных, а также для облегчения самого процесса обучения. Но если данные плохо упорядочены, метод не подходит.</p>

45 <h3>9. Сингулярное разложение</h3>

46 <p>SVD - разложение прямоугольной матрицы, которая состоит из комплексных либо вещественных чисел. Частный случай - тот же метод главных компонент.</p>

47 <p>Можно вспомнить, что первые технологии компьютерного зрения создавались на основании SVD и PCA. Да, современные алгоритмы SVD намного сложнее, но суть особо не поменялась.</p>

48 <h3>10. ICA - анализ независимых компонент</h3>

49 <p>Статистический метод, выявляющий скрытые факторы, которые влияют на сигналы, случайные величины и т. п. Формируется порождающая модель, предназначенная для баз многофакторных данных. В этой модели переменные имеют некоторые скрытые переменные, а информации о правилах смешивания нет. Как раз эти скрытые переменные и считаются негауссовскими сигналами, являясь независимыми компонентами выборки.</p>

50 <h2>Примеры машинного обучения в контексте решения реальных проблем</h2>

51 <h3>Пример 1. Диагностируем заболевания</h3>

52 <p>Пациенты - это объекты, признаки - это симптомы, результаты анализов, анамнез, история болезни. Порядковый признак - оценка тяжести состояния, количественные признаки в данном случае являются объектами, а признаками - объём лекарства, уровень гемоглобина, параметры давления и пульса, вес и возраст.</p>

53 <p>Таким образом, собирается информация о состоянии человека и загружается в компьютер. В результате мы: • выполняем диагностику болезни; • выбираем оптимальное лечение; • прогнозируем развитие болезни, длительность, исход; • прогнозируем осложнения; • выявляем сопутствующие синдромы.</p>

54 <p>Что может дать машинное обучение здесь? Прежде всего, выигрыш в скорости, ведь даже опытный доктор не сможет мгновенно обработать всю информацию по каждому пациенту, обобщив вдобавок другие истории, а потом выдав результат.</p>

55 <h3>Пример 2. Ищем полезные ископаемые</h3>

56 <p>Признаки - данные геологоразведки. Для обучающей выборки берут два типа прецедентов: места, где 100 % есть месторождения, и места со схожими параметрами. Да, у месторождений тоже есть свои "синдромы".</p>

57 <p>Здесь машинное обучение может дать выигрыш в точности обнаружения ископаемых, поэтому можно говорить о большом научном интересе со стороны как геофизиков, так и геологов.</p>

58 <h3>Пример 3. Оцениваем надёжность и платёжеспособность кредитополучателей</h3>

59 <p>Что может дать ML здесь, долго думать не надо - экономится не только время, но и реальные деньги финансовых учреждений. Стоит вспомнить Сбербанк, который уже давно уволил много сотрудников, которые этим занимались. Да, машин становится больше, а автоматизация этого процесса - обычное явление.</p>

60 <p>В этом примере машинного обучения кандидаты на получение кредита - это объекты, а признаки формируются из анкеты клиента (признаки будут другими, если в банк обращается юрицо).</p>

61 <p>С помощью машинного обучения делается выборка, включающая в себя "хорошие" кредитные истории и "плохие". В итоге клиенты делятся на классы, и принимается решение о выдаче или отказе.</p>

62 <p>Среди усложнённых алгоритмов машинного обучения - тот же кредитный скоринг (каждый клиент получает баллы за некоторые признаки). Есть и алгоритм и на основе прецедентов.</p>

63 <p><em>ML-направление, machines и нейронные сети сегодня очень популярны, и эта популярность растёт, поэтому освоить это направление - значит гарантировать свою востребованность на рынке трудоустройства. Но дать актуальные знания по ML способны только эксперты. Если интересуют действительно профессиональные курсы, не тратьте времени на поиск,<a>обращайтесь в OTUS</a>!</em></p>