Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-03-10

1 <ul><li><a>Обнаружение аварийных твитов с использованием NLP</a></li>

2 <li><a>Определение жанра фильма по описанию</a></li>

3 <li><a>Улучшаем технику серфинга с помощью компьютерного зрения</a></li>

4 <li><a>Компьютерное зрение в 2024 году: Главные задачи и направления</a></li>

5 <li><a>Анализ новостей с помощью сегментации и кластеризации временных рядов</a></li>

6 <li><a>Пять лучших NLP инструментов для работы с русским языком на Python</a></li>

7 <li><a>Основные алгоритмы многоруких бандитов в рекомендательных системах</a></li>

8 <li><a>Обнаружение аномальных звуков сердцебиения на основе записей сердечного ритма</a></li>

9 <li><a>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</a></li>

10 <li><a>Кратко про Uplift-моделирование</a></li>

11 <li><a>Как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне</a></li>

12 <li><a>Разбираемся в ROC и AUC</a></li>

13 <li><a>Кратко про алгоритм обучения Q-learning и как он реализуется в Python для новичков</a></li>

14 <li><a>Решетчатый и случайный поиск</a></li>

15 <li><a>Дифференциальная приватность в машинном обучение</a></li>

16 <li><a>Алгоритм minimax в шахматах</a></li>

17 <li><a>Обзор статьи "StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени"</a></li>

18 <li><a>Эмбеддинги для начинающих</a></li>

19 <li><a>Методы работы со смещением и дисперсией в модельках машинного обучения</a></li>

20 <li><a>Рынок труда и перспективы карьеры в Data Science в 2024 году</a></li>

21 <li><a>Обзор библиотеки drake в R</a></li>

22 <li><a>Julia в машинном обучение: база</a></li>

23 <li><a>Краткий обзор TinyML</a></li>

24 <li><a>Основы Actor-Critic алгоритма</a></li>

25 <li><a>Кратко про экосистему RAPIDS для работы с данными на GPU</a></li>

26 <li><a>Генерация коротких текстов в жанре фэнтези, по заданным параметрам</a></li>

27 <li><a>ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта</a></li>

28 </ul><p><em>Прим. ред: статья дополнена и обновлена 31.05.2024</em></p>

29 <h2>Обнаружение аварийных твитов с использованием NLP</h2>

30 <p>Повсеместное распространение смартфонов позволяет людям сообщать о чрезвычайной ситуации, которую они наблюдают, в режиме реального времени. По этой причине все больше агентств (например, организации по оказанию помощи при стихийных бедствиях и информационные агентства) заинтересованы в программном мониторинге социальной сети X (бывший Twitter). Но не всегда ясно, действительно ли слова человека объявляют о катастрофе.</p>

31 <p>В данной работе я хотела бы рассказать, как с помощью обработки естественного языка (NLP) можно разработать систему, способную точно определять контекст твита.</p>

32 <p><a>Читать далее</a></p>

33 <h2>Определение жанра фильма по описанию</h2>

34 <p>В ходе поиска темы проектной работы, которой должен был завершиться курс <a>Machine Learning. Professional</a>, я решил поэкспериментировать с данными о фильмах, мультфильмах, сериалах и прочей схожей продукции. Немного сожалея, что времени смотреть кинопродукцию у меня почти нет, приступим.</p>

35 <p><a>Читать далее</a></p>

36 <h2>Улучшаем технику серфинга с помощью компьютерного зрения</h2>

37 <p>Я катаюсь на Тенерифе и углубленно изучаю мир серфинга. Моя страсть к волнам привела меня к исследованию того, как технологии могут помочь нам стать лучше в серфинге. Именно поэтому я решил создать проект, использующий компьютерное зрение для анализа стоек серферов и помогающий улучшить нашу технику.</p>

38 <p><a>Читать далее</a></p>

39 <h2>Компьютерное зрение в 2024 году: Главные задачи и направления</h2>

40 <p>Компьютерное зрение (Computer Vision) - это область искусственного интеллекта, которая занимается созданием программ и систем, позволяющих компьютерам анализировать и понимать визуальную информацию, такую как изображения и видео. Этот процесс выходит за рамки простого наблюдения, обучая компьютеры принимать решения на основе увиденного.</p>

41 <p>Рынок компьютерного зрения сейчас переживает бурный рост с прогнозируемым увеличением с 22 миллиардов долларов в 2023 году до <a>50 миллиардов </a>к 2030 году при 21.4% совокупного годового прироста с 2024 по 2030 год.</p>

42 <p><a>Читать далее</a></p>

43 <h2>Анализ новостей с помощью сегментации и кластеризации временных рядов</h2>

44 <p>В <strong>Отусе</strong> я прошла курс<a> ML Advanced</a> и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и событий и описать часть этого исследования в данной статье.</p>

45 <p><a>Читать далее</a></p>

46 <h2>Пять лучших NLP инструментов для работы с русским языком на Python</h2>

47 <p>В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка.</p>

48 <p><a>Читать далее</a></p>

49 <h2>Основные алгоритмы многоруких бандитов в рекомендательных системах</h2>

50 <p>Рекомендательные системы становятся все более сложными и точными, а методы их реализации разнообразнее. Один из хороших подходов в этой области - это алгоритмы, основанные на проблеме многоруких бандитов. Эти алгоритмы позволяют анализировать предпочтения юзеров и адаптироваться к изменяющимся условиям.</p>

51 <p>Проблема многоруких бандитов представляет собой рамки принятия решений в условиях неопределенности. Основная задача состоит в том, чтобы выбрать <em>руку</em> или действие, которое предоставит наибольшую награду, при минимальных потерях в процессе исследования разных вариантов.</p>

52 <p><a>Читать далее</a></p>

53 <h2>Обнаружение аномальных звуков сердцебиения на основе записей сердечного ритма</h2>

54 <p>Сегодня рассмотрим задачу обнаружения аномалий тонов сердца, используя аудиозаписи звуков сердцебиения. Для этого будем использовать библиотеку librosa по работе с аудиофайлами, а также классические алгоритмы машинного обучения и методы глубокого обучения.</p>

55 <p>Возьмем датасет “Heartbeat Sound”, который содержит аудиофрагменты сердечных ритмов различной продолжительности от 1 до 30 секунд, как здоровых пациентов, так и имеющих аномальные звуки сердцебиения. Набор содержит 813 аудиофайл с записями, разбитыми по категориям: artefact, extrastole, murmur, normal и unlabel. Попробуем разобраться, что обозначают эти категории.</p>

56 <p><a>Читать далее</a></p>

57 <h2>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</h2>

58 <p><strong>Horovod</strong> - это фреймворк для распределенного глубокого обучения, изначально разработанный в <em>Uber</em>. Он позволяет масштабировать обучение моделей на сотни и тысячи GPU, сокращая время тренировки с недель до часов. Horovod поддерживает такие фреймворки, как <em>TensorFlow</em>, <em>Keras</em>, <em>PyTorch</em> и <em>Apache</em> <em>MXNet</em>, и легко интегрируется с существующими кодовыми базами, требуя минимум изменений.</p>

59 <p>В статье как раз и пойдет речь о том, как масштабировать модельки с помощью Horovod и Kubernetes.</p>

60 <p><a>Читать далее</a></p>

61 <h2>Кратко про Uplift-моделирование</h2>

62 <p><strong>Uplift-моделирование</strong> - это метод оценки эффекта от воздействия, который использует алгоритмы ML для предсказания изменения вероятности интересуемого события под влиянием этого воздействия. Зачастую цель Uplift заключается в выявление тех клиентов, которые с наибольшей вероятностью изменят своё поведение в желаемую сторону в ответ на предложение.</p>

63 <p>Uplift-модели считают разницу между вероятностями наступления события в обработанной и контрольной группах. С ними можно предсказать результат и определить, был ли он действительно вызван проведенной кампанией.</p>

64 <p><a>Читать далее</a></p>

65 <h2>Как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне</h2>

66 <p><strong>Мультиколлинеарность</strong> возникает, когда в модели множественной регрессии одна из независимых переменных может быть линейно предсказана с помощью других независимых переменных с высокой степенью точности. Это явление приводит к тому, что расчетные коэффициенты регрессии становятся нестабильными и их значения могут сильно изменяться в зависимости от включения или исключения других переменных в модель.</p>

67 <p>Высокая мультиколлинеарность может привести к значительному изменению коэффициентов при незначительных изменениях в данных или спецификации модели. Это усложняет интерпретацию коэффициентов, поскольку они могут значительно изменяться от одного анализа к другому.</p>

68 <p>Когда переменные сильно коррелированы, стандартные ошибки оценок коэффициентов увеличиваются. Это ведет к увеличению <em>p</em>-значений, что может ошибочно привести к заключению о том, что переменные не имеют значимого влияния на зависимую переменную, хотя на самом деле это не так.</p>

69 <p>В статье рассмотрим как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне.</p>

70 <p><a>Читать далее</a></p>

71 <h2>Разбираемся в ROC и AUC</h2>

72 <p>В машинном обучение очень важны метрики оценки эффективности моделей. Среди таких метрик есть: кривые ROC и показатель AUC. Они позволяют оценивать бинарные классификаторы.</p>

73 <p><strong>Кривая ROC </strong>- это график, который иллюстрирует производительность классификационной модели при всех возможных порогах классификации. Ось X данного графика представляет собой FPR, т.е ложноположительную частоту, а ось Y - TRP, т.е истинноположительную частоту. TPR также известен как Recall, и определяется как доля правильно классифицированных положительных результатов относительно всех положительных результатов в данных</p>

74 <p><a>Читать далее</a></p>

75 <h2>Кратко про алгоритм обучения Q-learning и как он реализуется в Python для новичков</h2>

76 <p>Q-learning - это алгоритм обучения с подкреплением, который позволяет агенту оптимизировать свою стратегию действий в динамичной среде, стремясь максимизировать сумму будущих наград. Агент исследует среду, принимая решения, основанные на предыдущем опыте, а не на предварительной модели мира.</p>

77 <p>В этой статье мы и рассмотрим этот алгоритм.</p>

78 <p><a>Читать далее</a></p>

79 <h2>Решетчатый и случайный поиск</h2>

80 - <p>Среди разнообразных подходов оптимизации, сегодня мы поговорим про методы решетчатого (grid search) и случайного (random search) поиска. Они были созданы дл�� нахождения оптимальных решений в больших пространствах параметров.</p>

80 + <p>Среди разнообразных подходов оптимизации, сегодня мы поговорим про методы решетчатого (grid search) и случайного (random search) поиска. Они были созданы для нахождения оптимальных решений в больших пространствах параметров.</p>

81 <p><strong>Решетчатый поиск</strong> - это метод, при котором пространство возможных параметров систематически исследуется путем оценки и сравнения результатов на равномерно распределенных точках. Его юзают, когда необходимо исследовать каждую комбинацию параметров, хотя он может быть ресурсоемким при большом количестве параметров.</p>

82 <p><strong>Случайный поиск </strong>в свою очередь предлагает раскапывать пространство параметров путем случайного выбора точек. Этот метод используют когда пространство параметров слишком велико для полного перебора, или когда только некоторые параметры оказывают значительное влияние на результат.</p>

83 <p><a>Читать далее</a></p>

84 <h2>Дифференциальная приватность в машинном обучение</h2>

85 <p>Концепция дифференциальной приватности впервые появилась в начале 2000-х. Она позволяет проводить анализ данных, сохраняя информацию о личности индивидов неприкосновенной. В машинном обучение это означает возможность обучать модели, делающие общие выводы, не раскрывая информацию о конкретных индивидах в наборе данных.</p>

86 <p><a>Читать далее</a></p>

87 <h2>Алгоритм minimax в шахматах</h2>

88 <p>Сейчас, когда вы слышите про ИИ в шахматах, наверняка первое, что приходит в голову - это AlphaZero, который "научился" играть в шахматы, превзойдя чемпионов мира, не имея никакого предварительного знания об игре. Но позвольте, это же только верхушка айсберга!</p>

89 <p>Не будем тратить время на объяснение того, как двигаются фигуры - это вы и так знаете. В сегодняшней статьи мы разберем алогоритм Minimax.</p>

90 <p><a>Читать далее</a></p>

91 <h2>Обзор статьи "StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени"</h2>

92 <p>StreamDiffusion - это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавление (sequential denoising) на более быстрый пакетный процесс и вводит параллельную очередь ввода-вывода для более плавной работы.</p>

93 <p>В конвейере также используется новый метод Residual Classifier-Free Guidance (RCFG), позволяющий сократить количество этапов шумоподавления и повысить общую скорость работы. Кроме того, он включает стохастический фильтр сходства (Stochastic Similarity Filter) для повышения энергоэффективности. В целом StreamDiffusion может похвастаться 1,5-кратным ускорением обработки и 2,05-кратным увеличения скорости при использовании RCFG, достигая 91,07 кадров в секунду на графическом процессоре RTX4090. Кроме того, значительно снижается энергопотребление, что делает его более эффективным решением для генерации изображений в реальном времени.</p>

94 <p><a>Читать далее</a></p>

95 <h2>Эмбеддинги для начинающих</h2>

96 <p>В широком смысле, эмбеддинг - это процесс преобразования каких-либо данных (чаще всего текста, но могут быть и изображения, звуки и т.д.) в набор чисел, векторы, которые машина может не только хранить, но и с которыми она может работать. Звучит очень интересно. Казалось бы, наша речь - это так просто, все связано и понятно. Но как это объяснить машине?</p>

97 <p>В этой статье мы рассмотрим, что такое эмбеддинги и какие они бывают.</p>

98 <p><a>Читать далее</a></p>

99 <h2>Методы работы со смещением и дисперсией в модельках машинного обучения</h2>

100 <p>В давние времена были вечные битвы с переобучением и недообучением в модельках машинного обучения. Вечная битва между смещением и дисперсией. Подходит ли модель к данным как идеальный ключик, или же она скорее еле пытается влезть туда…</p>

101 <p>Эта дилемма определяет, насколько хорошо модель будет работать на реальных данных.</p>

102 <p>Переобучение и недообучение - это Сцилла и Харибда в ML, между которыми нужно лавировать. С тех давних времен появилось множество методов для решения этой проблемы. Рассмотрим их кратко.</p>

103 <p><a>Читать далее</a></p>

104 <h2>Рынок труда и перспективы карьеры в Data Science в 2024 году</h2>

105 <p>На связи команда курсов Data Science OTUS. В данной статье Product Manager Мария Кузьмина собрала аналитические выкладки c hh, бизнес-секреты от Tinkoff и комментарии профессионалов о том, что они думают о специфике рынка труда в Data Sciencе/ML, а также какой стек нужен для разных позиций. </p>

106 <p><a>Читать далее</a></p>

107 <h2>Обзор библиотеки drake в R</h2>

108 <p>Drake предлагает систематический подход к построению и управлению зависимостями в проектах, автоматизируя процесс обработки данных и анализа. С помощью drake можно отслеживать изменения в коде и данных, автоматически перезапуская только те части анализа, которые были изменены.</p>

109 <p>Создатель drake, Уилл Ландау, искал способ улучшить репродуктивность исследований в R, и так родилась библиотека drake. С тех пор она претерпела множество изменений и улучшений.</p>

110 <p><a>Читать далее</a></p>

111 <h2>Julia в машинном обучение: база</h2>

112 <p>Julia зародилась в 2012 году, благодаря усилиям четырех энтузиастов-разработчиков: <em>Джефф Безансон, Стефан Карпински, Вирал Би Шах, и Алан Эдельман</em>. Они стремились создать язык, который сочетал бы легкость Python, скорость C, динамичность Ruby, лингвистическую чистоту Lisp и возможности математических систем вроде Matlab. Им удалось! Julia - это слияние простоты и мощи.</p>

113 <p>Благодаря JIT-компиляции, код Julia может выполняться с скоростью, сопоставимой с кодом, написанным на C или Fortran.</p>

114 <p><a>Читать далее</a></p>

115 <h2>Краткий обзор TinyML</h2>

116 <p>TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к интернету или внешним вычислительным ресурсам. Основная цель TinyML - сделать ии или простые модельки доступным для самых маленьких устройств.</p>

117 <p><a>Читать далее</a></p>

118 <h2>Основы Actor-Critic алгоритма</h2>

119 <p>Actor-Critic - это класс алгоритмов в RL, суть которого довольно проста на словах, он сочетает в себе такие политики как <em>policy-based</em> и оценки <em>value-based</em>. У нас есть два главных действующих лица: <em>Actor</em> и <em>Critic</em>. Actor отвечает за выбор действий, т.е формирование политики поведения, он принимает решения исходя из текущего состояния окружающей среды. Critic оценивает, насколько хорошо или плохо Actor справляется со своей задачей, предоставляя обратную связь через оценку действий Actor’a.</p>

120 <p><a>Читать далее</a></p>

121 <h2>Кратко про экосистему RAPIDS для работы с данными на GPU</h2>

122 <p>RAPIDS - это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная <em>NVIDIA</em>, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить анализ данных и работу в ML, используя всю мощь GPU, и делает это, предоставляя в целом привычный интерфейс, похожий на тот, к которому привыкли в Pandas, Scikit-learn и т.д.</p>

123 <p>RAPIDS основан на CUDA, архитектуре параллельных вычислений от NVIDIA. Операции, которые когда-то занимали минуты или часы на CPU, теперь могут быть выполнены за секунды на GPU, благодаря параллелизму и высокой пропускной способности памяти GPU.</p>

124 <p><a>Читать далее</a></p>

125 <h2>Генерация коротких текстов в жанре фэнтези, по заданным параметрам</h2>

126 <p>В рамках выпускной работы на курсе "Natural Language Processing" я хотел попробовать расширить знания в сфере генерации текстов и использовании различных стратегий генерации. А так как мне еще нравится стилистика жанра фэнтези, то выбор пал на генерацию текстов этого жанра. При этом хотелось попробовать генерировать не только тексты выбранной стилистики но и по заданным параметрам, например имя главного героя, место действия и др.</p>

127 <p><a>Читать далее</a></p>

128 <h2>ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта</h2>

129 <p>В этой статье я расскажу о том, как можно использовать возможности Natural Language Processing (NLP) для анализа отзывов, собранных из приложения AppStore. Я исследую, как каждый отзыв, содержащий дату, заголовок, текст и оценку пользователя, может быть преобразован в ценные данные для обучения модели анализа тональности. Эта модель будет способна классифицировать отзывы как положительные, негативные или нейтральные, предоставляя нам глубокое понимание эмоциональной окраски пользовательских мнений.</p>

130 <p><a>Читать далее</a></p>

131 <a></a>