0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<ul><li><a>Декодирование Витерби с TensorFlow</a></li>
1
<ul><li><a>Декодирование Витерби с TensorFlow</a></li>
2
<li><a>Библиотека nalgebra в Rust</a></li>
2
<li><a>Библиотека nalgebra в Rust</a></li>
3
<li><a>Обнаружение объектов на изображении с помощью моделей YOLOv5 и YOLOv8</a></li>
3
<li><a>Обнаружение объектов на изображении с помощью моделей YOLOv5 и YOLOv8</a></li>
4
<li><a>Основные алгоритмы многоруких бандитов в рекомендательных системах</a></li>
4
<li><a>Основные алгоритмы многоруких бандитов в рекомендательных системах</a></li>
5
<li><a>Учим нейронную сеть генерировать текст</a></li>
5
<li><a>Учим нейронную сеть генерировать текст</a></li>
6
<li><a>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</a></li>
6
<li><a>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</a></li>
7
<li><a>Расширяем возможности Keras с помощью кастомных слоев</a></li>
7
<li><a>Расширяем возможности Keras с помощью кастомных слоев</a></li>
8
<li><a>Кратко про библиотеку Rumale для машинного обучения на Ruby</a></li>
8
<li><a>Кратко про библиотеку Rumale для машинного обучения на Ruby</a></li>
9
<li><a>Создание масштабируемых RL систем с Ape-X</a></li>
9
<li><a>Создание масштабируемых RL систем с Ape-X</a></li>
10
<li><a>Динамическое программирование на Python</a></li>
10
<li><a>Динамическое программирование на Python</a></li>
11
<li><a>Нужна ли нам Lakehouse архитектура?</a></li>
11
<li><a>Нужна ли нам Lakehouse архитектура?</a></li>
12
<li><a>Кратко про Seq2Seq-модели</a></li>
12
<li><a>Кратко про Seq2Seq-модели</a></li>
13
<li><a>Как VWE помогает снизить дисперсию и повысить точность данных</a></li>
13
<li><a>Как VWE помогает снизить дисперсию и повысить точность данных</a></li>
14
<li><a>Алгоритм Backpropagation на Python</a></li>
14
<li><a>Алгоритм Backpropagation на Python</a></li>
15
<li><a>Основные алгоритмы многоруких бандитов в рекомендательных системах</a></li>
15
<li><a>Основные алгоритмы многоруких бандитов в рекомендательных системах</a></li>
16
</ul><p><em>Статья дополнена и обновлена 23.07.2024</em></p>
16
</ul><p><em>Статья дополнена и обновлена 23.07.2024</em></p>
17
<h2>Декодирование Витерби с TensorFlow</h2>
17
<h2>Декодирование Витерби с TensorFlow</h2>
18
<p>Алгоритм был предложен Эндрю Витерби в 1967 году для декодирования сигналов с кодировкой, используемой в системах связи.</p>
18
<p>Алгоритм был предложен Эндрю Витерби в 1967 году для декодирования сигналов с кодировкой, используемой в системах связи.</p>
19
<p>Алгоритм Витерби предназначен для поиска наиболее вероятной последовательности скрытых состояний в моделях с наблюдаемыми переменными, таких как скрытые марковские модели. Основное применение заключается в декодировании, где нужно определить скрытую последовательность состояний, вызвавших наблюдаемую последовательность событий.</p>
19
<p>Алгоритм Витерби предназначен для поиска наиболее вероятной последовательности скрытых состояний в моделях с наблюдаемыми переменными, таких как скрытые марковские модели. Основное применение заключается в декодировании, где нужно определить скрытую последовательность состояний, вызвавших наблюдаемую последовательность событий.</p>
20
<p><a>Читать далее</a></p>
20
<p><a>Читать далее</a></p>
21
<h2>Библиотека nalgebra в Rust</h2>
21
<h2>Библиотека nalgebra в Rust</h2>
22
<p>Линейная алгебра сейчас применяется практические везде. В связс с этим сегодня рассмотрим одну из библиотек для Rust - nalgebra.</p>
22
<p>Линейная алгебра сейчас применяется практические везде. В связс с этим сегодня рассмотрим одну из библиотек для Rust - nalgebra.</p>
23
<p>Основная цель nalgebra - предоставить инструмент для работы с линейной алгеброй.</p>
23
<p>Основная цель nalgebra - предоставить инструмент для работы с линейной алгеброй.</p>
24
<p><a>Читать далее</a></p>
24
<p><a>Читать далее</a></p>
25
<h2>Обнаружение объектов на изображении с помощью моделей YOLOv5 и YOLOv8</h2>
25
<h2>Обнаружение объектов на изображении с помощью моделей YOLOv5 и YOLOv8</h2>
26
<p>Обнаружение объектов является достаточно популярной задачей компьютерного зрения, которая включает в себя идентификацию и обнаружение объектов на изображениях или видео. Данная задача является частью многих приложений, например, таких как беспилотные автомобили, робототехника, видеонаблюдение и т. д. За прошедшие годы разработано множество алгоритмов и методов для поиска объектов на изображениях и их положениях. Наилучшее качество выполнения таких задач достигается при использовании сверточных нейронных сетей.</p>
26
<p>Обнаружение объектов является достаточно популярной задачей компьютерного зрения, которая включает в себя идентификацию и обнаружение объектов на изображениях или видео. Данная задача является частью многих приложений, например, таких как беспилотные автомобили, робототехника, видеонаблюдение и т. д. За прошедшие годы разработано множество алгоритмов и методов для поиска объектов на изображениях и их положениях. Наилучшее качество выполнения таких задач достигается при использовании сверточных нейронных сетей.</p>
27
<p>Одной из самых популярных архитектур нейронных сетей для таких задач, является YOLO (you only look once), созданная в 2015 году. С тех пор появилось довольно много версий данных алгоритмов. Последние выпуски сети предназначены для таких задач как распознавание, обнаружение и сегментация изображений.</p>
27
<p>Одной из самых популярных архитектур нейронных сетей для таких задач, является YOLO (you only look once), созданная в 2015 году. С тех пор появилось довольно много версий данных алгоритмов. Последние выпуски сети предназначены для таких задач как распознавание, обнаружение и сегментация изображений.</p>
28
<p><a>Читать далее</a></p>
28
<p><a>Читать далее</a></p>
29
<h2>Основные алгоритмы многоруких бандитов в рекомендательных системах</h2>
29
<h2>Основные алгоритмы многоруких бандитов в рекомендательных системах</h2>
30
<p>Рекомендательные системы становятся все более сложными и точными, а методы их реализации разнообразнее. Один из хороших подходов в этой области - это алгоритмы, основанные на проблеме многоруких бандитов. Эти алгоритмы позволяют анализировать предпочтения юзеров и адаптироваться к изменяющимся условиям.</p>
30
<p>Рекомендательные системы становятся все более сложными и точными, а методы их реализации разнообразнее. Один из хороших подходов в этой области - это алгоритмы, основанные на проблеме многоруких бандитов. Эти алгоритмы позволяют анализировать предпочтения юзеров и адаптироваться к изменяющимся условиям.</p>
31
<p>Проблема многоруких бандитов представляет собой рамки принятия решений в условиях неопределенности. Основная задача состоит в том, чтобы выбрать <em>руку</em> или действие, которое предоставит наибольшую награду, при минимальных потерях в процессе исследования разных вариантов.</p>
31
<p>Проблема многоруких бандитов представляет собой рамки принятия решений в условиях неопределенности. Основная задача состоит в том, чтобы выбрать <em>руку</em> или действие, которое предоставит наибольшую награду, при минимальных потерях в процессе исследования разных вариантов.</p>
32
<p><a>Читать далее</a></p>
32
<p><a>Читать далее</a></p>
33
<h2>Учим нейронную сеть генерировать текст</h2>
33
<h2>Учим нейронную сеть генерировать текст</h2>
34
<p>На волне популярности различных нейросетевых моделей, позволяющих генерировать связный текст, отвечающих на вопросы и позволяющих вести беседы, хотелось бы рассмотреть вопрос о том, а что вообще происходит внутри таких сетей. </p>
34
<p>На волне популярности различных нейросетевых моделей, позволяющих генерировать связный текст, отвечающих на вопросы и позволяющих вести беседы, хотелось бы рассмотреть вопрос о том, а что вообще происходит внутри таких сетей. </p>
35
<p>Например, мы хотим научить нейронную сеть отличать кошек от собак или может яблоко от апельсина. Тогда мы просто говорим ей, что есть что, и на основе представленных данных, такая нейронная сеть особенным образом находит закономерности и строит самое обычное уравнение, которое в зависимости от подаваемого ей набора данных, пытается классифицировать изображение. Если мы хотим научить сеть предсказывать какие-то значения (погода, курс валют, отток клиентов банка), то мы понимаем, что ей надо предоставить выборку прошлых лет на основе которой она сможет найти закономерности, также сформировать уравнение и спрогнозировать результат. </p>
35
<p>Например, мы хотим научить нейронную сеть отличать кошек от собак или может яблоко от апельсина. Тогда мы просто говорим ей, что есть что, и на основе представленных данных, такая нейронная сеть особенным образом находит закономерности и строит самое обычное уравнение, которое в зависимости от подаваемого ей набора данных, пытается классифицировать изображение. Если мы хотим научить сеть предсказывать какие-то значения (погода, курс валют, отток клиентов банка), то мы понимаем, что ей надо предоставить выборку прошлых лет на основе которой она сможет найти закономерности, также сформировать уравнение и спрогнозировать результат. </p>
36
<p><a>Читать далее</a></p>
36
<p><a>Читать далее</a></p>
37
<h2>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</h2>
37
<h2>Масштабирование глубокого обучения с помощью Horovod и Kubernetes</h2>
38
<p>Horovod - это фреймворк для распределенного глубокого обучения, изначально разработанный в <em>Uber</em>. Он позволяет масштабировать обучение моделей на сотни и тысячи GPU, сокращая время тренировки с недель до часов. Horovod поддерживает такие фреймворки, как <em>TensorFlow</em>, <em>Keras</em>, <em>PyTorch</em> и <em>Apache</em> <em>MXNet</em>, и легко интегрируется с существующими кодовыми базами, требуя минимум изменений.</p>
38
<p>Horovod - это фреймворк для распределенного глубокого обучения, изначально разработанный в <em>Uber</em>. Он позволяет масштабировать обучение моделей на сотни и тысячи GPU, сокращая время тренировки с недель до часов. Horovod поддерживает такие фреймворки, как <em>TensorFlow</em>, <em>Keras</em>, <em>PyTorch</em> и <em>Apache</em> <em>MXNet</em>, и легко интегрируется с существующими кодовыми базами, требуя минимум изменений.</p>
39
<p>В статье как раз и пойдет речь о том, как масштабировать модельки с помощью Horovod и Kubernetes.</p>
39
<p>В статье как раз и пойдет речь о том, как масштабировать модельки с помощью Horovod и Kubernetes.</p>
40
<p><a>Читать далее</a></p>
40
<p><a>Читать далее</a></p>
41
<h2>Расширяем возможности Keras с помощью кастомных слоев</h2>
41
<h2>Расширяем возможности Keras с помощью кастомных слоев</h2>
42
<p>Keras предоставляет мощные инструменты для создания сложных нейронных сетей. Однако иногда стандартного набора слоев недостаточно для решения некоторых задач. В таких случаях на помощь приходят кастомные слои.</p>
42
<p>Keras предоставляет мощные инструменты для создания сложных нейронных сетей. Однако иногда стандартного набора слоев недостаточно для решения некоторых задач. В таких случаях на помощь приходят кастомные слои.</p>
43
<p>Кастомные слои позволяют адаптировать архитектуру модели под особенности данных, улучшая тем самым производительность и точность моделек.</p>
43
<p>Кастомные слои позволяют адаптировать архитектуру модели под особенности данных, улучшая тем самым производительность и точность моделек.</p>
44
<p><a>Читать далее</a></p>
44
<p><a>Читать далее</a></p>
45
<h2>Кратко про библиотеку Rumale для машинного обучения на Ruby</h2>
45
<h2>Кратко про библиотеку Rumale для машинного обучения на Ruby</h2>
46
<p>Библиотека Rumale создана для того, чтобы сделать машинное обучение доступным и удобным для разрабов на Ruby. Она имеет большой выбор алгоритмов и инструментов, аналогичных тем, что можно найти в Scikit-learn для Python.</p>
46
<p>Библиотека Rumale создана для того, чтобы сделать машинное обучение доступным и удобным для разрабов на Ruby. Она имеет большой выбор алгоритмов и инструментов, аналогичных тем, что можно найти в Scikit-learn для Python.</p>
47
<p>Краткий формат статьи выбран из-за сходств с Sckit learn.</p>
47
<p>Краткий формат статьи выбран из-за сходств с Sckit learn.</p>
48
<p><a>Читать далее</a></p>
48
<p><a>Читать далее</a></p>
49
<h2>Создание масштабируемых RL систем с Ape-X</h2>
49
<h2>Создание масштабируемых RL систем с Ape-X</h2>
50
<p>Ape-X представляет собой подход к обучению с подкреплением, разработанный для использования в масштабируемых распределенных системах.</p>
50
<p>Ape-X представляет собой подход к обучению с подкреплением, разработанный для использования в масштабируемых распределенных системах.</p>
51
<p>Основная идея Ape-X заключается в разделении ролей на акторов, которые взаимодействуют с окружением и собирают данные, и учеников, которые используют эти данные для обучения модели. Такое разделение позволяет ускорить процесс обучения и предотвратить заучивание субоптимальных политик.</p>
51
<p>Основная идея Ape-X заключается в разделении ролей на акторов, которые взаимодействуют с окружением и собирают данные, и учеников, которые используют эти данные для обучения модели. Такое разделение позволяет ускорить процесс обучения и предотвратить заучивание субоптимальных политик.</p>
52
<p><a>Читать далее</a></p>
52
<p><a>Читать далее</a></p>
53
<h2>Динамическое программирование на Python</h2>
53
<h2>Динамическое программирование на Python</h2>
54
<p>Динамическое программирование полезно при решении оптимизационных задач и задач на вычисление, где присутствует большое количество повторяющихся подзадач.</p>
54
<p>Динамическое программирование полезно при решении оптимизационных задач и задач на вычисление, где присутствует большое количество повторяющихся подзадач.</p>
55
<p>По сравнению с другими алгоритмическими подходами, динамическое программирование позволяет ускорить процесс вычисления за счет сохранения результатов выполнения подзадач.</p>
55
<p>По сравнению с другими алгоритмическими подходами, динамическое программирование позволяет ускорить процесс вычисления за счет сохранения результатов выполнения подзадач.</p>
56
<p><a>Читать далее</a></p>
56
<p><a>Читать далее</a></p>
57
<h2>Нужна ли нам Lakehouse архитектура?</h2>
57
<h2>Нужна ли нам Lakehouse архитектура?</h2>
58
<p>Впервые я услышал термин "Lakehouse" в 2019 году, когда пролистывал документ Dremio. Будучи по своей натуре консервативным человеком, я предположил, что это просто очередной маркетинговый термин. Но пять лет спустя, кажется, уже все говорят о Lakehouse; все крупные облачные хранилища данных теперь поддерживают чтение форматов Hudi, Iceberge или Delta Lake непосредственно в хранилище объектов, и даже BigQuery имеет специальный механизм запросов для этой задачи. На этом инновации не заканчиваются: Apache XTable (ранее OneTable) предоставляет абстракции и инструменты для трансляции метаданных формата таблиц Lakehouse. Недавно компания Confluent объявила о выпуске TableFlow, которая передает данные из Apache Kafka непосредственно в озеро данных, хранилище или аналитический движок в виде таблиц Apache Iceberg. Это заставило меня пересмотреть свои прежние предположения: так был ли Lakehouse просто маркетинговым термином?</p>
58
<p>Впервые я услышал термин "Lakehouse" в 2019 году, когда пролистывал документ Dremio. Будучи по своей натуре консервативным человеком, я предположил, что это просто очередной маркетинговый термин. Но пять лет спустя, кажется, уже все говорят о Lakehouse; все крупные облачные хранилища данных теперь поддерживают чтение форматов Hudi, Iceberge или Delta Lake непосредственно в хранилище объектов, и даже BigQuery имеет специальный механизм запросов для этой задачи. На этом инновации не заканчиваются: Apache XTable (ранее OneTable) предоставляет абстракции и инструменты для трансляции метаданных формата таблиц Lakehouse. Недавно компания Confluent объявила о выпуске TableFlow, которая передает данные из Apache Kafka непосредственно в озеро данных, хранилище или аналитический движок в виде таблиц Apache Iceberg. Это заставило меня пересмотреть свои прежние предположения: так был ли Lakehouse просто маркетинговым термином?</p>
59
<p><a>Читать далее</a></p>
59
<p><a>Читать далее</a></p>
60
<h2>Кратко про Seq2Seq-модели</h2>
60
<h2>Кратко про Seq2Seq-модели</h2>
61
<p>Seq2Seq модели - это архитектуры ML, предназначенные для задач, связанных с последовательными данными, типо машинного перевода, суммирования текста, создания описаний к пикчам и прочие задачи, где требуется преобразование одной последовательности в другую.</p>
61
<p>Seq2Seq модели - это архитектуры ML, предназначенные для задач, связанных с последовательными данными, типо машинного перевода, суммирования текста, создания описаний к пикчам и прочие задачи, где требуется преобразование одной последовательности в другую.</p>
62
<p>В этой статье в общих деталях рассмотрим то, как реализуются Seq2Seq модели.</p>
62
<p>В этой статье в общих деталях рассмотрим то, как реализуются Seq2Seq модели.</p>
63
<p><a>Читать далее</a></p>
63
<p><a>Читать далее</a></p>
64
<h2>Как VWE помогает снизить дисперсию и повысить точность данных</h2>
64
<h2>Как VWE помогает снизить дисперсию и повысить точность данных</h2>
65
<p>В этой статье поговорим о методе Variance weighted estimator (VWE), который помогает снизить дисперсию</p>
65
<p>В этой статье поговорим о методе Variance weighted estimator (VWE), который помогает снизить дисперсию</p>
66
<p>Когда мы работаем с данными, одна из основных целей - получить как можно более точные оценки. Высокая дисперсия, или разброс данных, может частенько искажает результаты анализа. Например, в случая A/B тестов, если дисперсия слишком велика, то даже при наличии реальных различий между группами, статистическая значимость может быть под вопросом, и имеются некоторые риски упустить важные инсайты.</p>
66
<p>Когда мы работаем с данными, одна из основных целей - получить как можно более точные оценки. Высокая дисперсия, или разброс данных, может частенько искажает результаты анализа. Например, в случая A/B тестов, если дисперсия слишком велика, то даже при наличии реальных различий между группами, статистическая значимость может быть под вопросом, и имеются некоторые риски упустить важные инсайты.</p>
67
<p><a>Читать далее</a></p>
67
<p><a>Читать далее</a></p>
68
<h2>Алгоритм Backpropagation на Python</h2>
68
<h2>Алгоритм Backpropagation на Python</h2>
69
<p>Алгоритм backpropagation, или обратное распространение ошибки, является некой базой для тренировки многослойных перцептронов и других типов искусственных нейронных сетей. Этот алгоритм впервые был предложен Полем Вербосом в 1974 году, а позже популяризирован Дэвидом Румельхартом, Джеффри Хинтоном и Рональдом Уильямсом в 1986 году.</p>
69
<p>Алгоритм backpropagation, или обратное распространение ошибки, является некой базой для тренировки многослойных перцептронов и других типов искусственных нейронных сетей. Этот алгоритм впервые был предложен Полем Вербосом в 1974 году, а позже популяризирован Дэвидом Румельхартом, Джеффри Хинтоном и Рональдом Уильямсом в 1986 году.</p>
70
<p>В этой статье реализуем алгоритм на Питоне.</p>
70
<p>В этой статье реализуем алгоритм на Питоне.</p>
71
<p><a>Читать далее</a></p>
71
<p><a>Читать далее</a></p>
72
<h2>Основные алгоритмы многоруких бандитов в рекомендательных системах</h2>
72
<h2>Основные алгоритмы многоруких бандитов в рекомендательных системах</h2>
73
<p>Рекомендательные системы становятся все более сложными и точными, а методы их реализации разнообразнее. Один из хороших подходов в этой области - это алгоритмы, основанные на проблеме многоруких бандитов. Эти алгоритмы позволяют анализировать предпочтения юзеров и адаптироваться к изменяющимся условиям.</p>
73
<p>Рекомендательные системы становятся все более сложными и точными, а методы их реализации разнообразнее. Один из хороших подходов в этой области - это алгоритмы, основанные на проблеме многоруких бандитов. Эти алгоритмы позволяют анализировать предпочтения юзеров и адаптироваться к изменяющимся условиям.</p>
74
<p>Проблема многоруких бандитов представляет собой рамки принятия решений в условиях неопределенности. Основная задача состоит в том, чтобы выбрать <em>руку</em> или действие, которое предоставит наибольшую награду, при минимальных потерях в процессе исследования разных вариантов.</p>
74
<p>Проблема многоруких бандитов представляет собой рамки принятия решений в условиях неопределенности. Основная задача состоит в том, чтобы выбрать <em>руку</em> или действие, которое предоставит наибольшую награду, при минимальных потерях в процессе исследования разных вариантов.</p>
75
<p><a>Читать далее</a></p>
75
<p><a>Читать далее</a></p>
76
<a></a>
76
<a></a>