Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-03-10

1 <ul><li><a>Проектирование Data Pipelines в Apache Airflow</a></li>

2 <li><a>Как обрабатывать объекты Avro с помощью датасетов Spark 3.2 & Scala 2.12</a></li>

3 <li><a>DevOps + Data: Синергия двух миров = DataOps</a></li>

4 <li><a>Платформа данных как услуга</a></li>

5 <li><a>Смотрите записи открытых уроков курса "DataOps Engineer"</a></li>

6 </ul><h3><a>Проектирование Data Pipelines в Apache Airflow</a></h3>

7 <p>Эта статья посвящена краткому введению в Airflow и шагов по созданию и настройке конвейеров данных (Data Pipelines). Сначала мы установим и сконфигурируем Airflow. Затем рассмотрим практический пример создания и запуска DAG в Airflow. Нашей целью является практическое понимание развертывания Airflow и базовой разработки DAG.</p>

8 <h3><a>Как обрабатывать объекты Avro с помощью датасетов Spark 3.2 & Scala 2.12</a></h3>

9 <p>Разберем, как обрабатывать объекты JVM, сгенерированные из схем Avro, в датасетах Spark. Вместе с этим рассмотрим, как организовать код при помощи шаблона функционального программирования "класс типов" (type class) на языке Scala.</p>

10 <h3><a>DevOps + Data: Синергия двух миров = DataOps</a></h3>

11 <p>В этой заметке рассмотрим:</p>

12 <ol><li>Почему появилась потребность в DataOps;</li>

13 <li>Три простых идеи, на которых фокусируется DataOps:<ul><li>Работа с данными должна быть воспроизводимой;</li>

14 <li>Аналитика как код;(Кажется, что это логически вытекает из п.1., но не все так просто);</li>

15 <li>Думайте о данных как о платформе.</li>

16 </ul></li>

17 </ol><h3><a>Платформа данных как услуга</a></h3>

18 <p>Когда мы проектируем и создаем платформу данных, то работаем над обеспечением возможностей и инструментов, которые необходимы другим командам для развития их проектов. <a>Читать далее.</a></p>

19 <h3>Смотрите записи открытых уроков курса<a>"DataOps Engineer"</a></h3>