Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#статьи</a>

2 <ul><li>31 май 2023</li>

3 <li>0</li>

4 </ul>Разбираемся, что нужно уметь инженеру данных и кому подходит профессия.

5 Иллюстрация: Billion Photos / Shutterstock / Jim cooke / Unsplash / Annie для Skillbox Media

6 Пишет про digital и машинное обучение для корпоративных блогов. Топ-автор в категории "Искусственный интеллект" на Medium. Kaggle-эксперт.

7 Данные ― это "нефть" для бизнеса и науки. И только инженеры данных знают, как эту нефть добывать, обрабатывать и хранить.

8 В статье мы расскажем, какие задачи решает data engineer и чему нужно научиться, чтобы стать востребованным специалистом в этой сфере.

9 Вы узнаете:

10 <ul><li><a>Кто такой data engineer</a></li>

11 <li><a>Чем data engineer отличается от data scientist</a></li>

12 <li><a>Чем он занимается</a></li>

13 <li><a>Что он должен уметь и знать</a></li>

14 <li><a>Какие у этой профессии достоинства и недостатки</a></li>

15 <li><a>Как стать data engineer и где этому научиться</a></li>

16 </ul>Дата-инженер (data engineer) - это специалист, который разрабатывает и обслуживает инфраструктуру хранения, обработки и анализа больших объёмов данных, или big data.

17 Инженеры данных нужны в банках, ретейле и крупных онлайн-сервисах. Например, банки хранят информацию обо всех транзакциях своих клиентов. Им нужно проанализировать поведение своих клиентов, чтобы предложить им новые полезные продукты: кредитные и дебетовые карты, кешбэк, скидки партнёров и так далее. Но прежде чем анализировать данные о покупках и транзакциях, их нужно собрать в одном месте и структурировать.

18 Структурированные данные организованы в определённом формате, чаще всего в таблицах, XML-файлах или JSON-файлах. Такие данные легко прочитать и обработать с помощью компьютерных программ. Инженер данных и есть тот человек, который может взять картинки, тексты и видео в неструктурированном формате и трансформировать их в удобный формат, а затем передать другим отделам, например маркетинга или бизнес-аналитики.

19 Инженер данных не участвует в анализе данных, но создаёт условия для работы ML-инженеров и аналитиков, обеспечивает их необходимыми инструментами. Data engineer ― техническая специальность, которая требует не только уметь программировать, но и понимать принципы работы "железа", в том числе серверов и облачных систем, где хранятся данные.

20 Несмотря на некоторую схожесть в названиях специальностей и обязанностях дата-инженеров и дата-сайентистов, это две разные профессии, которые тем не менее отлично дополняют друг друга.

21 Data engineerсоздаёт инфраструктуру для работы с данными. Он устанавливает инструменты для сборки и передачи данных, строит архитектуру хранилищ для БД.

22 Data scientistпользуется этой инфраструктурой, чтобы анализировать данные. Он строит и обучает модели, чтобы они находили паттерны в данных и правильно их интерпретировали. К дата-сайентисту данные попадают уже в "очищенном" и упорядоченном виде.

23 Инфографика: Майя Мальгина для Skillbox MediaМожно сказать, что без инженера данные останутся непригодны для работы, ведь некому будет их собрать, систематизировать и передать на изучение. Но и без дата-сайентистов от них не будет пользы, кто-то же должен их проанализировать.

24 В больших компаниях роли data engineer и data scientist обычно играют разные люди. Но маленькие компании часто ищут многопрофильных специалистов, которые знают, как проектировать инфраструктуру для управления данными, и умеют работать с алгоритмами машинного обучения.

25 Инженер данных создаёт условия для хранения и обработки больших данных, или big data. Это значит, что он:

26 <ul><li>Управляет ETL-процессами, то есть достаёт (extract), трансформирует (transform) и загружает (load) данные в базу данных.</li>

27 <li>Очищает данные от дубликатов, ошибок, нерелевантных полей.</li>

28 <li>Организует пайплайн потоков данных (конвейер, по которому потоки данных двигаются в компании).</li>

29 <li>Настраивает мониторинг так, чтобы в случае поломки система оповестила инженера о возникшей проблеме.</li>

30 <li>Разрабатывает и поддерживает базы данных, чтобы нужные данные легко было найти и извлечь.</li>

31 <li>Оптимизирует производительность баз данных, чтобы данные стабильно поступали в систему даже при высокой нагрузке.</li>

32 <li>Разрабатывает и поддерживает приложения для работы с данными, такие как API и CLI.</li>

33 <li>Cоставляет расписание, по которому система обработки данных в компании будет работать с информацией.</li>

34 </ul>Конечно, стоит отметить, что конкретный набор обязанностей специалиста зависит от компании, в которой он работает. И, как уже было сказано выше, нередко от дата-инженера ожидают умений из смежных профессий, таких как data science.

35 Вот "джентльменский набор" хард-скиллов, которыми должен владеть инженер по работе с данными.

36 Языки программирования.Чтобы работать дата-инженером, нужно уметь программировать на Python или Java/Scala, реже на Go или C++. Навык пригодится для автоматизации обработки данных из разных источников, а также для разработки служебных утилит и сервисов. Из приведённых языков Python ― самый разноплановый и потому популярный, зато Scala более эффективен в промышленных масштабах за счёт специализации на работе с данными.

37 Базы данных и SQL.Инженер по данным много работает с таблицами, поэтому он должен уметь писать SQL-запросы и работать с разными видами баз данных (например,<a>реляционными</a>или<a>колоночными</a>).

38 Hadoop, Spark и Kafka.Эти инструменты помогают работать с данными на кластерах (то есть группах взаимно подсоединённых виртуальных вычислительных или физических машин), потому что большие данные невозможно эффективно обработать на локальных компьютерах. Также важно знать Linux, владеть<a>командной строкой</a>, писать<a>Bash-сценарии</a>и уметь работать с облачными сервисами, например Amazon Web Services. Данные часто<a>обрабатываются в облаке</a>, поскольку немногие компании могут себе позволить выстроить собственную огромную инфраструктуру.

39 Хотите узнать всё о Kafka меньше чем за час?Слушайте<a>выпуск подкаста "Люди и код"</a>, в котором мы обсудили его API, сложности настройки, сценарии использования и сравнили с конкурентами.

40 Docker.Инженеру данных также важно уметь пользоваться Docker. Это сервис для упаковки данных на локальном компьютере, чтобы их можно было передать коллегам или в кластер.

41 Софт-скиллы.Несмотря на то, что инженер данных - глубоко техническая профессия, даже здесь требуются развитые софт-скиллы. Инженеру нужно уметь взаимодействовать с командой из своего и других отделов: data science, бизнес-аналитики и маркетинга. В работе с аналитиками данных инженер данных, по сути, выступает как исполнитель, а data scientist - как клиент. Поэтому инженер данных должен разобраться в потребности клиента, предложить решение и уметь убедительно презентовать его.

42 Ну какие недостатки могут быть у такой перспективной и модной профессии? Оказывается, кое-какие трудности всё-таки есть.

43 Большая ответственность.Дата-инженеры отвечают за работу инфраструктуры, качество и сохранность данных. Им часто приходится выполнять монотонную и однотипную работу - при этом важно не терять сосредоточенности.

44 Высокий порог входа.Даже чтобы претендовать на джуниорскую позицию, нужно овладеть несколькими разноплановыми инструментами для работы с данными. А поскольку профессия новая, список требований может сильно разниться в разных компаниях.

45 Зато плюсов куда больше:

46 Высокие зарплаты и относительно низкая конкуренция.Хороших специалистов мало, поэтому конкуренция на рынке невысокая, а зарплаты высокие - как в России, так и за рубежом. Согласно<a>hh.ru</a>, начинающий дата-инженер может претендовать на зарплату от 75 тысяч рублей. Middle-инженер может зарабатывать от 100 до 390 тысяч рублей, а senior - от 240 до 830 тысяч рублей и более. В зарубежных компаниях могут платить намного больше.

47 Скриншот: HeadHunter / Skillbox MediaУдалённая работа или релокация.Вы сможете работать удалённо в крупных городах России или за рубежом. К тому же зарубежные компании заинтересованы в технических специалистах и охотно помогают им с релокацией.

48 Перспективность и стабильность со знаком +.Количество данных и потребность в специалистах, которые умеют с ними работать, растёт из года в год. Согласно<a>отчёту Dice</a>, в 2021 году в России спрос на дата-инженеров увеличился на 127%.

49 Это очень интересно.Если вам нравится решать сложные задачи и осваивать новые технологии, эта профессия точно вам понравится. К тому же инженеру по данным есть куда расти, как вертикально, так и горизонтально. Или со временем вы можете вовсе сменить карьерный вектор. Например, освоить machine learning и работать с моделями машинного обучения или переквалифицироваться в DevOps-инженера и заниматься автоматизацией и упорядочиванием процесса разработки в целом.

50 Чтобы стать инженером данных, нужно изучить основы информационных технологий, математики и статистики. Также придётся освоить язык программирования, работу с базами данных и специальные инструменты: Hadoop, Spark, NoSQL и другие (<a>см. выше</a>).

51 Чтобы повысить квалификацию и увеличить шансы на получение работы, некоторые специалисты советуют получить сертификаты в области big data и data engineering. Самые популярные из них:

52 <ul><li><a>Google Certified Professional Data Engineer</a></li>

53 <li><a>IBM Data Science Professional Certificate</a></li>

54 <li><a>AWS Certified Big Data</a></li>

55 </ul>Программы высшего образования в области инженерии данных есть в крупных российских вузах, в том числе в МФТИ, МИФИ и НИУ ВШЭ.

56 В Skillbox можно<a>обучиться профессии за два года</a>. Сначала вы пройдёте модуль с основами data science, а потом выберете специализацию, одна из которых - data engineer. Среди главных преимуществ такого подхода - упор на практические задачи, свежая и регулярно обновляемая программа, а также постоянная коммуникация с преподавателями.

57 <a>Курс с трудоустройством: "Профессия Data scientist + ИИ" Узнать о курсе</a>