Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#статьи</a>

2 <ul><li>6 апр 2021</li>

3 <li>0</li>

4 </ul><h2>Карта развития дата-сайентиста: с чего начать, к чему идти и сколько времени потребуется</h2>

5 На каком уровне находитесь вы и далеко ли до следующей ступеньки?

6 Кандидат философских наук, специалист по математическому моделированию. Пишет про Data Science, AI и программирование на Python.

7 Об авторе

8 Преподаватель физики и инженерных дисциплин в Университете Эдмонта, Оклахома. Интересы: Data Science, машинное обучение, ИИ, Python, R, биофизика.

9 Каждый, кто заинтересовался наукой о данных, задаётся вопросом: а сколько времени понадобится, чтобы её изучить? Мы составили примерный график профессионального развития дата-сайентиста по трём уровням - базовый, средний и продвинутый. Чтобы было проще сравнивать с требованиями вакансий, привели их к принятым в IT терминам: стажёр (intern), джун (junior, младший), мидл (middle, средний) и сеньор (senior, старший).

10 Уровни для дата-сайентиста рассмотрим на примере языка Python. Но вообще в Data Science используют и другие языки и платформы - R, Julia, SAS, MATLAB.

11 Дополнительно:Чтобы не запутаться в терминах, прочитайте<a>нашу статью</a>про Python-минимум, необходимый для первоначального погружения в Data Science. И будьте осторожны - дальше много чек-листов и перечислений :)

12 Главное на этом уровне - научиться работать с датасетами в виде CSV-файлов, обрабатывать и визуализировать данные, понимать, что такое линейная регрессия.

13 В первую очередь придётся манипулировать данными, чистить, структурировать и приводить их к единой размерности или шкале. От новичка ждут уверенной работы с библиотеками Pandas и NumPy и некоторых специальных навыков:

14 <ul><li>импорт и экспорт данных в CSV-формате;</li>

15 <li>очистка, предварительная подготовка, систематизация данных для анализа или построения модели;</li>

16 <li>работа с пропущенными значениями в датасете;</li>

17 <li>понимание принципов замены недостающих данных (импутации) и их реализация - например, замена средними или медианами;</li>

18 <li>работа с категориальными признаками;</li>

19 <li>разделение датасета на обучающую и тестовую части;</li>

20 <li>нормировка данных с помощью нормализации и стандартизации;</li>

21 <li>уменьшение объёма данных с помощью техник снижения размерности - например, метода главных компонент.</li>

22 </ul>Новичок должен знать основные принципы хорошей визуализации и инструменты - в том числе Python-библиотеки matplotlib и seaborn (для R - ggplot2).

23 Какие компоненты нужны для правильной визуализации данных:

24 <ul><li>Данные. Прежде чем решить, как именно визуализировать данные, надо понять, к какому типу они относятся: категориальные, численные, дискретные, непрерывные, временной ряд.</li>

25 <li>Геометрия. То есть какой график вам подойдёт: диаграмма рассеяния, столбиковая диаграмма, линейный график, гистограмма, диаграмма плотности, "ящик с усами", тепловая карта.</li>

26 <li>Координаты. Нужно определить, какая из переменных будет отражена на оси x, а какая - на оси y. Это важно, особенно если у вас многомерный датасет с несколькими признаками.</li>

27 <li>Шкала. Решите, какую шкалу будете использовать: линейную, логарифмическую или другие.</li>

28 <li>Текст. Всё, что касается подписей, надписей, легенд, размера шрифта и так далее.</li>

29 <li>Этика. Убедитесь, что ваша визуализация излагает данные правдиво. Иными словами, что вы не вводите в заблуждение свою аудиторию, когда очищаете, обобщаете, преобразовываете и визуализируете данные.</li>

30 </ul>Главное: стажёру придётся изучить методы регрессии, стать почти на ты с библиотеками scikit-learn и caret, чтобы строить модели линейной регрессии. Но чтобы стать полноценным джуниором, стажёр должен знать и уметь ещё кучу всего (осторожно - там сложные слова, но есть подсказки):

31 <ul><li>проводить простой регрессионный анализ с помощью NumPy или Pylab;</li>

32 <li>использовать библиотеку scikit-learn, чтобы решать задачи с множественной регрессией;</li>

33 <li>понимать методы регуляризации: метод LASSO, метод упругой сети, метод регуляризации Тихонова;</li>

34 <li>знать непараметрические методы регрессии: метод k-ближайших соседей и метод опорных векторов;</li>

35 <li>понимать метрики оценок моделей регрессии: среднеквадратичная ошибка, средняя абсолютная ошибка и коэффициент детерминации R-квадрат;</li>

36 <li>сравнивать разные модели регрессии.</li>

37 </ul>А как вы хотели - сделать Терминатора непросто :)

38 Прочно закрепив на практике все те неприличные слова из блока для джуна, можно штурмовать более продвинутые техники и методы: предсказание дискретных переменных в <a>обучении с учителем</a>(supervised learning), оценку и настройку моделей, а также сбор разных алгоритмов в единые ансамбли методов. Вы уже поняли, что сейчас опять начнётся ковровое бомбометание дата-сайентистскими терминами? Не вздумайте употреблять их в публичных местах - а то бабушки начнут креститься, как будто увидели сатаниста или парня с татуировками по всему телу :)

39 Начните с алгоритмов бинарной классификации - вот какие надо знать мидлу:

40 <ul><li>перцептрон;</li>

41 <li>логистическая регрессия;</li>

42 <li>метод опорных векторов;</li>

43 <li>решающие деревья и случайный лес;</li>

44 <li>k-ближайших соседей;</li>

45 <li>наивный байесовский классификатор.</li>

46 </ul>Дополнительно:<a>небольшая статья</a>о том, как создать простую модель машинного обучения. Формируем и делим датасет, обучаем модель Random Forest, предсказываем дискретную переменную и вот это всё.

47 Мастхэв - на хорошем уровне работать с <a>библиотекой scikit-learn</a>(она уже тут мелькала), которая помогает строить модели. Также придётся решать задачи на нелинейную классификацию с помощью метода опорных векторов, освоить несколько метрик для оценки алгоритмов классификации - точность, погрешность, чувствительность, матрица ошибок, F-мера, ROC-кривая.

48 Чтобы правильно оценивать и настраивать модели, специалисту нужно:

49 <ul><li>соединять трансформеры (к Оптимусу Прайму и Бамблби они отношения не имеют - пока) и модули оценки (estimators) в конвейеры машинного обучения (machine learning pipelines).</li>

50 <li>использовать кросс-валидацию для оценки модели;</li>

51 <li>устранять ошибки в алгоритмах классификации с помощью кривых обучения и валидации;</li>

52 <li>выявлять проблемы смещения и дисперсии с помощью кривых обучения;</li>

53 <li>работать с переобучением и недообучением, используя кривые валидации;</li>

54 <li>настраивать модель машинного обучения и оптимизировать гиперпараметры с помощью поиска по решётке;</li>

55 <li>читать и правильно интерпретировать матрицу ошибок;</li>

56 <li>строить и правильно толковать ROC-кривую.</li>

57 </ul><ul><li>использовать ансамбль методов с различными классификаторами;</li>

58 <li>комбинировать разные алгоритмы классификации;</li>

59 <li>знать, как оценить и настроить ансамбль моделей классификации.</li>

60 </ul>На этом уровне дата-сайентист углубляется в конкретную специализацию - и разбег по требованиям может быть очень большим. Однако каждому благородному дону, то есть сеньору, точно придётся работать со сложными датасетами: текстом, изображениями, аудио (голос) и видео. Поэтому к навыкам среднего уровня добавится вот что:

61 <ul><li>алгоритм кластеризации (обучение без учителя);</li>

62 <li>k-средние;</li>

63 <li>глубокое обучение;</li>

64 <li>нейронные сети;</li>

65 <li>библиотеки Keras, TensorFlow, Theano;</li>

66 <li>основы разработки в облачных сервисах: AWS, Azure.</li>

67 </ul>Дополнительно:здесь не повредит понимание различий между искусственным интеллектом, машинным обучением и глубоким обучением. У нас как раз есть<a>статья на эту тему</a>.

68 Итак, чтобы стать специалистом базового уровня, понадобится от 6 до 12 месяцев. Вырасти с базового уровня до среднего можно за 7-18 месяцев. Продвинутый уровень потребует ещё от 18 до 48 месяцев.

69 Конечно, это приблизительные сроки. Многое зависит от бэкграунда: тем, кто неплохо прокачан в физике, математике, естественных и компьютерных науках, работал инженером или финансистом, будет гораздо проще. Но в первую очередь важны усилия и время, которые вы вкладываете в изучение Data Science, - в общем, никакой магии. Просто берём и делаем.

70 На курсе "<a>Профессии Data Scientist</a>" мы даём не только базовые знания, но и часть навыков среднего и продвинутого уровней. В итоге у вас появятся портфолио проектов, стаж не менее года, заряженные единомышленники и компетентные наставники. Приходите!

71 - <a>Научитесь: Профессия Data scientist + ИИ Узнать больше</a>

71 + <a>Бесплатный курс по Python ➞Мини-курс для новичков и для опытных кодеров. 4 крутых проекта в портфолио, живое общение со спикером. Кликните и узнайте, чему можно научиться на курсе. Смотреть программу</a>