0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<p>Поговорим о том, когда появился термин<strong>DataOps</strong>, а также в каком году он прочно вошел в лексикон специалистов по данным.</p>
1
<p>Поговорим о том, когда появился термин<strong>DataOps</strong>, а также в каком году он прочно вошел в лексикон специалистов по данным.</p>
2
<p>Термин DataOps (от Data Operations) впервые прозвучал в 2015 г., и произошло это в блоге<strong>Энди Палмера</strong>. Энди Палмер, наряду с легендарным Майклом Стоунбрейкером, является сооснователем компании Tamr.</p>
2
<p>Термин DataOps (от Data Operations) впервые прозвучал в 2015 г., и произошло это в блоге<strong>Энди Палмера</strong>. Энди Палмер, наряду с легендарным Майклом Стоунбрейкером, является сооснователем компании Tamr.</p>
3
<p>Следующее упоминание о<strong>DataOps</strong>произошло уже в марте 2017 г. на конференции<strong>"Strata+Hadoop World"</strong>. И прошло оно не просто так, ведь термин был зафиксирован в книге "<em>Creating a Data-Driven Enterprise with DataOps</em>", причем написана эта книга была не кем-нибудь, а специалистами, 4 года работавшими над проектом<strong>Apache Hive</strong>в команде<strong>Facebook Data Service Team</strong>.</p>
3
<p>Следующее упоминание о<strong>DataOps</strong>произошло уже в марте 2017 г. на конференции<strong>"Strata+Hadoop World"</strong>. И прошло оно не просто так, ведь термин был зафиксирован в книге "<em>Creating a Data-Driven Enterprise with DataOps</em>", причем написана эта книга была не кем-нибудь, а специалистами, 4 года работавшими над проектом<strong>Apache Hive</strong>в команде<strong>Facebook Data Service Team</strong>.</p>
4
<p>Тут уместно будет вспомнить движение<strong>"SQL для Hadoop"</strong>, которое было начато<strong>Hive</strong>и нацелено на решение проблемы по предоставлению аналитикам удобных средств для работы с большими данными. Ведь, несмотря на наличие множества инструментов обработки<strong>Big Data</strong>, Hadoop до сих пор является трудным даже для специалистов по данным, не говоря о бизнесе, который вовсе не хочет тратить время на освоение, в результате чего в алгоритме "потоки гетерогенных данных - специалисты по данным - конечные юзеры" формируется узкое место -- "бутылочное горлышко". Причем для устранения этого узкого места одного лишь средства доступа к данным явно недостаточно - надо ведь еще и обеспечить сбор/подготовку данных, надо управлять эксплуатацией данных и вовремя реагировать на рост/падение объемов и нагрузок. А еще крайне важно снабжать аналитиков именно "свежими" данными, ну а разработчиков - "живыми задачами", которые способны привести к значимым для бизнеса результатам в сжатые сроки.</p>
4
<p>Тут уместно будет вспомнить движение<strong>"SQL для Hadoop"</strong>, которое было начато<strong>Hive</strong>и нацелено на решение проблемы по предоставлению аналитикам удобных средств для работы с большими данными. Ведь, несмотря на наличие множества инструментов обработки<strong>Big Data</strong>, Hadoop до сих пор является трудным даже для специалистов по данным, не говоря о бизнесе, который вовсе не хочет тратить время на освоение, в результате чего в алгоритме "потоки гетерогенных данных - специалисты по данным - конечные юзеры" формируется узкое место -- "бутылочное горлышко". Причем для устранения этого узкого места одного лишь средства доступа к данным явно недостаточно - надо ведь еще и обеспечить сбор/подготовку данных, надо управлять эксплуатацией данных и вовремя реагировать на рост/падение объемов и нагрузок. А еще крайне важно снабжать аналитиков именно "свежими" данными, ну а разработчиков - "живыми задачами", которые способны привести к значимым для бизнеса результатам в сжатые сроки.</p>
5
<p>Как же достичь такой "нирваны" при общении с данными? И вот здесь-то на сцену и вышел<strong>DataOps</strong>. Собственно говоря, в отличие от множества модных терминов, расшифровывать слово DataOps, по сути, и не нужно, ведь и так понятно, что разговор идет<strong>об интеграции</strong>таких ветвей, как аналитика, разработка и эксплуатация в условиях BigData, то есть перед нами, если говорить простыми словами, не что иное, как<strong>DevOps для больших данных</strong>(хотя, конечно же, нюансы в интерпретации деталей вполне себе допустимы). Не секрет, что компаниям, бизнес которых выстроен на Big Data, приходится чуть ли не каждый день вводить в эксплуатацию новые сервисы, созданные на основе данных. Такие практики естественны и применялись задолго до DataOps.</p>
5
<p>Как же достичь такой "нирваны" при общении с данными? И вот здесь-то на сцену и вышел<strong>DataOps</strong>. Собственно говоря, в отличие от множества модных терминов, расшифровывать слово DataOps, по сути, и не нужно, ведь и так понятно, что разговор идет<strong>об интеграции</strong>таких ветвей, как аналитика, разработка и эксплуатация в условиях BigData, то есть перед нами, если говорить простыми словами, не что иное, как<strong>DevOps для больших данных</strong>(хотя, конечно же, нюансы в интерпретации деталей вполне себе допустимы). Не секрет, что компаниям, бизнес которых выстроен на Big Data, приходится чуть ли не каждый день вводить в эксплуатацию новые сервисы, созданные на основе данных. Такие практики естественны и применялись задолго до DataOps.</p>
6
<p>Но именно с появлением последней, состояние "нирваны" при общении с данными почувствовали такие гиганты, как<strong>LinkedIn, eBay, Twitter, Uber и Netflix</strong>. Именно эти компании в числе первых увидели на примере<strong>Facebook</strong>, что данные в современном мире - это власть, особенно если вы умеете работать с этими данными, опираясь не только на технологии, но и путем изменения всей культуры, как это, к слову, и предусматривает концепция DataOps.</p>
6
<p>Но именно с появлением последней, состояние "нирваны" при общении с данными почувствовали такие гиганты, как<strong>LinkedIn, eBay, Twitter, Uber и Netflix</strong>. Именно эти компании в числе первых увидели на примере<strong>Facebook</strong>, что данные в современном мире - это власть, особенно если вы умеете работать с этими данными, опираясь не только на технологии, но и путем изменения всей культуры, как это, к слову, и предусматривает концепция DataOps.</p>
7
<p>В связи со всем вышесказанным, становится даже странным и удивительным, что термин появился так поздно. По сути, он и вошел-то в лексикон инженеров по данным всего лишь конце 2017 г. и только потом был узаконен аналитиками<strong>Gartner</strong>в IT-глоссарии, где это понятие характеризуется следующим образом:</p>
7
<p>В связи со всем вышесказанным, становится даже странным и удивительным, что термин появился так поздно. По сути, он и вошел-то в лексикон инженеров по данным всего лишь конце 2017 г. и только потом был узаконен аналитиками<strong>Gartner</strong>в IT-глоссарии, где это понятие характеризуется следующим образом:</p>
8
<p>Ну и, напоследок, вспомним<strong>главные принципы DataOps</strong>:</p>
8
<p>Ну и, напоследок, вспомним<strong>главные принципы DataOps</strong>:</p>
9
<ul><li>следует думать не о серверах, а о сервисах;</li>
9
<ul><li>следует думать не о серверах, а о сервисах;</li>
10
<li>инфраструктура работы с данными представляет собой код;</li>
10
<li>инфраструктура работы с данными представляет собой код;</li>
11
<li>автоматизируйте все!</li>
11
<li>автоматизируйте все!</li>
12
<li>не забывайте про<strong>DevOps</strong>: компания, управляемая данными, представляет собой<strong>DataOps + DevOps</strong>, которые реализованы с учетом принципов<strong>Agile</strong>.</li>
12
<li>не забывайте про<strong>DevOps</strong>: компания, управляемая данными, представляет собой<strong>DataOps + DevOps</strong>, которые реализованы с учетом принципов<strong>Agile</strong>.</li>
13
</ul><p><em>По материалам https://www.osp.ru/.</em></p>
13
</ul><p><em>По материалам https://www.osp.ru/.</em></p>
14
14