0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<p>Теги: apache spark, облачные технологии</p>
1
<p>Теги: apache spark, облачные технологии</p>
2
<p>Чтобы обрабатывать<strong>Big Data</strong>, крайне важна горизонтальная масштабируемость. То есть чем больше мы имеем узлов в кластере, тем быстрее происходит обработка этих самых данных.<strong>Spark</strong>исключением не является.</p>
2
<p>Чтобы обрабатывать<strong>Big Data</strong>, крайне важна горизонтальная масштабируемость. То есть чем больше мы имеем узлов в кластере, тем быстрее происходит обработка этих самых данных.<strong>Spark</strong>исключением не является.</p>
3
<p>Однако на деле выстраивать кластеры в целях обработки данных на собственном оборудовании -- дело, во-первых, сложное, а во-вторых -- затратное. Ведь угадать заранее, сколько потребуется серверов и какой мощности, задача трудная. Если задействуешь много серверов -- получишь простои, если задействуешь мало -- обработка данных станет занимать слишком много времени. Именно поэтому следует обратить самое пристальное внимание на<strong>облачные технологии</strong>.</p>
3
<p>Однако на деле выстраивать кластеры в целях обработки данных на собственном оборудовании -- дело, во-первых, сложное, а во-вторых -- затратное. Ведь угадать заранее, сколько потребуется серверов и какой мощности, задача трудная. Если задействуешь много серверов -- получишь простои, если задействуешь мало -- обработка данных станет занимать слишком много времени. Именно поэтому следует обратить самое пристальное внимание на<strong>облачные технологии</strong>.</p>
4
<p>Современные облачные платформы способны предоставить большие объемы ресурсов, причем по требованию. При небольшой нагрузке вы можете подключать лишь несколько небольших узлов. Если нагрузка вырастет, вы сможете оперативно добавить в кластер новые узлы. Все это даст возможность задействовать ресурсы максимально эффективно.</p>
4
<p>Современные облачные платформы способны предоставить большие объемы ресурсов, причем по требованию. При небольшой нагрузке вы можете подключать лишь несколько небольших узлов. Если нагрузка вырастет, вы сможете оперативно добавить в кластер новые узлы. Все это даст возможность задействовать ресурсы максимально эффективно.</p>
5
<p>Кроме вышесказанного, облачные платформы характеризуются наличием специальных инструментов для работы с Big Data. Достаточно вспомнить платформу VK Cloud (<strong>MCS</strong>), где присутствуют различные инструменты по работе с Big Data: Hadoop, Spark, Kafka, Storm. Плюсом является то, что все они предоставляются в качестве сервиса, а это значит, что инсталлировать их не надо, как и поддерживать -- все это ложится на плечи облачного провайдера.</p>
5
<p>Кроме вышесказанного, облачные платформы характеризуются наличием специальных инструментов для работы с Big Data. Достаточно вспомнить платформу VK Cloud (<strong>MCS</strong>), где присутствуют различные инструменты по работе с Big Data: Hadoop, Spark, Kafka, Storm. Плюсом является то, что все они предоставляются в качестве сервиса, а это значит, что инсталлировать их не надо, как и поддерживать -- все это ложится на плечи облачного провайдера.</p>
6
<p>Вдобавок к вышеупомянутым инструментам, для работы с Big Data предоставляются и разные полезные технологии. Тот же Apache Spark вы сможете развернуть в Kubernetes, что позволит получить больше гибкости, одновременно с этим решив ряд проблем классического Hadoop-кластера (например, проблему изоляции сред либо проблему разделения Compute- и Storage-слоев). Таким образом, облачные платформы в сочетании с Apache Spark при правильном подходе позволяют достичь неплохих результатов. А это не может не радовать.</p>
6
<p>Вдобавок к вышеупомянутым инструментам, для работы с Big Data предоставляются и разные полезные технологии. Тот же Apache Spark вы сможете развернуть в Kubernetes, что позволит получить больше гибкости, одновременно с этим решив ряд проблем классического Hadoop-кластера (например, проблему изоляции сред либо проблему разделения Compute- и Storage-слоев). Таким образом, облачные платформы в сочетании с Apache Spark при правильном подходе позволяют достичь неплохих результатов. А это не может не радовать.</p>
7
<p><em>По материалам https://mcs.mail.ru/blog.</em></p>
7
<p><em>По материалам https://mcs.mail.ru/blog.</em></p>
8
8