Главная » IT-индустрия » BIG DATA 2019: «Hadoop по-русски» становится платформой корпоративного уровня

BIG DATA 2019: «Hadoop по-русски» становится платформой корпоративного уровня

Создатели Arenadata Enterprise Data Platform заявляют о своей готовности составить конкуренцию продуктам мировых лидеров.

 

«Hadoop для цифровой трансформации», Computerworld Россия, 10 мая 2017) заявил, что Hadoop постепенно становится стандартной платформой хранения данных, на которую обратили пристальное внимание ведущие софтверные вендоры. Два года назад Сергей Золотарев, управляющий партнер Arenadata, в своем интервью Computerworld Россия (см. По окончании форума BIG DATA 2019 мы вновь встретились с Золотаревым, чтобы выяснить, насколько за прошедшее время изменились сам рынок Hadoop, возможности этого ПО и продукт Arenadata. Он также отметил, что в России ее начинают использовать компании «из первой десятки» самых продвинутых отраслей и даже многие госкомпании, это и подвигло российских разработчиков создать свой дистрибутив Hadoop.

Как обстоит дело сейчас? — Два года назад вы говорили, что в России Hadoop используют компании из самых продвинутых отраслей.

В России Hadoop используют уже более полусотни компаний. Сейчас эта технология проникла настолько глубоко, что когда мы начинали ею заниматься пять-шесть лет назад, то даже не предполагали, что она получит настолько широкое распространение в самых разных отраслях.

— Что наиболее значимого произошло с Hadoop за это время с технологической точки зрения?

Первое — появилась возможность потоковой загрузки данных с устройств Интернета вещей, тогда как два года назад Hadoop использовался, в основном, для хранения и обработки статичных данных.

Второе — добавлена поддержка графических процессоров и, как следствие, появилась возможность решать задачи глубокого машинного обучения.

Это позволило работать с любыми типами контейнеров, а не только с «собственными» контейнерами Hadoop. Далее, в Hadoop 3 реализована поддержка Docker-контейнеров. Эту проблему удалось решить. Кроме того, раньше для Hadoop была характерна высокая требовательность к ресурсам в связи с необходимостью создания дополнительных копий данных.

— Как будет развиваться Hadoop в дальнейшем?

Заказчики поняли, что «умеет» Hadoop и чего «не умеет». Если говорить в терминах кривой Gartner, то эта технология вышла на «плато продуктивности». И часто разочаровывались — ведь, как правило, технология хороша для решения тех задач, для которых она разрабатывалась. Последнее особенно важно, потому что когда Hadoop только появился, многие пытались на нем делать вообще все что придется. Меняется и сам подход к Hadoop – сейчас заказчику нужен не «дистрибутив вообще», а набор сервисов для решения конкретных задач. Поэтому был некий закономерный спад, период неудовлетворенности, который уже пройден, и сейчас появилось осознание того, для чего можно использовать Hadoop, для чего — нет.

Собственно, одной из причин объединения в конце 2018 года двух крупнейших вендоров, Cloudera и Hortonworks, стало то, что им невозможно было в одиночку противостоять провайдерам типа Amazon, которые начали предоставлять Hadoop из облака. Еще одна важная тенденция — Hadoop уходит в облака.

Мы тоже готовим версию нашего ПО на Hadoop 3. Постепенно все осваивают возможности Hadoop 3, и я думаю, их активное использование начнется к концу этого года или в начале следующего. Да и сама Hortonworks, вероятно, будет ее поддерживать полтора-два года, не больше. Она будет уже делаться для новой системы управления, мы уходим от старых систем, в частности от Hortonworks Ambari.

Если пять лет назад было пять или шесть конкурирующих разработчиков дистрибутивов Hadoop, то два года назад осталось трое — Cloudera, Hortonworks и MapR, не считая тех, кто на российском рынке. Ну и, наконец, меняется сам рынок Hadoop. Сейчас, после объединения Hortonworks и Cloudera, фактически доминирует только одна компания.

У Cloudera была проприетарная система управления, у Hortonworks — открытая. И результаты этого объединения очень характерны для любого рынка, на котором идет консолидация и появился лидер, устанавливающий правила игры. И сейчас очевидно, что открытая система практически не развивается.

Как и особого выбора, по крайней мере — у западных компаний. Это говорит о том, что рынок Hadoop очень сильно коммерциализуется, такой открытости и доступности, какая была раньше, уже не будет. Российским заказчикам мы такую возможность обеспечиваем.

— А что появилось нового в продуктах Arendata?

Из последних ее дополнений — в прошлом году мы представили «стриминговый» компонент платформы на базе Kafka. Как и планировалось изначально, мы достроили универсальную платформу хранения данных — Arenadata Enterprise Data Platform. С ее помощью появилась возможность не только управлять платформой, но и организовывать процесс ее развертывания в любых средах — на собственных мощностях, в публичных и частных облаках. В феврале этого года мы выпустили систему управления Arenadata Cluster Manager. Ничего подобного на рынке нет. Это вызвало очень большой интерес — как у заказчиков, так и у облачных провайдеров, прежде всего российских.

— Ни у нас, ни на Западе?

Мы очень сильно угадали полтора года назад, когда начали разрабатывать этот продукт. У Amazon и Google есть очень похожие решения, но они вышли немного позже.

Что вы имеете в виду? — Вы утверждаете, что создаете экосистему вокруг своего продукта.

Они могут взять доступные API, открыть документацию и создать для этого достаточно простой код. Сторонние разработчики программного обеспечения могут использовать нашу систему управления развертыванием для установки их продукта на любые поддерживаемые нами инфраструктуры — любой ЦОД, практически любую облачную платформу. При этом они получат доступ ко всем средствам управления мониторинга, контроля доступов, логирования и т.д.

Есть уже «дорожная карта», показывающая, какие сервисы будут добавляться в нашу экосистему. Тем самым они дадут своим клиентам возможность развернуть сервисы на любых инфраструктурах. Мы также поддерживаем контакты с разработчиками, которые занимаются развитием проектов с открытым кодом, чтобы помочь им интегрировать свои продукты с нашей платформой. Это прежде всего сервисы, предназначенные для хранения и обработки данных.

— Что еще в планах?

Теперь мы создали инструмент для управления средствами работы с данными корпоративного уровня, причем неважно — входят эти средства в состав нашей платформы или нет. Раньше у нас был продукт, который решал конкретную задачу по хранению и обработке данных. И мы можем предложить заказчикам единый механизм управления всеми сервисами работы с данными, которые есть в их компании.

Скажем, крупным компаниям очень тяжело работать с «открытыми» продуктами, им все-таки надо, чтобы эти продукты были доведены до «корпоративного класса», с соответствующим уровнем надежности, безопасности. В целом сейчас идет поиск наилучших способов применения нашей разработки. Совместно с компанией «Яндекс» мы работаем над выпуском такого продукта на рынок и уже летом планируем представить корпоративную версию ClickHouse с необходимой поддержкой, документацией и т.д.

— А на Запад продавать платформу планируете?

Но мы выступали в этом году в Нью-Йорке на крупнейшей мировой конференции по PostgreSQL, рассказывали и про наш опыт работы с СУБД Greenplum, созданной на основе PostgreSQL, показывали свою платформу. Об этом пока рано говорить, продукт очень новый. Интерес был достаточно большой, и я думаю, что у продукта есть и международные перспективы.





Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*

x

Это интересно

Как подобрать коммутатор?

Одной из инновационных разработок, что в настоящее время не только упрощает, но и снижает затраты, является poe коммутатор, где передача данных и питания, осуществляется при помощи всего одного кабеля Ethernet. По сравнению с другими аналогичными устройствами, данные конструкции имеют ряд ...

Принцип маркетинга

Наверное, не многие знают, что запустить сайт совсем недостаточно, так как нужно использоваться разнообразные маркетинговые инструменты, что позволят продвинуть ваши товары и услуги. В настоящее время комплексный маркетинг агентство, считается важной составляющей инвестицией в свой бизнес. Основная идея данного направления, ...