Architecture of a distributed storage and big data processing system based on Apache Ozone and Argo Workflows

ISSQXZ Архитектура распределенной системы хранения и обработки больших данных на основе Apache Ozone и Argo Workflows К. А. Полянцева  , А. В. Комлев, М. Г. Городничев  Московский технический университет связи и информатики 111024, Россия, Москва, ул.Авиамоторная, 8ААннотация.В статье рассматривается архитектура распределенной системы хранения и обработки больших данных, построенная на основе интеграции объектного хранилища Apache Ozone и системы оркестрации вычислительных процессов Argo Workflows.Цель исследования.Разработка и исследование архитектуры распределенной системы хранения и обработки больших данных, основанной на интеграции Apache Ozone и Argo Workflows, реализующей принцип разделения функций хранения и вычислений, а также оценка эффективности предложенного решения по сравнению с традиционной архитектурой Apache Hadoop.Методы исследования.Использованы методы системного анализа архитектур больших данных, сравнительного экспериментального тестирования распределенных систем хранения и обработки информации, а также методы математического моделирования для формализации процессов масштабирования ресурсов, времени выполнения вычислений и эффективности хранения данных.Экспериментальная оценка проводилась на кластерах Apache Ozone и Apache Hadoop с использованием Apache Spark для выполнения вычислительных задач.Результаты.Разработана архитектура распределенной системы, обеспечивающая независимое масштабирование подсистем хранения и вычислений за счет использования объектного хранилища Apache Ozone и оркестрации вычислительных процессов на базе Argo Workflows в контейнерной среде Kubernetes.Предложена методика интеграции компонентов без использования промежуточного S3-шлюза, позволяющая снизить накладные расходы взаимодействия.Проведенные экспериментальные исследования показали сопоставимую производительность предложенного решения с Hadoop-кластером при операциях чтения, записи и обработки данных, а также преимущества в гибкости масштабирования и эффективности использования дискового пространства при применении erasure coding.Выводы.Результаты исследования подтверждают перспективность использования архитектуры на основе Apache Ozone и Argo Workflows в качестве альтернативы традиционным платформам обработки больших данных.Раздельная архитектура хранения и вычислений позволяет повысить гибкость инфраструктуры, оптимизировать использование ресурсов и снизить затраты на хранение данных при сохранении сопоставимого уровня производительности.Предложенный подход может быть применен при построении корпоративных аналитических платформ, систем обработки больших данных и инфраструктур машинного обучения.