Эксперты «Инфосистемы Джет» разработали для мирового лидера сталелитейной промышленности систему анализа данных и моделирования (САДиМ).
Она отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа.
Внедренная система уже сейчас позволяет группе НЛМК эффективнее вести разработку цифровых сервисов и моделей машинного обучения для оптимизации производственных процессов.
В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).
Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы сервисы Apache Kafka, Apache NiFi, Apache Hive.
В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайентистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.
«Создание озера данных, которое действительно приносит экономическую пользу – это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым», — подчеркнул Владимир Молодых, директор по разработке и внедрению программного обеспечения «Инфосистемы Джет».
