В Группе «АГРОИНВЕСТ» используется множество информационных систем, среди которых SAP, Cropio, «АвтоГРАФ» и другие. В зависимости от направления деятельности и потребности сотрудники используют в работе различные программные решения. Информация, находящаяся в одной из таких систем, как правило, отсутствует в других, что значительно усложняет и замедляет рабочий процесс. С апреля 2025 года в Группе началось внедрение нового продукта, задачей которого является консолидация данных из нескольких источников в единую систему. О его функциях и возможностях рассказал Сергей Александрович Чеботарев, начальник отдела технической архитектуры и интеграции.
ВI T-системах компании хранится огромное количество данных. Только одна система SAP ERP содержит более трех терабайт информации, в Cropio чуть меньше. В «АвтоГРАФ» поступают сведения с GPS-трекеров — ежесекундно около ста событий о состоянии и перемещении транспорта. Объем данных увеличивается с каждым днем. Для подготовки отчетности необходима их консолидация в некую единую совокупность, которая позволит собрать информацию из всех имеющихся источников в одном месте и сравнить полученные из разных систем результаты.
Наряду с оперативными сведениями, необходимыми на местах, периодически возникает потребность в сложной (итоговой) отчетности, на составление которой может уйти неделя. Так, сотрудники осуществляют сбор информации из нескольких источников, обрабатывают ее, вкладывают автоматизированные выгрузки. Полученный результат становится частью корпоративного хранилища данных (КХД), которое представляет собой централизованную базу, используемую для аналитики, отчетности, принятия решений. В ней аккумулируются сведения из разных ИТ-систем компании. Информацию можно хранить в сыром виде, без обработки, такой метод называется «озеро данных». В Группе «АГРОИНВЕСТ» используется подход КХД, представляющий собой обратную ситуацию, когда сведения в первую очередь вычищаются, актуализируются, корректируются и при необходимости дополняются, а хранению подлежат уже обработанные данные.
При этом зачастую возникают сложности, свойственные системам класса Big Data, когда очень большие объемы информации не поддаются обработке традиционными средствами. Компьютер с установленной базой данных с преобразованием такого количества сведений не справляется. Для решения этой проблемы необходимы распределенные системы, которые функционируют не на одной машине, а на нескольких, и при этом умеют обрабатывать данные такого масштаба.
«Arenadata DB» — это инструмент, который позволяет подключаться к разным источникам, получать из них необходимые сведения и консолидировать их в едином пространстве. Новый продукт предоставляет возможность хранить большое количество данных. Объем не ограничен и зависит от возможностей компании, а именно от количества техники, которая может быть выделена под этот процесс.
«Разработчик предоставляет нам хорошую поддержку и помощь корпоративного уровня с понятными ответами на возникающие вопросы. В случае какой-либо ошибки мы всегда можем обратиться за советом, решением. Если случился технический сбой, они должны его устранить в кратчайшие сроки, — рассказал Сергей Чеботарев, — Таким образом, наша система хранения данных становится предсказуемой, масштабируемой, устойчивой и удобной для использования».
Над корпоративным хранилищем данных должна быть система BI — Business Intelligence, задачей которой является визуализация данных понятным для пользователей образом. Для этой цели разработчиком был предоставлен инструмент «LuxMS», который проработан и перенесен на формируемую отчетность.
«Ранее мы использовали Open Source решения — это программные продукты, которые были в свободном доступе, распространялись в виде исходных кодов и соответствовали потребностям нашей компании, — рассказал Сергей Чеботарев, — Мы использовали хранилище «Greenplum», однако, поскольку его основными разработчиками были зарубежные организации, в текущих условиях доступ пользователей из России к продукту стал ограничиваться. Мы долго искали качественные отечественные варианты и нашли решение от группы компаний «Arenadata» — ведущего российского разработчика на рынке систем управления и обработки данных».
«До этого мы пользовались другими системами, начиная от Excel, который тоже может выступать в роли BI-си- стемы, и заканчивая продуктом «Apache SuperSet», находящемся в свободном доступе. Их ключевым недостатком была ограниченная кастомизация и невозможность перейти от полученного результата к сырым данным, на которых он построен. Например, пользователь видит, что в отчете не сходится цифра, но возможности выяснить причину такие программы не давали, — сообщил Сергей Чеботарев, — Сейчас настраиваем «LuxMS» и готовим ее к промышленной эксплуатации. Новая система более производительная, позволяет создавать отчеты, которые нужны пользователю, и визуализирует результат современным образом».
Разработчик предоставляет следующие инструменты, расширяющие функционал всей системы:
- «проваливание до сырых данных», что раньше было сделать невозможно;
- интерактивная «диаграмма Ганта», наглядно демонстрирующая описание рабочих процессов и облегчающая восприятие;
- «Arenadata QuickMarts» — база данных, которая очень быстро отображает результат запроса и тем самым позволяет пользователю получать отчеты мгновенно;
- «Arenadata Catalog» — надстройка, предназначенная для хранения и управления метаданными в распре- деленных системах и обеспечивающая целостность информации.
С ее помощью можно централизовано хранить описание всех алгоритмов и источников корпоративной отчетности.
Благодаря внедрению продукта «Arenadata DB» создается единое устойчивое информационное пространство. Новое программное решение позволяет построить для подразделений Группы «АГРОИНВЕСТ» любой интересующий отчет, который может основываться на всех данных, имеющихся в компании. В результате конечный пользователь получит оперативную, максимально понятную и наглядную информацию, которая ускорит рабочий процесс и поможет сформировать то или иное производственное решение.
