В текущих реалиях сохранение и развитие бизнеса определяется тем, насколько оперативно и эффективно принимаются те или иные управленческие решения. Для поддержки данного процесса современным компаниям требуются мощные аналитические инструменты, способные быстро выдать бизнесу ответы на интересующие вопросы.
Часто такими инструментами были платформы и системы глобальных производителей ПО. Сегодня они недоступны многим компаниям. Мы проработали подходы к тому, как быстро реализовать все требования бизнеса на современных платформах, свободных от санкционных рисков. Наш подход позволяет не ужимать свои требования и ожидания под возможности менее функциональных платформ, а, наоборот открывает новые горизонты возможности за счет использования самых передовых аналитических решений, которые давно уже развиваются в мире в концепции open source.
Предпосылки:
- Уход или угроза ухода глобальных производителей ПО и связанное с этим отсутствие возможности закупить/докупить лицензии.
-
Переход на новые бизнес-приложения, включая системы управления предприятиями ERP (ПО отечественного производства, Open Source).
-
Отсутствие конкурентоспособных на мировом уровне платформ по работе с данными на отечественном рынке проприетарных BI-систем.
Проблемы бизнеса — нехватка инструментов анализа:
- Сбор отчетности в ручном режиме — большие трудозатраты сотрудников.
-
Сложности формирования полноценных аналитических отчетов непосредственно средствами бизнес-приложений (ERP, CRM, и т.п.).
-
Сбор и анализ детальной информации (например, по чекам, по данным с сайта, оборудования и т.п.).
-
Сложность объединения внешних относительно компании данных с данными внутренних информационных систем (изменчивость API, форматов предоставления данных, значений аналитик).
-
Сложность обработки растущего взрывными темпами объема исторических данных.
Вопросы при выборе системы, которые необходимо проработать:
- Скорость внедрения аналитического решения,
-
Качество осуществления поддержки (обновления, quick fix и т.д.),
-
Минимизация затрат — при замене большого количества систем необходимо держать под контролем затраты на лицензии,
-
Надежность поставщика (масштабность и широта сообщества разработчиков),
-
Производительность на уровне хранилища данных (ХД), обработки и предоставления информации,
-
Сложность обучения персонала,
-
Сложность внедрения и поддержки,
-
Удобные для бизнеса инструменты визуализации,
-
Интеграция с внедряемым ПО,
-
Поддержка идеологии Data Governance.
Современные технологии обработки данных и стек open source-продуктов:
Все описанные выше вопросы необходимо рассматривать комплексно, но для бизнеса в первую очередь важно вовремя получать и анализировать качественные данные, а для IT — правильно собирать, консолидировать и оперативно публиковать эти данные, используя доступную и надежную инфраструктуру.
Наше предложение, построенное на высокоэффективных open source-инструментах, широко используемых в самых технологичных компаниях мира, позволяет закрыть все имеющиеся потребности ИТ и бизнеса.
Мы предлагаем реализацию Аналитического контура на базе следующих компонентов:
Каждый из представленных инструментов эффективно решает конкретные прикладные задачи в своем сегменте.
С точки зрения IT:
- Хранение данных. Важно понимать, какие именно данные требуются бизнесу и как их правильно хранить и обрабатывать. Для транзакционных систем – GreenPlum, продвинутый вариант PostgreSQL с поколоночным видом хранения данных, что обеспечивает лучшую производительность по сравнению с классическими SQL-подобными базами данных.
- Для масштабируемых данных класса BigData с обработкой и накоплением первичных документов применяется HDFS (Hadoop Distributed File System).
- Обработка данных (ETL). Аналогично с хранением данных необходимо определить цели и задачи для ETL. В нашем предложении классические задачи Talend, потоковая обработка данных (онлайн) и процедурная обработка данных решаются с помощью Apache Kafka и Airflow. За работу с неструктурированными данными отвечает Apache Spark.
- Хранение обработанных данных. Задача хранения больших разряженных данных решается с помощью специально разработанного для этих целей инструмента Apache HBase.
- OLAP. В качестве эффективного инструмента работы с большими данными мы предлагаем Kylin – OLAP-инструмент от Apache на базе Hadoop.
С точки зрения Бизнес-пользователей:
- Инструменты визуализации: Apache Superset – open source-аналог Power BI с возможностью создания отчетов и дашбордов. При создании отчетов знания специальных языков программирования не требуется, что позволяет использовать его как инструмент self service-отчетности.
-
Прикладная работа с данными на уровне «электронных таблиц» по типу Excel — встроенные подключения к витринам данных, а также к данным из кубов Apache Kylin.
Данные инструменты во многом превосходят традиционные «BI-системы» в функциональности и быстродействии, при этом «порог» входа гораздо ниже:
- нет дорогостоящей «лицензионной» составляющей;
-
мощное комьюнити, развивающее решение — отсутствие обязательных платежей по «поддержке» платформы;
-
большое количество специалистов на рынке — проще организовать свой центр компетенций или поручить задачи поддержки и развития.
