19 авг. 2020

Компания CS завершила масштабный проект внедрения корпоративного хранилища данных CS::BM в OTP Bank. 

Одна из приоритетных задач ИТ-стратегии OTP Bank — замена существующего хранилища данных на промышленное решение. Поставщиком была выбрана компания CS, с которой банк сотрудничает с 2009 года.

ЦЕЛИ И ЗАДАЧИ 

• Внедрить надёжное современное корпоративное хранилище данных как один достоверный источник данных в банке: с предметно-ориентированной моделью данных хранилища, покрывающей максимально возможное количество сущностей, и контролем качества данных. 
• Мигрировать функционал и данные двух существующих КХД в единое модернизированное КХД. Перенос существующих витрин хранилища банка.
• Реализовать загрузки данных на T+1 / (Т = дата транзакции).
• Увеличить количество данных/сущностей в хранилище, необходимых бизнес-пользователям.
• Получить отказоустойчивое управляемое решение.

ОСОБЕННОСТИ ВНЕДРЕНИЯ

Разработаны:

• Механизмы управления дозагрузкой данных. 
• Модуль контроля качества данных.
• Решения по предоставлению данных для групповой отчётности.

Выполнены:

• Доработки по контролю процесса загрузки данных и расчётов витрин.
• Рефакторинг кода ранее используемого хранилища банка.

Решение CS::BM построено на традиционной для крупных DWH методологии, предложенной Биллом Инмоном. В основе методологии — централизованное хранилище всех корпоративных данных, на базе которых далее формируются витрины данных. 

Используемая СУБД – Oracle 12C. 
Средство ETL/ELT – Oracle Data Integrator (ODI) 12C.
Средство визуализации витрин данных – Oracle Business Intelligence(BI) 12C.

Сергей Рачков, бизнес-аналитик компании CS:

«DWH в OTP Bank наполняется из более чем десятка источников. Каждая из систем имеет свои регламенты загрузок данных. Анализ взаимосвязей между загрузками выполняется на уровне ядра хранилища данных с целью корректного подхода к реализации витрин.

На ежедневной основе выгружаются данные из порядка 700 таблиц и формируются более 50 разнообразных витрин данных, которые используются как напрямую пользователями с помощью Oracle BI, так и для интеграции с системами — приемниками данных. Порядка восьми систем являются потребителями данных, которые вычисляются в хранилище данных. Данные системы построены на различных БД, используют различные подходы к загрузке данных. Всё это обусловило необходимость разработки абсолютно разных межсистемных интерфейсов, которые легли в общую архитектуру решения».

Олег Розум, начальник управления развития DWH, Project Manager проекта, OTP Bank: 

«Перед проектной командой Банка и компанией CS стояли амбициозные задачи:

• консолидировать аналитическую отчетность на уровне единого DWH-решения, используюя оптимальное количество ресурсов;
• обновить аппаратную и софтверную часть решения DWH;
• мигрировать и модернизировать витрины данных со старых решений DWH, а также перенести трудоемкую аналитическую отчетность из Мастер-систем в новое DWH;
• задокументировать новое решение DWH;
• устранить архитектурные и логические «гэпы» старых решений;
• обеспечить безопасность хранения данных и безопасную работу с данными;
• обеспечить эффективное хранение данных;
• внедрить модель контроля качества данных;
• положить начало подходу отчетности на базе решения BI – «Business Self Service».

Благодаря совместным усилиям, сплочённости, взаимопониманию, работе на результат проект успешно выполнен».

В реализации использованы Knowledge Modules собственной разработки CS для использования в Oracle Data Integrator:

• Loading Knowledge Modules (LKM).
  • Для выгрузки из систем на Oracle DB.
  • Для выгрузки из систем на MS-SQL.
  • Для выгрузки файлов из файловой системы, ftp.
• Integration Knowledge Modules (IKM).
  • Для загрузки в DWH.
  • Для формирования витрин.
  • Для выгрузки подготовленной информации в другие информационные системы.

ПРЕИМУЩЕСТВА ИСПОЛЬЗОВАНИЯ CS::BM в OTP BANK

• Банк получил сопровождаемое решение.
• Витрины CS::BM рассчитываются быстрее, чем в предыдущем решении, что было критично для банка.
• Обеспечена своевременная подача групповой отчётности.
• Сформирован правильный процесс работы с DWH — сопровождение, локальное развитие, вендор.
• Возможность расширения — при необходимости к системе можно подключать разные новые источники данных.
• Единая компания-производитель для ключевых систем, используемых в ИТ-архитектуре, что позволяет заблаговременно имплементировать изменения в DWH по факту изменений в core-системах. 
• Вынос ряда ресурсоёмких задач с систем-источников на сторону DWH.