19 сер 2020

Компанія CS завершила масштабний проект із впровадження корпоративного сховища даних CS::BM в OTP Bank.

Одна з пріоритетних задач ІТ-стратегії OTP Bank — заміна існуючого сховища даних на промислове рішення. Постачальником було обрано компанію CS, з якою банк співпрацює з 2009 року.

МЕТА ТА ЗАДАЧІ 

• Впровадити надійне сучасне корпоративне сховище даних як одне достовірне джерело даних в банку: з предметно-орієнтованою моделлю даних сховища, що покриває максимально можливу кількість сутностей, і контролем якості даних. 
• Мігрувати функціонал та дані двох існуючих КСД до єдиного модернізованого КСД. Перенесення існуючих вітрин сховища даних банку.
• Реалізувати завантаження даних на T+1 / (Т = дата транзакції).
• Збільшити кількість необхідних бізнес-користувачам даних/сутностей у сховище.
• Отримати відмовостійке кероване рішення. 

ОСОБЛИВОСТІ ВПРОВАДЖЕННЯ 

Розроблені:

• Механізми управління дозавантаження даних.
• Модуль контролю якості даних.
• Рішення з надання даних для групової звітності.

Виконані:

• Доробки з контролю процесу завантаження даних і розрахунків вітрин.
• Рефакторинг коду сховища банку, яке використовувалось раніше. 

Рішення CS::BM збудовано на традиційній для великих DWH методології, яку було запропоновано Білом Інмоном. В основі методології – централізоване сховище всіх корпоративних даних, на базі яких надалі формуються вітрини даних.

СУБД, яка використовується – Oracle 12C. 
Засіб ETL/ELT – Oracle Data Integrator (ODI) 12C.
Засіб візуалізації вітрин даних – Oracle Business Intelligence(BI) 12C.

Сергій Рачков, бізнес-аналітик компанії CS:

«DWH в OTP Bank наповнюється з більш ніж десятка джерел. Кожна із систем має свої регламенти завантаження даних. Аналіз взаємозв'язків між завантаженнями виконується на рівні ядра сховища даних з метою коректного підходу до реалізації вітрин.
На щоденній основі вивантажуються дані з близько 700 таблиць і формуються більш 50 різноманітних вітрин даних, які використовуються як безпосередньо користувачами за допомогою Oracle BI, так і для інтеграції з системами – приймачами даних. Близько восьми систем є споживачами даних, які обчислюються в сховищі даних. Дані системи побудовані на різних БД, використовують різні підходи щодо завантаження даних. Все це зумовило необхідність розробки абсолютно різних міжсистемних інтерфейсів, які лягли в загальну архітектуру рішення».

Олег Розум, начальник управління розвитку DWH, Project Manager проекту, OTP Bank:

«Перед проектною командою Банку і компанією CS стояли амбітні задачі:  

• консолідувати аналітичну звітність на рівні єдиного DWH-рішення з використанням оптимальної кількості ресурсів;
• оновити апаратну та софтверну частину рішення DWH;
• мігрувати та модернізувати вітрини даних з попередніх рішень DWH, а також перенести трудомістку аналітичну звітність з Майстер-систем до нового DWH;
• задокументувати нове рішення DWH;
• усунути архітектурні та логічні «гепи» попередніх рішень;
• забезпечити безпеку зберігання даних та безпечну роботу з даними;
• забезпечити ефективне зберігання даних;
• впровадити модель контролю якості даних;
• покласти початок підходу звітності на базі рішення BI – «Business Self Service».

Завдяки спільним зусиллям, згуртованості, взаєморозумінню, роботі на результат проект успішно виконано».

У реалізації використані Knowledge Modules власної розробки CS для використання в Oracle Data Integrator:

• Loading Knowledge Modules (LKM).
  • Для вивантаження із систем на Oracle DB.
  • Для вивантаження із систем на MS-SQL.
  • Для вивантаження файлів із файлової системи, ftp.
• Integration Knowledge Modules (IKM).
  • Для завантаження до DWH.
  • Для формування вітрин.
  • Для вивантаження підготовленої інформації до інших інформаційних систем. 

ПЕРЕВАГИ ВИКОРИСТАННЯ CS::BM В OTP BANK

• Банк отримав рішення з супроводом.
• Вітрини CS::BM розраховуються швидше порівняно з попереднім рішенням, що було критично для банку. 
• Забезпечено своєчасне подання групової звітності.
• Сформовано оптимальний процес роботи з DWH — супровід, локальний розвиток, вендор.
• Можливість розширення — за необхідності до системи можна підключати різні нові джерела даних.
• Єдина компанія-виробник для ключових систем, які використовуються в ІТ-архітектурі, що дозволяє завчасно імпплементувати зміни до DWH за фактом змін у core-системах. 
• Винос ряду ресурсоємних задач із систем-джерел до DWH.