TWOJA CYFROWA PRZYSZŁOŚĆ. JUŻ DZISIAJ. © 2016 Software AG. All rights reserved. For internal use only Karol Krysiak

Data Governance Czy zarządzanie danymi to tylko technologia? Kontekst - dane, wszędzie dane… Dane z perspektywy korporacji Jakość danych, a wynik finansowy Wyzwania w zarządzaniu danymi Regulacje prawne, a zarządzanie danymi Definicja i organizacja Struktura Data Governance Roadmapa zarządzania danymi - iteracje Korzyści z Data Governance

3 | CompFort Meridian Polska S.A.  IT Infrastructure Management  IT Service Management  IT Automation  Business service modeling  Business Process Automation  SecOps  IoT gateway  IoT driven processes  IoT Security  Application Lifecycle Management  Application Performance Management  Software deployment automation  Application quality and security assurance  Test Automation and Management  Test environments management  Identity and Access Management  Application and Data Security  Network and Communication Security  Mobile Security  Business continuity management  SecOps  BiGData security  Dedicated cloud solutions  Hybrid cloud solutions  Cloud migration  Data Centre consolidation  Virtualization  Orchestartion and Disaster Recovery  z/OS, z/VM, z/Linux  DB2 services  Virtualization on mainframe platform  Workload automation on mainframe platform  Software change management on mainframe platform  Mainframe hardware delivery and support Digital Enterprise Security Application Management Cloud and Virtualization Internet of Things Mainframe Services  BigData design and implementation  BigData monitoring  BigData Business Intelligence  Data governance  Test data management  Workload Automation  Batch processing Data Management

4 | Kontekst - dane, wszędzie dane… „Od początków cywilizacji do 2003 roku ludzkość wytworzyła 5 Exabajtów danych. Obecnie tyle danych tworzone jest co 2 dni.” 2010, Eric Schmidt, CEO Google „Do 2018 r. statystyczna firma zbierać będzie 5-krotnie więcej danych niż dziś.” IDC FutureScape: Worldwide IT Industry 2016 Predictions: Leading Digital Transforation to Scale

5 | Dane z perspektywy korporacji Lokalizacja Dane referencyjne Meta Dane Rachunki Dostawcy Wsparcie Klienci, Produkty, Systemy IT Finanse Klient, Rachunki, Kategorie Marketing Klient, Branże, Geografia Sprzedaż Klient, Usługi KlienciProdukty

6 | Rodzaje ładu w organizacji Ład korporacyjny (odpowiedzialność Zarządu, Rady Nadzorczej) Data Governance będący częścią ładu korporacyjnego (odpowiedzialność np. CFO) Ład IT (odpowiedzialność Dyrektora IT) W organizacji może występować wiele rodzajów ładu, które muszą ze sobą współistnieć.

7 | Jakość danych, a wynik finansowy Branża (Firma)Opis stratSkala stratŻródło Finansowa (Citigroup)Zapłaciła 18 mln $ w ramach refundacji i ugód za pobranie 14 mln $ z rachunków kart kredytowych. (2008) $ Larry English, Information Quality Applied: Best Practices for Improving Business Information, Processes and Systems, 2009 Finansowa (Citigroup)2 mld $ - tyle wyniosły koszty zapłacone przez Citigroup w związku z pozwem dotyczącym jej roli w pomaganiu Enron w manipulowaniu danymi księgowymi $ Finansowa (Citigroup)Grupa zapłaciła 2,7 mld $ inwestorom w ramach pozwu zbiorowego dotyczącego strat związanych z oszustwami księgowym WorldCom $ Finansowa (Firma A)Koszty nieprawidłowej analizy ryzyka wyniosły w jednym roku 5 mld $, a w następnym 3 mld $. (2008) $ Finansowa (Firma B)Jedna trzecia czasu pracy jest poświęcona na ręczne przetwarzanie i przeprocesowywanie danych, co kosztuje roczne 23,4 mln $ (2004) $ Finansowa (Bank Nathwest) Błąd w obliczaniu cen instrumentów pochodnych kosztował firmę 152 mln $, zaś konieczność sprzedaży oddziału funduszy akcji wiązała się ze utratą kolejnych mld $ $ Gospodarka U.S.A. Słaba jakość danych kosztowała gospodarkę U.S.A. w roku 2013$ (5% PKB) TDWI Report Series, 2002 Gospodarka Słaba jakość danych kosztowała typową korporację obniżenie przychodów 20% przychodów DM Review, 2004 Ubezpieczenia Słaba jakość danych kosztowała firmę ubezpieczeniową obniżenie przychodów 15-20% Insurance Data Management Association, 2010 Gospodarka Słaba jakość danych kosztowała firmę obniżenie przychodów 20% Australian IT news, 2011

8 | Jakość danych, a wynik finansowy potencjalny koszt błędnego rekordu generowany podczas jego życia w organizacji koszt oczyszczenia lub uzupełnienia istniejącego rekordu powiązanego z innymi danymi koszt weryfikacji rekordu na etapie jego powstawania

9 | Wyzwania w zarządzaniu danymi System 1 System 2 Excel System 3 Regulacje prawne Finanse Marketing Logistyka Sprzedaż Planowanie Zdublowane dane Błędne dane Nie ustandaryzowane dane Dane fragmentaryczne

10 | Sektor bankowy - rekomendacja D (wytyczna nr 8) KNF Bank powinien posiadać sformalizowane zasady zarządzania danymi wykorzystywanymi w ramach prowadzonej działalności, obejmujące w szczególności zarządzanie architekturą oraz jakością danych i zapewniające właściwe wsparcie działalności banku. Sektor ubezpieczeniowy – regulacje Solvency II Audyty danych w celu sprawdzenia lub zapewnienia zgodności z regulacjami Solvency II Ocena ryzyka, że dane używane w operacjach wewnętrznych firmy ubezpieczeniowej nie spełniają wymagań jakościowych rekomendowanych przez Solvency II (kompletność, dokładność, stosowność i aktualność) tylu europejskich ubezpieczycieli zadeklarowało, że nie spełnia żadnych lub tylko część wymagań Solvency II w zakresie czytelności danych i systemów IT (data&IT readiness) European Solvency II Survey % Data Governance, a wymagania prawne

11 | Zarządzanie Danymi - definicja Przedsiębiorstwa i instytucje wdrażają ład korporacyjny, którego częścią jest ład danych (Data Governance) Data Governance - ład informacji - spójny, obejmujący całą organizację system ustanawiający: o → zasady zarządzania danymi o → środki realizacji tych zasad o → mechanizmy ich monitorowania Procesy → Odpowiedzialności → Kultura organizacyjna → Zarządzanie majątkiem informacyjnym organizacji Governance ≠ Management Governance = nadzór → ład Data Governance Zarządzanie jakością danych Zarządzanie architekturą danych Tworzenie baz danych Zarządzanie bazami danych Zarządzanie danymi referencyjny mi (MDM) Zarządzanie dokumenta- mi i treścią Zarządzanie hurtowniami danych i BI Zarządzanie metadanymi

12 | Pytania do korporacji na temat DG? Czy organizacja wie ile posiada źródeł danych (ewidencje, rejestry, bazy danych)? Czy organizacja ma zidentyfikowane grupy danych krytyczne z punktu widzenia jej funkcjonowania? Czy organizacja podjęła strategiczne decyzje dotyczące standaryzacji i integracji danych w ramach poszczególnych linii biznesowych? Czy są ̨ zdefiniowani właściciele biznesowi danych? Czy organizacja ma zdefiniowane uprawnienia dostępu do danych (kto i jakie operacje może wykonywać́ na danych)? Czy wiadomo, kto definiuje kluczowe pojęcia biznesowe w organizacji? Które procesy biznesowe bazują ̨ na zdefiniowanych pojęciach biznesowych? Jaki jest wdrożony proces zmiany (aktualizacji) definicji pojęć́ biznesowych? Gdzie i w jaki sposób przechowywane są ̨ obecne i wcześniejsze definicje kluczowych pojęć biznesowych? Czy jest osoba odpowiedzialna za zarzadzanie jakością ̨ danych w organizacji? Czy wskazane osoby odpowiedzialne za zapewnienie jakości danych per system? Czy są ̨ ustanowione mierniki jakości danych (i czy są ̨ one wykorzystywane)? Jaki jest wdrożony proces doskonalenia jakości danych?

13 | Data Governance częścią wspólną metodyk

14 | Kluczowym elementem zasad powinno być określenie modelu ładu zarządzania danymi w organizacji Model scentralizowany  Zakłada powołanie wydzielonej, niezależnej jednostki odpowiedzialnej za jakość danych. Model rozproszony  Zakłada przypisanie ról z odpowiedzialnościami za jakość danych do pracowników istniejących jednostek organizacyjnych Model koordynacyjny  Zakłada powołanie Komitetu Jakości Danych złożonego z pracowników istniejących jednostek, którym przypisane zostałyby nowe role i związane z nimi odpowiedzialności Podejście do organizacji Data Governance

15 | Model składa się z 6 kluczowych komponentów: zasad, procesów, ról, repozytorium i narzędzi: Procesy Role Repozytorium Architektury i Jakości Danych Zasady Platforma procesowa Narzędzia automatycznego czyszczenia danych Data Governance - model

16 | Struktura repozytorium architektury danych: Metadane, Grupy danych, Atrybuty danych Struktura organizacyjna Właścicielstwo danych Przepływy danych (referencje do architektury systemów IT) Incydenty i problemy jakości danych (dostęp restrykcyjny) Baza wiedzy o rozwiązanych incydentów i problemów jakości danych (dostęp restrykcyjny) Dane raportowe o stanie jakości danych w organizacji Klienci repozytorium: Właściciele danych Architekci Informacji, Opiekunowie danych, Analitycy jakości danych Architekci rozwiązań informatycznych, projekty wdrożeniowe Data Governance – repozytorium jakości danych

17 | Iteracja 1 Poziom dojrzałości DG Czas Dedykowane rozwiązanie technologiczne (wspierające iteracyjność) Iteracja 2 Iteracja 3 Iteracja 4 Iteracja 5 Iteracja n Start Metodyka Procesowanie zgłoszeń DG Model DG Matryca odpowiedzialności Organizacja DG Raportowanie Automatyczne czyszczenie danych Deduplikacja rekordów Klient Czyszczenie danych Faza II Czyszczenie danych Faza II Reengineering procesów Iteracji 1 Reengineering procesów Iteracji 1 Czyszczenie danych Czyszczenie danych Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Czyszczenie danych kolejnej domeny danych Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Reengineering procesów dotychczas. iteracji Czyszczenie danych n Proste repozytorium Rozszerzenie repozytorium Dojrzałe repozytorium Podejście iteracyjne do Data Governance

18 | Okresowy przegląd jakości grupy danych Przygotowanie przeglądu jakości grupy danych Realizacja i wnioskowanie z przeglądu (analiza i identyfikacja przyczyn błędów w danych) Obsługa incydentu jakości danych Zmiana w architekturze danych Opracowywanie i wdrażanie rozwiązań technicznych zapewniających jakość danych w systemach Czyszczenie danych Ocena efektywności realizacji procesów jakości danych Reakcja na zmiany architektury IT Wybrane procesy Data Governance

19 | Role są dobrane według trzech głównych kategorii obowiązków: Kontroli, Definicji zasad oraz Wykonywanych działań w ramach DG. Opiekun Danych (Data Steward) Architekt Informacji Analityk ds. Jakości Danych DG Lead Osoba Wspierająca Opiekuna Danych Właściciel Systemu (biznes) Role w Data Governance

20 | Jednostka 1Jednostka 2 Role DG Partycypacja Procesy DG Struktura organizacyjna (Obszary/Departamenty/Zespoły) Perspektywa DG Jednostka 3 Właścicielstwo grupy 1 Organizacja DG Grupy danych Właścicielstwo grupy 2 Właścicielstwo grupy n Analityk Danych Data Steward Rola n Wprowadzający dane Użytkownik danych Partycypacja n Czyszczenie danych Monitorowanie Proces n Matryca DG R A C I Jednostka n Matryca odpowiedzialności za dane

21 | Zwiększenie przychodów z działalności operacyjnej Optymalizację procesów zarządzania danymi Skrócenie czasu wykonania zadań Zwiększenie elastyczności zarządzania Poprawę przejrzystości działań operacyjnych Poprawę kontroli i zgodności z przepisami prawa i regulacjami wewnętrznymi Korzyści z Data Governanace

22 | WEBMETHODS SUITE © 2015 Software AG. All rights reserved. OneData - narzędzia wspierające DG OneData Repository Import Exception Queue Workflow Approval Process & Governance Dashboards Merge / Survivorship Rules Audi Trail / Data Lineage Data Quality Stewardship Controls & Security w zarządzaniu repozytorium architektury danych i w procesach czyszczenia danych

23 | WebMethods BPM - narzędzia wspierające DG w zarządzaniu procesami

24 | © 2016 Software AG. All rights reserved. For internal use only Dziękuję za uwagę