Architektura i zarządzanie danymi | Data Technology
W projektach transformacyjnych, kluczowe jest właściwe zarządzanie danymi i odpowiednio zaprojektowana architektura danych. Projektując, a także wdrażając rozwiązania można wykorzystywać zarówno nowoczesne jak i ugruntowane podejścia czy wzorce architektoniczne w ramach Data Warehouse, Data Lake, Cloud Data Platform, Lakehouse, etc. Spójna strategia powinna - oprócz zastosowania technologii wspierających pozyskanie, przetwarzanie i korzystanie z danych – obejmować zwiększenie potencjału ludzi oraz organizacji w obszarze danych.
Liderzy
Transformacja „data-driven” zaczyna się od architektury danych
Organizacje w coraz większym stopniu wdrażają strategie związane z podejmowaniem decyzji bazujących na danych, które postrzegają jako fundament dla wzrostu i innowacji. Strategie klientów na najbliższe lata zawierają nowoczesne koncepcje platform danych, chmurowych jezior danych (data lake), ich integracji z hurtowniami oraz koncepcje typu „data mesh”.
Jesteś zainteresowany doradztwem w zakresie Data Technology?
Umów się na rozmowę z ekspertem*
Konsultacja obejmie:
- omówienie istniejącej architektury danych,
- wskazanie obszarów potencjalnych zmian,
- dyskusję nt. kierunków rozwoju,
- rekomendacje kolejnych działań.
*do konsultacji będą wymagane podstawowe informacje nt. działalności firmy z uwzględnieniem obecnej architektury danych oraz planowanych kierunkach rozwoju.
Formularz kontaktowy
Zarządzanie danymi i strategia data-driven
Zarządzanie i przetwarzanie danych leży u podstaw transformacji cyfrowej. Zdecydowana większość firm docenia ich potencjał w dostarczaniu wartości biznesowej, a w rezultacie, w coraz większym stopniu uwzględnia je w swojej strategii działania. W konsekwencji, rośnie znaczenie właściwej architektury danych oraz Data Governance, a posiadana platforma staje się krytycznym elementem procesu transformacji.
Przy wdrażaniu strategii data-driven, zakres posiadanych danych, niezawodny sposób dostępu, a także efektywne metody przechowywania, sprzyjają powstaniu szerokiego spektrum zastosowań np. analityka zarządcza, raportowanie ESG, uczenie maszynowe (machine learning) oraz wykorzystywanie sztucznej inteligencji (AI). Data Technology ulega nieustannemu doskonaleniu, a stopień jej innowacyjności jest kluczowym czynnikiem sukcesu organizacji.
Platforma danych to rozwiązanie, które wspiera organizację w gromadzeniu, przetwarzaniu i zarządzaniu danymi (Data Governance). Istnieje wiele różnych rozwiązań technologicznych, które mogą zostać wykorzystane jako narzędzia do budowy Data Platform. Ważne jednak, aby budowana platforma danych była spójna z koncepcją architektury w domenie danych, a także z zasadami zarządzania danymi, np. inaczej są dobierane rozwiązania dla koncepcji Data Mesh, a inaczej dla zcentralizowanej hurtowni danych.
Zespół EY wspiera klientów w procesach dostosowania koncepcji platformy danych do wymogów i ambicji organizacji w zakresie przetwarzania danych. Od kilku lat klienci coraz częściej decydują się na chmurowe platformy danych (CDP). Eksperci EY budują rozwiązania z wykorzystaniem natywnych usług od największych dostawców chmurowych, jak również, cieszące się coraz większą popularnością, rozwiązania multi-cloud, które mogą zostać uruchomione na dowolnej z trzech głównych chmur publicznych.
Niezwykle istotny, zwłaszcza w kontekście modernizacji i doboru narzędzi w ramach platform danych, jest również wybrany sposób przetwarzania danych, w szczególności: przetwarzanie strumieniowe, bazujące na zdarzeniach (event-based architecture) oraz w czasie rzeczywistym lub bliskim rzeczywistemu.
Doświadczenia projektowe EY w dużych organizacjach o rozbudowanej strukturze pozwalają uniknąć częstych pułapek podczas wdrożeń dla tego typu rozwiązań. Do wykorzystania na szeroką skalę rozwiązań lub modeli AI, EY proponuje uwzględnienie platformy analitycznej w ramy tworzenia spójnej koncepcji platformy danych i wykorzystanie synergii wynikającej z procesów pozyskiwania, czyszczenia i transformacji danych oraz zawansowanych sposobów ich wykorzystania.
Architektura domeny danych często okazuje się dużym wyzwaniem, choćby ze względu na dynamiczny rozwój organizacji. W szczególności dotyczy to:
- utrzymania zgodności ze stanem faktycznym modeli i przepływów danych,
- pozyskania osób łączących wiedzę z obszaru modelowania danych, przepływów i profili konsumpcji danych, a także posiadających wiedzę z zakresu wskazanej dziedziny lub sektora biznesowego.
Typowymi konsekwencjami są problemy z jakością danych, rzetelnością finalnych informacji operacyjnych, zarządczych, a także bazujących na danych automatyzacjach procesów biznesowych. Dysponując wiedzą ekspertów w obszarach biznesowych, technologicznych i w zakresie modelowania danych i ich przepływów, zespoły EY pracują z organizacjami nad sposobami podniesienia jakości architektury danych, co jest krytycznym elementem w procesie zapewnienia wiarygodności danych.
W architekturze domeny danych należy zwrócić szczególną uwagę na zastosowane narzędzia oraz ich spójność w ramach platformy danych. W dłuższej perspektywie automatyzacja, pozyskiwanie informacji o modelach i przepływach czy "data-lineage", stają się kluczowymi elementami z punktu widzenia utrzymania zgodności architektury ze stanem rzeczywistym.
Organizacje oczekują elastycznego i efektywnego systemu zarządzania danymi dostosowanego do istniejących, a także przyszłych wymagań technologicznych. Eksperci EY wspierają organizacje w odpowiedzi na następujące pytania:
- Jak tworzyć i aktualizować procedury dotyczące danych, aby wspierały cele organizacji dotyczące przyszłego rozwoju?
- Jakie najnowsze trendy branżowe wpływają na politykę danych i jak je zaimplementować?
- W jaki sposób lepiej mierzyć zgodność z politykami?
- W jaki sposób wiodące organizacje uwzględniają wymagania polityki Data Governance we wdrożeniach technologicznych oraz usługach danych? Jakie zmiany należy wprowadzić w przypadku migracji do chmury?
Firmy nieustannie oceniają i zmieniają zasady dotyczące danych, by dotrzymać kroku innowacjom i sprostać nowym oczekiwaniom regulacyjnym. Zmiany obejmują m.in.:
- Dodanie wymagań w zakresie prywatności i etyki danych (lub z powiązanymi politykami)
- Usprawnienia uwzględniające nowe technologie (np. strumieniowe przesyłanie danych, Data Lake i przetwarzanie w chmurze, AI/ML)
- Wzrost oczekiwań, by odpowiadać na bieżące branżowe wyzwania, które są związane z danymi podstawowymi lub referencyjnymi, a także pozyskiwaniem i architekturą danych.
Zespół EY uwzględnia ludzi, procesy i technologie, a także pomaga stworzyć spójne zasady oraz polityki w obszarze danych. Powyższe działanie to fundament dla uzyskania wiarygodnych informacji w skali całej organizacji.
Ze względu na ryzyka wynikające ze zmian klimatycznych kwestie środowiskowe, społeczne i dotyczące ładu korporacyjnego, stały się jednym z ważniejszych wyzwań dla firm, zwłaszcza w branży finansowej. Dane związane z ESG zazwyczaj są rozproszone w organizacji, a uzyskanie brakujących często. wymaga zmian w procesach wewnętrznych. We wszystkich tych aspektach, wykorzystanie odpowiednich narzędzi pozwala przyspieszyć proces transformacji.
Należy jednak pamiętać, że narzędzia to tylko jeden z niezbędnych elementów. System działa na tyle efektywnie, na ile prawidłowe są dane wejściowe. Jeśli dane są niekompletne, źle zidentyfikowane, nieprawidłowo przetworzone lub o niewystarczającej jakości, ich wykorzystanie wiąże się z ryzykiem regulacyjnym i wizerunkowym. W efekcie, powyższy obszar skupia coraz większą uwagę inwestorów i partnerów biznesowych.
Dodatkowym wyzwaniem jest szeroka perspektywa potrzebnych danych. Kwestie środowiskowe to dekarbonizacja, odnawialne źródła energii czy monitorowanie wpływu na klimat. Element społeczny oznacza nie tylko kwestie równości i inkluzyjności, ale także m.in bezpieczeństwo danych. Z kolei ład korporacyjny to połączenie właściwego zarządzania przedsiębiorstwem i stopnia zaufania inwestorów. Wiele z powyższych informacji nie było dotychczas w ogóle gromadzonych, dlatego trzeba zidentyfikować ich źródła, ustanowić właścicieli i odpowiednie procesy oraz sposób przetwarzania danych, aby uzyskać zestaw gotowych informacji do raportowania ESG.
Prawidłowe przeprowadzenie procesu gromadzenia danych związanych z ESG jak i właściwy nad nim nadzór powinny być kluczowym elementem strategii w tym obszarze. Zrozumienie potrzeb organizacji, a następnie właściwa ocena i klasyfikacja danych ESG pomagają w procesie dostosowania do wymagań regulacyjnych, a także wewnętrznych potrzeb organizacji.
Co nas wyróżnia
Interdyscyplinarny zespół konsultantów
Zespół, który łączy wszystkie kompetencje w zakresie przetwarzania danych, w tym techniczne, biznesowe oraz prawne.
Sieć partnerów technologicznych
Szerokie portfolio produktowe i doświadczenie we wdrożeniach rozwiązań data.
Doświadczenie z międzynarodowych projektów
Realizacja zgodnie z najnowszymi trendami oraz z wykorzystaniem zestawu narzędzi dopasowanych do wybranej architektury.
Najczęstsze wyzwania, w których wspieramy naszych klientów
- Brak precyzyjnych, spójnych i akceptowalnych definicji danych: niejednoznaczności oraz ich niespójne wykorzystanie
- Brak jednorodnego widoku klienta wpływa na jakość obsługi klienta oraz operacje biznesowe
- Brak biznesowych właścicieli danych powoduje zwiększenie liczby nierozwiązanych problemów dotyczących ich jakości
- Nieefektywne i niespójne metody dostępu do posiadanych danych
- Wiele silosów danych: duplikowanie i trudności z automatyzacją
- Nieodpowiedni model działania i brak narzędzi do zarządzania danymi
Zapisz się na newsletter EY Technology
Otrzymuj comiesięczny zestaw najciekawszych artykułów, raportów i analiz z zakresu technologii dla biznesu.
Skutecznie i kompleksowo pomagamy w zarządzaniu danymi
Interdyscyplinarny Zespół Data Technology składa się z doświadczonych architektów, analityków i inżynierów danych, który posiada szerokie spektrum kompetencji potrzebnych do przeprowadzenia transformacji w obszarze danych. Pracujemy z polskimi, a także międzynarodowymi firmami z sektora ubezpieczeniowego, bankowego oraz przedsiębiorstwami produkcyjnymi.
Polecane publikacje
Zespół
Wstecz
Dalej