Czym są metryki jakości danych

Metryki jakości danych to mierzalne wskaźniki opisujące, w jakim stopniu zbiór danych spełnia oczekiwania odbiorców pod względem dokładności, kompletności i spójności. W projektach analitycznych stanowią podstawę do oceny, czy dane nadają się do dalszego wykorzystania.

Podstawowe wymiary jakości danych

Najczęściej wyróżniane wymiary jakości danych to: kompletność (czy wszystkie wymagane pola są wypełnione), dokładność (czy wartości odpowiadają rzeczywistości), spójność (czy dane są zgodne pomiędzy różnymi źródłami), aktualność (czy dane odzwierciedlają bieżący stan) oraz unikalność (brak nieuzasadnionych duplikatów).

Kompletność danych

Kompletność mierzy się zazwyczaj jako odsetek rekordów lub pól, które nie zawierają wartości brakujących. Wysoki odsetek braków w kluczowych polach może wskazywać na problem w procesie zbierania danych u źródła.

Dokładność danych

Dokładność danych ocenia się poprzez porównanie z zaufanym źródłem referencyjnym lub poprzez walidację względem reguł biznesowych, na przykład sprawdzenie, czy wartość liczbowa mieści się w oczekiwanym zakresie.

Spójność między źródłami

Spójność dotyczy zgodności tej samej informacji przechowywanej w różnych systemach — na przykład adres klienta powinien być identyczny w systemie CRM i systemie fakturowania. Niespójności między źródłami są jednym z najczęstszych problemów w środowiskach wielosystemowych.

Sposoby pomiaru metryk

W praktyce metryki jakości danych są obliczane automatycznie przez narzędzia do profilowania danych, które analizują zbiory danych i generują raporty wskazujące odsetek rekordów spełniających poszczególne kryteria jakości.