Podstawy analizy danych: Big Data, uczenie maszynowe i eksploracja danych

Podstawy analizy danych, Big Data i uczenia maszynowego

1. Definicje informacji, danych i wiedzy

• Informacja (wg Stampera): jest to wynik przetwarzania danych, czyli ich zbierania, analizy oraz agregacji. Pojęcie to oznacza zinterpretowane dane.
• Dane: jednostka danych, oznaczająca jeden lub kilka symboli, które zostały użyte do reprezentowania czegoś.
• Wiedza: otrzymuje się ją z informacji poprzez ich powiązanie i zintegrowanie z wiedzą już istniejącą.

2. Hurtownia danych vs Jezioro danych

• Hurtownia danych: to scentralizowane repozytorium przechowujące ustrukturyzowane (np. relacyjne bazy danych) i częściowo ustrukturyzowane dane. Zanim trafią one do magazynu, są czyszczone i standaryzowane (przetworzone, sprawdzone), a sam schemat jest definiowany przy zapisie. Służy głównie raportowaniu biznesowemu i jest trudna oraz droga do skalowania.
• Jezioro danych (Data Lake): scentralizowane repozytorium pozyskujące i przechowujące dane w oryginalnej, niefiltrowanej postaci (w tym dane ustrukturyzowane, a także nieustrukturyzowane, jak obrazy czy audio) z bardzo wielu źródeł. Posiada schemat narzucany przy odczycie. Zapewnia łatwe i tanie skalowanie, służąc m.in. uczeniu maszynowemu i zaawansowanej analityce.

3. Cechy Big Data (5V)

Zbiory Big Data charakteryzują się:

• Ilością (Volume): konieczność przetwarzania bardzo dużych ilości (terabajty) danych o małej gęstości.
• Szybkością (Velocity): szybkie tempo, w jakim dane są odbierane i przetwarzane, często w czasie rzeczywistym.
• Różnorodnością (Variety): obecność wielu typów danych (np. tekst, wideo), które nie posiadają uporządkowanej struktury i wymagają wstępnego przetwarzania.
• Prawdziwością (Veracity): poziom wiarygodności i prawdziwości zgromadzonych danych.
• Wartością (Value): wielkie zbiory danych stanowią kapitał przedsiębiorstwa.

4. Definicja Big Data i eksploracji danych

• Big Data: duże, złożone i różnorodne zbiory danych, które są tak obszerne i niejednorodne, że tradycyjne oprogramowanie nie jest w stanie nimi zarządzać.
• Eksploracja danych (Data Mining): proces automatycznego odkrywania nietrywialnych, wcześniej nieznanych i potencjalnie użytecznych reguł, zależności, wzorców, schematów czy trendów w wielkich repozytoriach danych.

5. Techniki predykcyjne i deskrypcyjne – podział technik

• Techniki predykcyjne: przewidują (na podstawie odkrytych wzorców) wartości nieznanego atrybutu, zachowania lub cechy nowego obiektu. Należą do nich: klasyfikacja, regresja oraz odkrywanie sekwencji i przebiegów czasowych.
• Techniki deskrypcyjne: wykorzystują odkryte wzorce do opisywania danych i chwytania ogólnych cech obserwowanych obiektów. Należą do nich: grupowanie (klastrowanie), odkrywanie asocjacji, odkrywanie charakterystyk, wykrywanie anomalii oraz eksploracja tekstów, WWW i sieci społecznościowych.

6. Klasyfikacja, regresja i grupowanie

• Klasyfikacja: polega na odkrywaniu zależności między cechami obiektu (atrybutami warunkowymi) a jego przynależnością do określonej klasy (atrybutem decyzyjnym).
• Regresja: służy do odkrywania zależności między cechami obiektu a jego wartością (ciągłą).
• Grupowanie (klastrowanie): polega na podziale zbioru obiektów na podzbiory (klasy) mające podobne cechy wyłącznie na podstawie atrybutów warunkowych.

7. Odkrywanie sekwencji i asocjacji

• Odkrywanie sekwencji: polega na analizie zdarzeń w określonym przedziale czasu w celu znalezienia wzorców zachowań obiektów i zależności czasowych.
• Odkrywanie asocjacji: znajdowanie nieznanych korelacji i związków pomiędzy elementami w zbiorach danych, czego efektem są reguły asocjacyjne.

8. Odkrywanie charakterystyk i wykrywanie anomalii

• Odkrywanie charakterystyk: polega na znajdowaniu zwięzłych, ogólnych opisów własności klas obiektów i służy do różnicowania klas oraz redukcji wymiarowości.
• Wykrywanie anomalii: znajdowanie różnic między aktualnymi a oczekiwanymi wartościami, w celu identyfikacji obiektów osobliwych odbiegających od modelu.

9. Problemy podczas eksploracji danych i wstępne przetwarzanie

Problemy: rzeczywiste dane bywają niespójne, niekompletne i zawierają zakłócenia, co w połączeniu z nadmiarem nieistotnych informacji utrudnia skuteczne odkrywanie wiedzy. Konsekwencje: modele predykcyjne lub deskrypcyjne będą obarczone błędami i niską jakością. Techniki: aby temu zapobiec, stosuje się wstępne przetwarzanie danych, które obejmuje ich czyszczenie, balansowanie, dyskretyzację oraz ekstrakcję i selekcję cech.

10. Czyszczenie danych

Czyszczenie polega na wykryciu i usunięciu ze zbioru danych elementów niepełnych, niepoprawnych lub nieistotnych.

• Duplikaty: identyczne lub powielone informacje o tych samych obiektach.
• Silnie skorelowane atrybuty: zmienne, które są zależne od siebie lub powielają informację (np. cena w różnych walutach).
• Obserwacje odstające (outliery): obserwacje nietypowe i relatywnie odległe od reszty próbki, mogące być błędem lub rzadkim zjawiskiem.
• Braki danych: nieznane wartości zmiennych dla części przypadków, z którymi radzimy sobie poprzez ich usunięcie lub imputację (uzupełnienie średnią, regresją itp.).

11. Niezbalansowanie zbioru danych

Jest to sytuacja, w której w zbiorze uczącym występuje nierównoliczna reprezentacja obserwacji należących do różnych klas. Skutkuje to wypaczonym rozkładem, przez co budowane modele klasyfikacyjne często przypisują wszystkie przypadki do klasy najliczniejszej, marginalizując i drastycznie obniżając dokładność predykcji dla (często ważniejszej) klasy mniejszościowej.

12. Resampling i jego rodzaje

Resampling (ponowne próbkowanie) to technika wstępnego przetwarzania służąca rozwiązaniu problemu niezbalansowanych danych. Wyróżnia się trzy główne rodzaje:

• Zmniejszenie liczebności klasy liczniejszej (undersampling).
• Zwiększenie liczebności mniej licznej klasy (oversampling).
• Wygenerowanie nowych danych syntetycznych dla mniej licznej klasy (algorytm SMOTE).

13. Losowy undersampling

Polega na zmniejszaniu reprezentacji klasy większościowej poprzez usuwanie z niej losowych przypadków aż do uzyskania balansu. Zakłada się, że wiele próbek z klasy większościowej to zbędny nadmiar informacji, chociaż jego wadą jest ryzyko usunięcia obserwacji kluczowych dla jakości działania klasyfikatora.

14. Losowy oversampling

Polega na zwiększeniu klasy mniejszościowej poprzez replikację (kopiowanie) przypadków z tej klasy. Powoduje to znaczne wydłużenie procesu uczenia oraz tworzy duże ryzyko przeuczenia (nadmiernego dopasowania) klasyfikatora przesuniętego na klasę mniejszościową bez dostarczania nowej, wartościowej wiedzy (brakuje nowych unikatowych przypadków).

15. Dyskretyzacja danych

Polega na zamianie zmiennej ciągłej (numerycznej) na zmienną kategoryczną (przedziały).

• Skutek: zmniejsza się ilość wartości możliwych do przyjęcia przez zmienne.
• Główny problem: wybór najwłaściwszych punktów cięcia (granic przedziałów), ponieważ dane można dzielić na nieskończoną ilość sposobów.

16. Entropia

W teorii informacji to średnia ilość informacji przypadająca na pojedynczą wiadomość. Interpretuje się ją jako miarę niepewności co do wystąpienia danego zdarzenia w następnej chwili.

• Wynosi 0, gdy zdarzenie występuje z prawdopodobieństwem całkowitym (równym 1), co oznacza brak jakiejkolwiek niepewności.
• Wynosi 1, gdy przy dwóch klasach szanse wystąpienia każdej z nich są identyczne i wynoszą po 0,5 (maksimum niepewności).

17. Selekcja cech za pomocą filtrów

Metody te opierają się na niezależnej ocenie znaczenia każdej z cech przy wykorzystaniu ogólnych miar danych (takich jak wariancja, odległość czy korelacje) jeszcze przed użyciem właściwego modelu. Filtr odrzuca zbędne kolumny i pozwala wygenerować podzbiór atrybutów lub ich ranking.

18. Selekcja cech oparta na wrapperach

Wrappery oceniają całe wybrane podzbiory cech, wykorzystując docelowy algorytm uczenia maszynowego. Procedura uczy określony model i ewaluuje cechy wyłącznie przez pryzmat poziomu poprawnej klasyfikacji (dokładności), jaki uzyskał algorytm z danym podzbiorem.

19. Podział na 2 i 3 zbiory w klasyfikacji

• Podział na 2 zbiory (Hold-out): dane dzielone są na zbiór treningowy (ok. 70%) służący do budowy klasyfikatora oraz testowy (ok. 30%), na którym mierzy się jego dokładność. Skutkiem takiego podziału może być ryzyko, że model zbyt mocno dopasuje się do zbioru testowego, z fałszywym (optymistycznie obciążonym) wynikiem, co skutkuje słabą zdolnością do uogólniania nowej wiedzy.
• Podział na 3 zbiory: posiada zbiór treningowy (ok. 60%), walidacyjny (ok. 20%) i testowy (ok. 20%). Model uczy się na danych treningowych, optymalizuje swoje parametry za pomocą zbioru walidacyjnego, a weryfikację przeprowadza na końcu na zbiorze testowym. Skutkiem jest mniejsza ilość próbek do samej nauki i duża podatność na brak odpowiedniej losowej reprezentatywności prób, jednak skutecznie eliminuje problem błędnej optymalizacji tylko pod dane testowe.

20. Walidacja krzyżowa vs walidacja „pomiń jeden” (leave-one-out)

• Podobieństwa: obydwie metody służą zbadaniu i budowie klasyfikatora iteracyjnie, gdzie wielokrotnie buduje się nowy wariant modelu z nowo stworzonych sekcji (foldów) z podzbioru treningowego i ewaluuje go.
• Różnice: w walidacji krzyżowej (k-fold) zbiór treningowy jest podzielony np. na k podzbiorów. Uczenie zachodzi na k-1 częściach, a walidacja na tej jednej pozostałej części, iterując tę operację wielokrotnie. W przypadku walidacji „pomiń jeden” (stosowanej przy bardzo małych danych) liczba foldów równa jest liczbie wszystkich próbek. W każdej z iteracji uczymy model na wszystkich próbkach za wyjątkiem dokładnie jednej sztuki, na której przeprowadzamy walidację.

21. Binarna macierz konfuzji

To tabela określająca trafność przewidywań, najczęściej używana w klasyfikacji do oceny modelu. Ma wymiar 2×2, gdzie wiersze to wartości poprawne (rzeczywiste klasy N/P), a kolumny to predykcje wygenerowane przez system. Posiada następujące obszary:

• TP (True Positive): prawidłowo zaklasyfikowane przypadki pozytywne.
• TN (True Negative): prawidłowo zaklasyfikowane przypadki negatywne.
• FP (False Positive): przypadki negatywne błędnie zidentyfikowane jako pozytywne (błąd I rodzaju).
• FN (False Negative): przypadki pozytywne błędnie zidentyfikowane jako negatywne (błąd II rodzaju).

22. Miary oceny klasyfikatora w oparciu o macierz

• Dokładność (Accuracy): mierzy ogólną zdolność modelu do poprawnej predykcji wszystkich przypadków: (TP + TN) / (TP + TN + FP + FN).
• Wrażliwość / Czułość (TPR): mierzy poprawność wykrywania przypadków rzeczywiście pozytywnych w zbiorze: TP / (TP + FN).
• Precyzja (PPV): oznacza stopień, w jakim przypadki zgłoszone przez model jako pozytywne faktycznie nimi były: TP / (TP + FP).
• Specyficzność (TNR): mierzy zdolność poprawnego identyfikowania przez model przypadków negatywnych: TN / (TN + FP).

23. Wartość AUROC klasyfikatora

To obszar znajdujący się pod krzywą ROC (prezentującą zależność TPR od FPR przy różnych progach odcięcia). Wartość AUROC precyzuje globalną użyteczność klasyfikatora, zamykając się w przedziale od 0,5 (klasyfikator losowy – bezużyteczny) do 1,0 (klasyfikator idealnie rozdzielający klasy). Im wartość bliższa 1, tym lepsza jest zdolność predykcyjna modelu.