Sztuczne sieci neuronowe i uczenie maszynowe – kompletne kompendium wiedzy

1. Podstawy SSN

Sztuczne sieci neuronowe są modelami inspirowanymi działaniem mózgu człowieka. Składają się z neuronów połączonych wagami, które uczą się zależności na podstawie danych. Sieci potrafią generalizować wiedzę i aproksymować złożone funkcje.

Neuron:
phi = sum(wi * ui) + b
Neuron sumuje sygnały wejściowe i przekazuje wynik przez funkcję aktywacji.

2. Funkcje aktywacji

Funkcje aktywacji decydują o odpowiedzi neuronu. Wprowadzają nieliniowość, dzięki czemu sieć może rozwiązywać bardziej złożone problemy.

• Liniowa: f(x) = kx (używana głównie w regresji).
• Progowa: f(x) = 1 dla x >= 0, f(x) = 0 dla x < 0 (najprostsza funkcja klasyfikująca).
• Sigmoidalna: f(x) = 1 / (1 + e^(-βx)) (zwraca wartości z zakresu 0-1).
• tanh: y = tanh(x) (zakres od -1 do 1).
• ReLU: f(x) = max(0, x) (najczęściej używana w deep learning).

3. Zadania sieci oraz 4. Rodzaje sieci

Zadania sieci

• Autoasocjacja: Sieć odtwarza brakujące lub zaszumione dane.
• Heteroasocjacja: Sieć mapuje jedno wejście na inne wyjście.
• Klasyfikacja: Przypisywanie danych do odpowiednich klas.
• Detekcja regularności: Sieć samodzielnie odkrywa wzorce i zależności.

Rodzaje sieci

• Feedforward: Sygnał przepływa tylko do przodu.
• Rekurencyjne: Posiadają sprzężenia zwrotne i pamięć poprzednich stanów.
• SOM / Kohonena: Tworzą mapy podobieństw danych.
• CNN: Przetwarzają obrazy przy użyciu konwolucji.
• DNN: Sieci o wielu warstwach ukrytych.

5. Perceptron i MLP

Perceptron: Najprostszy klasyfikator liniowy.

MLP: Sieć wielowarstwowa z warstwami ukrytymi, zdolna do modelowania złożonych zależności. MLP jest uniwersalnym aproksymatorem funkcji.

XOR: Problem XOR nie może zostać rozwiązany przez pojedynczą warstwę neuronu.

6. Uczenie nadzorowane

Sieć otrzymuje dane wejściowe i poprawne odpowiedzi. Na podstawie błędu między wynikiem a odpowiedzią oczekiwaną aktualizowane są wagi.

7. Reguła Hebba

Jeżeli dwa neurony aktywują się jednocześnie, ich połączenie zostaje wzmocnione. Reguła ta opisuje biologiczne podstawy uczenia.

8. Gradient Descent

Algorytm minimalizuje funkcję błędu poprzez zmianę wag w kierunku przeciwnym do gradientu błędu.

E(w) = 0.5 * sum((t - o)^2)
delta_w = -η * grad(E)

9. Rodzaje GD

• Batch GD: Aktualizacja wag po przejściu całego zbioru danych.
• SGD: Aktualizacja po każdym przykładzie treningowym. Jest szybszy, ale bardziej niestabilny.

10. Backpropagation

Algorytm propagacji wstecznej oblicza wpływ każdej wagi na błąd i koryguje ją tak, aby minimalizować funkcję kosztu.

Etapy:

1. forward pass
2. obliczenie błędu
3. backward pass
4. aktualizacja wag

11. Overfitting / Underfitting

Overfitting: Sieć zapamiętuje dane treningowe i słabo generalizuje.

Underfitting: Model jest zbyt prosty i nie uczy się zależności.

Zapobieganie:

• dropout
• regularyzacja
• early stopping

12. Uczenie nienadzorowane

Sieć analizuje dane bez etykiet. Głównym celem jest odnajdywanie struktur, grup i zależności w danych.

13. SOM (Kohonen)

Sieć samoorganizująca grupuje podobne dane blisko siebie na mapie neuronów. Uczy się poprzez neuron zwycięski i jego sąsiadów.

14. Hopfield

Sieć Hopfielda działa jak pamięć skojarzeniowa. Potrafi odtworzyć pełny wzorzec na podstawie częściowych danych.

15. Q-learning

Algorytm uczenia ze wzmocnieniem. Agent uczy się wybierać najlepsze akcje na podstawie nagród otrzymywanych ze środowiska.

Q(s, a) – wartość akcji a w stanie s

16. Etapy ML oraz 17. Supervised vs Unsupervised

Etapy ML

1. definicja problemu
2. zebranie danych
3. przygotowanie danych
4. podział train/test
5. wybór algorytmu
6. dobór hiperparametrów
7. trening
8. ewaluacja
9. optymalizacja

Supervised vs Unsupervised

Supervised: Uczenie z etykietami. Przykłady:

• regresja
• klasyfikacja

Unsupervised: Brak etykiet. Przykłady:

• klasteryzacja
• redukcja wymiarów

18. Miary błędu oraz 19. Confusion Matrix

Miary błędu

MSE: Średni błąd kwadratowy.
MSE = (1/n) * sum((y - y_hat)^2)

RMSE: Pierwiastek z MSE.
RMSE = sqrt(MSE)

Confusion Matrix

Macierz pomyłek służy do oceny klasyfikatora.

• TP: poprawnie pozytywne
• TN: poprawnie negatywne
• FP: fałszywie pozytywne
• FN: fałszywie negatywne
• Accuracy: dokładność klasyfikacji
• Recall: czułość
• Precision: precyzja
• Specificity: specyficzność

20. Curse of Dimensionality

Wraz ze wzrostem liczby wymiarów rośnie liczba danych potrzebnych do poprawnego uczenia modelu.

21. PCA

Metoda redukcji wymiarów. Tworzy nowe nieskorelowane cechy zachowujące możliwie dużo informacji z danych.

22. CNN

Sieci konwolucyjne są używane głównie do analizy obrazów.

• Konwolucja: filtr wykrywa cechy obrazu
• Kernel: mała macierz wag
• Stride: krok przesuwania filtra
• Padding: dopełnianie zerami
• Pooling: zmniejszanie liczby parametrów
• Softmax: końcowa klasyfikacja

23. Zalety CNN oraz 24. Wady CNN

Zalety CNN

• automatyczna ekstrakcja cech
• wysoka skuteczność
• odporność na przesunięcia obrazu

Wady CNN

• wymagają dużej ilości danych
• duża złożoność obliczeniowa
• ryzyko przeuczenia