uczenie-maszynowe/wyk/12a_Metody_zbiorcze.ipynb

Uczenie maszynowe

12a. Metody zbiorcze

• Metody zbiorcze (_ensemble methods) używają połączonych sił wielu modeli uczenia maszynowego w celu uzyskania lepszej skuteczności niż mogłaby być osiągnięta przez każdy z tych modeli z osobna.

• Na metodę zbiorczą składa się:
  • dobór modeli
  • sposób agregacji wyników

• Warto zastosować randomizację, czyli przetasować zbiór uczący przed trenowaniem każdego modelu.

Uśrednianie prawdopodobieństw

Przykład

Mamy 3 modele, które dla klas $c=1, 2, 3, 4, 5$ zwróciły prawdopodobieństwa:

• $M_1$: [0.10, 0.40, 0.50, 0.00, 0.00]
• $M_2$: [0.10, 0.60, 0.20, 0.00, 0.10]
• $M_3$: [0.10, 0.30, 0.40, 0.00, 0.20]

Która klasa zostanie wybrana według średnich prawdopodobieństw dla każdej klasy?

Średnie prawdopodobieństwo: [0.10, 0.43, 0.36, 0.00, 0.10]

Została wybrana klasa $c = 2$

Głosowanie klas

Przykład

Mamy 3 modele, które dla klas $c=1, 2, 3, 4, 5$ zwróciły prawdopodobieństwa:

• $M_1$: [0.10, 0.40, 0.50, 0.00, 0.00]
• $M_2$: [0.10, 0.60, 0.20, 0.00, 0.10]
• $M_3$: [0.10, 0.30, 0.40, 0.00, 0.20]

Która klasa zostanie wybrana według głosowania?

Liczba głosów: [0, 1, 2, 0, 0]

Została wybrana klasa $c = 3$

Inne metody zbiorcze

• Bagging

• Boostng

• Stacking

  https://towardsdatascience.com/ensemble-methods-bagging-boosting-and-stacking-c9214a10a205