Interpretowalne uczenie maszynowe

Jednym z ważniejszych zadań Deep Learningu jest budowa reprezentacji danych. Ponieważ często mamy do dyspozycji dużą liczbę niepoetykietowanych danych (wysokie koszty), w ostatnim czasie widzimy coraz większe zainteresowanie konstrukcją nienadzorowanych reprezentacji za pomocą metod kontrastywnych (contrastive learning). Drugim istotnym narzędziem do konstrukcji reprezentacji są modele bazujące na strukturze AutoEnkodera. Pozwalają one w szczególności uzupełniać brakujące części zdjęć (missing imputation), kompresować dane, usuwać szum (denoising AutoEncoder) lub też wyszukiwać odstające obserwacje (outliers). Rozszerzenie AutoEnkodera do modeli generatywnych jak VAE (variational AutoEncoder) pozwala nam na generowanie danych, interpolację między danymi czy ich manipulację. Inne ważne modele generatywne to GANy, które pozwalają na generowanie fotorealistycznych zdjęć czy ich modyfikowanie (text-to-speech, image impainting, etc) czy modele pozwalające na estymację gęstości (modele flowowe). W ramach szkolenia omówiona zostanie tematyka budowy nienadzorowanych reprezentacji danych oraz modele generatywne, przechodząc od tych posiadających strukturę AutoEnkodera, po GANy oraz modele gęstościowe.

Sztuczne sieci neuronowe do osiągnięcia oczekiwanych rezultatów często wymagają znaczących nakładów obliczeniowych, a co za tym idzie również nakładów kapitałowych. Waga tego problemu rośnie w czasie, wraz ze zwiększającą się ilością przetwarzanych przez modele danych, oraz ich penetracją rynku i wszelakich aplikacji. Szkolenie pokrywa szereg zagadnień związanych ze zwiększeniem wydajności sztucznych sieci neuronowych, w szczególności zagadnienia, którymi zajmujemy się w ramach prowadzonego projektu BioNN.

W systemach wykorzystujących szeroko rozumianą sztuczną inteligencję coraz częściej wykorzystujemy dane takie jak teksty, grafy czy chmury punktów 3D. Praktyczne zastosowanie modeli uczenia maszynowego do takich danych wiąże się z wieloma wyzwaniami, takimi jak duży rozmiar modeli (problemy z pamięcią oraz czasem odpowiedzi), brak modeli gotowych do użycia na produkcji czy niewielkie ilości dostępnych danych treningowych. Sieci neuronowe dedykowane do przetwarzania danych 3D muszą być niezmiennicze na obroty i permutacje. Z kolei przetwarzanie danych o strukturze grafowej z wykorzystaniem sieci neuronowych wymaga zastosowania dedykowanych modułów, które potrafią agregować informacje z takich danych. W ramach szkolenia omówiona zostanie tematyka efektywnego wykorzystania najnowszych modeli językowych opartych na architekturze Transformera. Poruszone zostaną kwestie trenowania wyspecjalizowanych modeli oraz problemów z ich rozmiarem i szybkością. Ponadto omówione zostaną architektury dedykowane do przetwarzania chmur punktów i grafów.