Nienadzorowana reprezentacja, autoenkodery i modele generatywne

Sztuczne sieci neuronowe do osiągnięcia oczekiwanych rezultatów często wymagają znaczących nakładów obliczeniowych, a co za tym idzie również nakładów kapitałowych. Waga tego problemu rośnie w czasie, wraz ze zwiększającą się ilością przetwarzanych przez modele danych, oraz ich penetracją rynku i wszelakich aplikacji. Szkolenie pokrywa szereg zagadnień związanych ze zwiększeniem wydajności sztucznych sieci neuronowych, w szczególności zagadnienia, którymi zajmujemy się w ramach prowadzonego projektu BioNN.

Współczesne metody uczenia maszynowego stają się kluczowymi elementami wielu aplikacji, na przykład w przemyśle, medycynie czy sektorze finansowym. Niestety, metody te działają zazwyczaj na zasadzie czarnych skrzynek, które zwracają predykcje bez wyjaśnienia podejmowanych decyzji. Jest to problematyczne, bo uczenie maszynowe coraz częściej wkracza w różne aspekty życia społecznego. Dlatego organy regulacyjne coraz częściej wymagają tłumaczenia procesów decyzyjnych w celu zapewnienia zaufania i przejrzystości. W ramach szkolenia przedstawimy podstawowe metody wyjaśniania decyzji modeli uczenia maszynowego oraz ich praktyczne zastosowania.

W systemach wykorzystujących szeroko rozumianą sztuczną inteligencję coraz częściej wykorzystujemy dane takie jak teksty, grafy czy chmury punktów 3D. Praktyczne zastosowanie modeli uczenia maszynowego do takich danych wiąże się z wieloma wyzwaniami, takimi jak duży rozmiar modeli (problemy z pamięcią oraz czasem odpowiedzi), brak modeli gotowych do użycia na produkcji czy niewielkie ilości dostępnych danych treningowych. Sieci neuronowe dedykowane do przetwarzania danych 3D muszą być niezmiennicze na obroty i permutacje. Z kolei przetwarzanie danych o strukturze grafowej z wykorzystaniem sieci neuronowych wymaga zastosowania dedykowanych modułów, które potrafią agregować informacje z takich danych. W ramach szkolenia omówiona zostanie tematyka efektywnego wykorzystania najnowszych modeli językowych opartych na architekturze Transformera. Poruszone zostaną kwestie trenowania wyspecjalizowanych modeli oraz problemów z ich rozmiarem i szybkością. Ponadto omówione zostaną architektury dedykowane do przetwarzania chmur punktów i grafów.