Machine Learning and Deep Learning
LICZBA DNI: 5 (40h)
KOD KURSU: ML/DL
Dostosowany program 
O szkoleniu
DLA KOGO?
Szkolenie adresowane jest dla analityków danych i programistów chcących zapoznać się z głębokimi sieciami neuronowymi
WYMAGANIA
Podstawowa umiejętność programowania w języku Python
Dodatkowo zakładana jest znajomość podstawowych pojęć z rachunku prawdopodobieństwa, algebry liniowej (mnożenie macierzy) oraz analizy matematycznej (pochodne cząstkowe)
Pomocna jest również podstawowa znajomość nauczania maszynowego (na poziomie kursu PYTHON/ML)
ZALETY
Szkolenie prowadzone jest przez osoby posiadające zarówno praktyczne doświadczenie w stosowaniu głębokich sieci neuronowych w przetwarzaniu obrazu oraz języka naturalnego, jak i doskonałe przygotowanie teoretyczne zdobyte dzięki pracy naukowej oraz uczestnictwu w międzynarodowych warsztatach
Program szkolenia jest regularnie aktualizowany, czy to po najważniejszych konferencjach branżowych (NIPS, ACL, EMNLP), czy głównych konkursach (ILSVRC, MSCOCO)
Część praktyczna szkolenia przeprowadzona zostanie przy pomocy otwartej biblioteki programistycznej TensorFlow
Cele szkolenia
Zapoznanie kursantów z głębokimi sieciami neuronowymi
Zdobycie umiejętności programowania i debugowania głębokich sieci neuronowych w tym sieć splotową oraz rekurencyjną typu LSTM
Architektury sieci neuronowych omawiane na szkoleniu zaprezentowane zostaną przez pryzmat podstawowych zagadnień wizji komputerowej (klasyfikacja) i przetwarzania języka naturalnego (analiza sentymentu, tłumaczenie maszynowe)
Przedstawienie najnowszych wyników badań, oraz wytłumaczenie zostaną popularnych zastosowania deep learningu takich, jak automatyczne podpisywanie zdjęć, czy transfer stylu artystycznego pomiędzy zdjęciami
Program
Wprowadzenie do sieci neuronowych
- Perceptron i perceptron wielowarstwowy (ang. Multilayer Perceptron)
- Uczenie sieci neuronowej
- Implementacja sieci neuronowej w pythonie
Pielęgnowanie sieci neuronowych
- Inicjalizacja parametrów sieci neuronowej
- Normalizacja wsadowa (and. Batch Normalization)
- Optymalizacja:
- SGD z pędem (and. SGD with Momentum)
- Adagrad
- Adadelta
- RMSProp
- Adam
- Regularyzacja:
- L1 i L2
- Dropout
Splotowe sieci neuronowe
- Podstawowe pojęcia
- Studium przypadku: zwycięzcy ImageNet
- AlexNet (2012)
- ZFNet (2013)
- GoogLeNet (2014)
- VGGNet (2014)
- ResNet (2015)
- Ciekawe zastosowania:
- "Pupy-snail", czyli jak działa Deep Dream
- "A Neural Algorithm of Artistic Style", czyli transfer stylu pomiędzy obrazami
Wektorowa reprezentacja słów i dokumentów
- Word2Vec
- CBOW (ang. Continuous Bag of Words)
- Skip-gram
- Przykład zastosowania: analiza sentymentu
- Doc2Vec
- Distributed Memory Model
- Distributed Bag-of-Words
- Przykład zastosowania: rekomendacja podobnych produktów na podstawie ich recenzji
Rekurencyjne sieci neuronowe
- Rekurencyjna sieć neuronowa (and. Recurrent Neural Network)
- Sieci typu LSTM (ang. Long Short-Term Memory)
- Sieci typu GRU (ang. Gated Recurrent Unit)
- Przykład zastosowania: jak powstał film „Sunspring”, czyli generowanie ciągów znaków
- Przykład zastosowania: automatyczne generowanie opisów zdjęć
Obiecujące kierunki badawcze
- Modele uwagi
- Modele twardej uwagi (ang. hard attention models)
- Modele płynnej uwagi (ang. soft attention models)
- Przykład zastosowania:
- Rekursywne sieci neuronowe (ang. Recursive Neural Networks)
- Modele pamięci
- Neuronowe Maszyny Turinga (ang. Neural Turing Machines)
- Dynamiczne Sieci z Pamięcią (ang. Dynamic Memory Networks)
- Przykład zastosowania: odpowiadanie na pytania do tekstu i obrazu