Szkolenie: Przetwarzanie strumieni danych w środowiskach Big Data
Przetwarzanie strumieni danych (stream data processing) z roku na rok zyskuje na znaczeniu w szczególności w przypadku rozwiązań Big Data. Jest wymagane w wielu uznanych architekturach, oferuje możliwości, które nie sposób osiągnąć przy tradycyjnym/wsadowym przetwarzaniu danych. Kurs wprowadza uczestników w świat mechanizmów przetwarzania strumieni danych oraz najważniejszych narzędzi Big Data, które taki typ przetwarzania udostępniają. Zakres szkolenia obejmuje: wprowadzenie do przetwarzania strumieni danych, podstawy platformy Kafka jako brokera wiadomości, Spark Structured Streaming, Kafka Streams, a także wprowadzenie platformy Flink. Innymi słowy, szkolenie zawiera wprowadzenie do przetwarzania strumieni danych w środowiskach Big Data oraz przegląd najważniejszych rozwiązań począwszy od najprostszych, aż po najbardziej skomplikowane. Szkolenie jest fundamentem dla szkolenia Zaawansowane przetwarzanie strumieni danych w Apache Flink
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:3 dni (24h)
Kod kursu:BIGDATA/STREAM
Przetwarzanie strumieni danych w środowiskach Big Data
Cele szkolenia
Zrozumienie najważniejszych mechanizmów przetwarzania strumieni danych
Poznanie najważniejszych narzędzi przetwarzania strumieni danych Big Data wraz z ich możliwościami oraz specyfiką, która je wyróżnia.
Implementacja szeregu procesów przetwarzających strumienie danych
Dla kogo?
Twórcy rozwiązań Big Data, którzy rozpoczynają swoją przygodę ze strumieniami danych
Programiści chcący poznać mechanizmy i narzędzia przetwarzania strumieni danych w systemach Big Data
Zalety
Jedno z niewielu szkoleń adresujących tematykę przetwarzania strumieni danych dokonując kompleksowego przeglądu jej mechanizmów i narzędzi
Kurs przechodzi od najbardziej podstawowych zagadnień do najbardziej złożonych co pozwala opanować skomplikowany świat przetwarzania strumieni danych
Narzędzia Apache możliwe do uruchomienia w rozwiązaniach lokalnych (on-premise), dostępne na platformach chmurowych
Pełne zrozumienie kluczowych mechanizmów przetwarzania strumieni danych (okien, wyzwalaczy, nieuporządkowania zdarzeń, punktów kontrolnych, typów gwarancji itp.)
Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how
Wymagania
Praktyczna znajomość programowania obiektowego Java
Podstawowa znajomość języka Python
Znajomość platformy Hadoop i jej podstawowych narzędzi - rekomendujemy wcześniejszy udział w szkoleniu Big Data i platforma Hadoop - wprowadzenie
Znajomość platformy Spark w zakresie DataFrame API - rekomendujemy wcześniejszy udział w szkoleniu Apache Spark z wykorzystaniem języka Python
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Wprowadzenie do przetwarzania strumieni danych
Cele
Przetwarzanie wsadowe, mikrowsadowe i strumieniowe
Przetwarzanie stanowe i bezstanowe
Znacznik czasowe
Okna
Typy dostępnych operacji
Porządek danych, dane opóźnione, dane spóźnione
Obsługa awarii
Complex Event Processing
API wysokopoziomowe
Kafka jako broker wiadomości
Wprowadzenie do systemów wymiany wiadomości
Czym jest Kafka
Architektura
Temat (topic)
Konsumenci
Administracja
API producentów i konsumentów
Spark Structured Streaming
Wprowadzenie
Podstawy - struktura i logika programu
Typy obsługi tabel wynikowych
Obsługa znaczników czasowych
Szczegóły API (źródła, transformacje, ujścia, uruchamianie)
Obsługa zdarzeń opóźnionych
Kafka Streams
Wprowadzenie
Podstawowe pojęcia
Strumienie a tabele
Obsługa znaczników czasowych
Kluczowe operacje
Zapytania interaktywne
Przykładowa prosta aplikacja
Kafka Streams DSL - szczegóły API
Przykładowa złożona aplikacja
Wprowadzenie do Apache Flink
Wprowadzenie
Architektura
Uruchomienie klastra
Podstawy - struktura i logika programu
Podstawy DataStream API
Flink w akcji
Obsługa znaczników czasowych
Okna
Wyzwalacze
Konektory
Podsumowanie
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Wybrane opinie
Przeczytaj pozytywne opinie pochodzące z ankiet satysfakcji z naszych szkoleń wypełnianych wyłącznie przez ich uczestników po realizacji usługi
