Przetwarzanie strumieni danych w środowiskach Big Data

LICZBA DNI: 3 (24h)

KOD KURSU: BIGDATA/STREAM

POZIOM SZKOLENIA:

# spark

# scala

Najbliższy termin:

15 września 2021

PROWADZI:

Krzysztof Jankiewicz

2680 PLN netto + 23% VAT

  • stacjonarne
  • zdalne

STACJONARNE

W CENIE

  • 3 dni pracy z trenerem
  • Materiały szkoleniowe
  • Lunch
  • Certyfikat ukończenia szkolenia

ZDALNE

W CENIE

  • 3 dni pracy z trenerem na żywo online
  • Materiały szkoleniowe
  • Certyfikat ukończenia szkolenia

Czy wiesz, że możesz uzyskać nawet do 100% DOFINANSOWANIA na szkolenie? Napisz do nas »

Oferta dla firm

Dostosuj zakres, czas i miejsce szkolenia do potrzeb Twojego zespołu. Uzyskaj indywidualną wycenę szkolenia dla grupy.

Weź udział w szkoleniu

Termin

Lokalizacja

Trener

Cena / os

15

września

Warszawa,

Zdalne,

2680 PLN netto
+ 23% VAT

Termin

15

września

Lokalizacja

Warszawa,

Zdalne,

Trener

Cena / os

2680 PLNnetto
+ 23% VAT

Powiadom
o kolejnych terminach

O szkoleniu

DLA KOGO?

Twórcy rozwiązań Big Data, którzy rozpoczynają swoją przygodę ze strumieniami danych

Programiści chcący poznać mechanizmy i narzędzia przetwarzania strumieni danych w systemach Big Data

WYMAGANIA

Praktyczna znajomość programowania obiektowego Java

Podstawowa znajomość języka Scala

Znajomość platformy Hadoop i jej podstawowych narzędzi, zalecane ukończenie kursu Big Data i platforma Hadoop - wprowadzenie (BIGDATA/BASE)

Znajomość platformy Spark obejmująca zarówno przetwarzanie danych RDD jak i funkcjonalność Spark SQL, zalecane ukończenie kursu Apache Spark z wykorzystaniem języka Scala (BIGDATA/SPARK)

ZALETY

Jedno z niewielu szkoleń adresujących tematykę przetwarzania strumieni danych dokonując kompleksowego przeglądu jej mechanizmów i narzędzi

Kurs przechodzi od najbardziej podstawowych zagadnień do najbardziej złożonych co pozwala opanować skomplikowany świat przetwarzania strumieni danych

Narzędzia Apache możliwe do uruchomienia w rozwiązaniach lokalnych (on-premise), dostępne na platformach chmurowych

Kameralne grupy - szkolenia technologiczne prowadzimy w grupach liczących do 8 osób. Pozwala to na indywidualne podejście oraz aktywizację każdego uczestnika

Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań

Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką

Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how

Cele szkolenia

Zrozumienie najważniejszych mechanizmów przetwarzania strumieni danych

Poznanie najważniejszych narzędzi przetwarzania strumieni danych Big Data wraz z ich możliwościami oraz specyfiką, która je wyróżnia.

Implementacja szeregu procesów przetwarzających strumienie danych

Program

  • Cele
  • Przetwarzanie wsadowe, mikrowsadowe i strumieniowe
  • Przetwarzanie stanowe i bezstanowe
  • Znacznik czasowe
  • Okna
  • Typy dostępnych operacji
  • Porządek danych, dane opóźnione, dane spóźnione
  • Obsługa awarii
  • Complex Event Processing
  • API wysokopoziomowe
  • Wprowadzenie do systemów wymiany wiadomości
  • Czym jest Kafka
  • Architektura
  • Temat (topic)
  • Konsumenci
  • Administracja
  • API producentów i konsumentów
  • Wprowadzenie
  • Podstawy - struktura i logika programu
  • Architektura
  • Dostępne źródła danych, strumienie wejściowe, odbiorniki
  • Transformacje bezstanowe i stanowe
  • Operacje wynikowe - ujścia (sink)
  • Mechanizmy zabezpieczające przed awariami
  • Wprowadzenie
  • Podstawy - struktura i logika programu
  • Typy obsługi tabel wynikowych
  • Obsługa znaczników czasowych
  • Szczegóły API (źródła, transformacje, ujścia, uruchamianie)
  • Obsługa zdarzeń opóźnionych
  • Wprowadzenie
  • Podstawowe pojęcia
  • Strumienie a tabele
  • Obsługa znaczników czasowych
  • Kluczowe operacje
  • Zapytania interaktywne
  • Przykładowa prosta aplikacja
  • Kafka Streams DSL - szczegóły API
  • Przykładowa złożona aplikacja
  • Wprowadzenie
  • Architektura
  • Uruchomienie klastra
  • Podstawy - struktura i logika programu
  • Podstawy DataStream API
  • Flink w akcji
  • Obsługa znaczników czasowych
  • Okna
  • Wyzwalacze
  • Konektory
  • Podsumowanie

Autor szkolenia:

Krzysztof Jankiewicz

Starszy wykładowca na Politechnice Poznańskiej gdzie w roku 2007 obronił doktorat z Zarządzania współbieżnym dostępem w bazach danych XML. Prowadzi zajęcia z tematyki bardzo ogólnie rozumianego przetwarzania danych oraz aplikacji mobilnych. W tych samym zakresie udziela się na kilku innych uczelniach wyższych w Wielkopolsce. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od 2001 roku współpracuje z firmami szkoleniowymi regularnie prowadząc szkolenia i warsztaty. Regularnie tworzy i aktualizuje autorskie szkolenia.

Najbliższe szkolenie poprowadzi:

Krzysztof Jankiewicz

Starszy wykładowca na Politechnice Poznańskiej gdzie w roku 2007 obronił doktorat z Zarządzania współbieżnym dostępem w bazach danych XML. Prowadzi zajęcia z tematyki bardzo ogólnie rozumianego przetwarzania danych oraz aplikacji mobilnych. W tych samym zakresie udziela się na kilku innych uczelniach wyższych w Wielkopolsce. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od 2001 roku współpracuje z firmami szkoleniowymi regularnie prowadząc szkolenia i warsztaty. Regularnie tworzy i aktualizuje autorskie szkolenia.

POLITYKA COOKIES:

Korzystamy z plików cookies, by móc jak najlepiej dostosować stronę do Twoich potrzeb oraz wyświetlać Ci przydatne i adekwatnych dla Ciebie reklamy w serwisie i poza nim. Możesz kontrolować ustawienia ciasteczek w swoich ustawieniach swojej przeglądarki. Odwiedzając tę stronę, wyrażasz zgodę na wykorzystywanie przez nas plików cookies.