Zaawansowane przetwarzanie strumieni danych w Apache Flink

3350 PLN+23% VAT (4120 PLN brutto / 1 os.)

Czas trwania szkolenia:3 dni (24h)

Kod kursu:BIGDATA/FLINK

Poziom zaawansowania:
javascalabig-datasql

Dostępne terminy

  • Termin
  • Trener
  • Cena
  • Zapis
  • Lokalizacja

Termin:

12 grudnia
Trwają zapisy na szkolenie

Trener:

Trainer image
Krzysztof Jankiewicz

Cena:

3350 PLN netto+23% VAT

Lokalizacja:

Zdalne

Termin:

13 marca
Trwają zapisy na szkolenie
-

Cena:

3350 PLN netto+23% VAT

Lokalizacja:

Lokalizacja:

ZdalneWarszawaŁódźPoznańKrakówWrocławGdańskKatowiceBydgoszczGdynia

Nie odpowiada Ci żaden z dostępnych terminów?

Zapytaj o szkolenie

O szkoleniu Zaawansowane przetwarzanie strumieni danych w Apache Flink

W cenie otrzymasz:

  • Materiały szkoleniowe
  • Certyfikat ukończenia szkolenia
  • W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki

Dla kogo?

  • Analitycy i programiści, którzy znają podstawy Big Data oraz przetwarzania strumieni danych i chcą zapoznać się z platformą Apache Flink oferującą w tym zakresie największe możliwości w porównaniu do alternatywnych rozwiązań

Wymagania

  • Dobra znajomość: języka SQL, relacyjnego modelu danych
  • Podstawowa znajomość obiektowych języków programowania Java oraz Scala, opcjonalnie (jako uzupełnienie) Python
  • Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi
  • Zalecany jest wcześniejszy udział w szkoleniach:
  • Big Data i platforma Hadoop - wprowadzenie (BIGDATA/BASE) - silna rekomendacja
  • Przetwarzanie strumieni danych w środowiskach Big Data (BIGDATA/STREAM)

Zalety

  • Kompleksowe wprowadzenie do platformy Apache Flink
  • Przedstawienie praktycznych przykładów oraz praktyk związanych z analizą strumieni danych w środowiskach Big Data
  • Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest uzupełniana jest przykładami praktycznych zadań
  • Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
  • Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how

Cele szkolenia

  • Zapoznanie z platformą Apache Flink i jej możliwościami w zakresie przetwarzania strumieni danych
  • Wykorzystanie zaawansowanych mechanizmów oferowanych przez Apache Flink

Program

Flink - wprowadzenie

  • Tradycyjne środowiska przetwarzania danych
  • Zastosowanie przetwarzania strumieni danych (SP)
  • Ewolucja systemów SP
  • Flink
  • Historia
  • Podstawowe cechy
  • Architektura
  • Pierwsze kroki
  • Warsztat

DataStream API - podstawy

  • Typy danych
  • Typy strumieni
  • Postać programu
  • Podstawy przetwarzania strumieni danych
  • Logiczny graf przepływu danych
  • Fizyczny graf przepływu danych
  • Metody dystrybucji danych
  • Transformacje
  • Operacje i ich typy
  • Tranformacje i ich typy
  • Poziomy zrównoleglenia
  • Warsztat

DataStream API - elementy zaawansowane - część 1

  • Wprowadzenie
  • Problem
  • Podstawy okien
  • Podstawy znaczników czasowych
  • Znaczniki watermark
  • Etykiety czasowe i ich przypisywanie do zdarzeń
  • Okna i operacje z nimi związane
  • Łączenie strumieni
  • Warsztat

DataStream API - elementy zaawansowane - część 2

  • Zdarzenia opóźnione, oznaczanie i ich obsługa
  • Własna obsługa okien
  • Obsługa zdarzeń nieuporządkowanych
  • Obsługa zdarzeń spóźnionych
  • Warsztat

DataStream API - stan, punkty kontrolne, punkty zachowania

  • Wprowadzenie
  • Dwa typy stanów
  • Keyed State
  • Operator State
  • Punkty kontrolne i ich wykorzystanie
  • Punkty zachowania
  • Warsztat

Table API i SQL

  • Wprowadzenie
  • Struktura programu
  • Integracja Zeppelina z Flinkiem
  • Tabele
  • Definicja przepływu danych
  • Ale o co tu w ogóle chodzi?
  • Atrybuty czasu
  • Integracja z DataStream API
  • Table API
  • SQL API
  • Warsztat

Complex Event Processing (CEP)

  • Wprowadzenie
  • DataStream API
  • Wprowadzenie
  • Wzorce
  • Wykrywanie wzorców
  • Czas w CEP
  • SQL API
  • Klauzula MATCH_RECOGNIZE
  • Warsztat

Przetwarzanie danych wsadowych

  • Strumienie skończone i nieskończone
  • Statyczne zbiory danych
  • DataSet API
  • Warsztat

Przetwarzanie grafów - Gelly - podstawy

  • Wprowadzenie
  • Podstawowe pojęcia
  • Miary w grafach
  • Partycjonowanie grafów
  • Przetwarzanie grafów
  • Gelly
  • Podstawy
  • Tworzenie grafów
  • Podstawowe własności grafów
  • Operatory strukturalne
  • Warsztat

Przetwarzanie grafów - Gelly - elementy zaawansowane

  • Statystyczne charakterystyki sieci
  • Połączone komponenty
  • Rozkład stopni wierzchołków
  • Sieci małych światów
  • Współczynnik klastrowania
  • Średnie odległości pomiędzy węzłami
  • Odporność sieci na awarie
  • Pośrednictwo węzłów, krawędzi
  • Gelly
  • Typy iteracyjnego przetwarzania danych
  • Analiza statystyczna grafów
  • Dostępne algorytmy
  • Generatory grafów
  • Warsztat

Podobne szkolenia