Szkolenia Big Data

Big Data obejmuje rozproszone przechowywanie, przetwarzanie wsadowe, przetwarzanie strumieniowe oraz integrację danych z wielu źródeł. Na początku warto sprawdzić, czy w projektach dominują zadania ETL, analityka SQL, streaming czy orkiestracja workflowów, a następnie dobrać narzędzia takie jak Hadoop, Spark, Kafka lub Airflow. Przykładowo zespoły budujące pipeline’y analityczne często zaczynają od HDFS i Hive, a potem przechodzą do Spark oraz narzędzi strumieniowych.
Jeśli chcesz przećwiczyć to krok po kroku, zobacz: Big Data i platforma Hadoop - wprowadzenie.

Apache Kafka i Apache Flink rozwiązują różne problemy, choć często działają razem w jednej architekturze Big Data. Kafka obsługuje trwały transport zdarzeń, partycjonowanie, grupy konsumenckie i komunikację asynchroniczną, natomiast Flink realizuje zaawansowane przetwarzanie strumieni danych, operacje okien, zarządzanie stanem i obsługę event time. Przykładowo Kafka może zbierać zdarzenia z aplikacji, a Flink może wykrywać wzorce CEP i liczyć agregaty w czasie rzeczywistym.
Ten temat przerabiamy praktycznie na szkoleniu: Zaawansowane przetwarzanie strumieni danych w Apache Flink.

Architektury sterowane zdarzeniami opierają się na publikowaniu i konsumowaniu komunikatów przez niezależne komponenty systemu. W praktyce trzeba sprawdzić model tematów, sposób partycjonowania, gwarancje dostarczania, rebalansowanie grup konsumentów, serializację oraz integrację aplikacji z Producer API, Consumer API albo Spring Kafka. Przykładem może być system, w którym usługi Java publikują zdarzenia biznesowe do topiców, a osobne procesy przetwarzają je asynchronicznie i zapisują wyniki do kolejnych systemów.
Wersję warsztatową (z konfiguracją i przykładami) znajdziesz w programie szkolenia: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami.

Spark Structured Streaming realizuje przetwarzanie strumieniowe w modelu opartym na tabelach i transformacjach znanych ze Spark SQL. Przy projektowaniu warto sprawdzić źródła i ujścia danych, znaczniki czasowe, okna, checkpointing, obsługę danych opóźnionych oraz semantykę aktualizacji wyników. Przykładowo aplikacje mogą pobierać zdarzenia z Kafki, agregować je w oknach czasowych i zapisywać wyniki do hurtowni lub systemów analitycznych.
To jedno z zagadnień omawianych podczas szkolenia: Przetwarzanie strumieni danych w Apache Spark.

Pipeline’y danych w środowisku Big Data łączą pobieranie danych, transformacje, walidację, harmonogramowanie i monitorowanie wykonania. Należy sprawdzić zależności między zadaniami, sposób przekazywania parametrów, retry, backfilling, integracje z bazami danych i narzędziami przetwarzania oraz podział odpowiedzialności między warstwą ETL a orkiestracją. Przykładem jest przepływ, w którym Airflow uruchamia zadania Spark i SQL, kontroluje harmonogram oraz zapisuje statusy wykonania dla procesów dziennych i przyrostowych.
Dokładnie ten zestaw narzędzi i workflow ćwiczymy podczas szkolenia: Apache Airflow – orkiestracja przetwarzania.

Platformy Big Data zwykle składają się z kilku wyspecjalizowanych warstw, a nie z jednego narzędzia. Warto sprawdzić osobno warstwę składowania, przetwarzania wsadowego, streamingu, integracji, orkiestracji i analityki, bo dopiero ich połączenie daje spójne środowisko danych. Przykładowo Spark może odpowiadać za obliczenia, Kafka za transport zdarzeń, NiFi za integrację, Airflow za harmonogramowanie, a Druid za szybkie zapytania analityczne.
Ten temat przerabiamy praktycznie na szkoleniu: Apache Airflow – orkiestracja przetwarzania.