Spark

Apache Spark to silnik do rozproszonego przetwarzania danych, który udostępnia interfejsy m.in. w Pythonie i Scali do pracy wsadowej, SQL-owej oraz strumieniowej. Na początku warto sprawdzić model wykonania aplikacji, różnice między RDD, DataFrame i Dataset oraz sposób uruchamiania zadań przez spark-submit i środowiska REPL. Przykładowo zespoły zaczynające od PySparka często budują transformacje na DataFrame, a w Scali rozszerzają je o Dataset i silniejsze typowanie. Ten temat przerabiamy praktycznie na szkoleniu: Apache Spark z wykorzystaniem języka Python.

Structured Streaming realizuje przetwarzanie strumieni danych w modelu opartym na tabelach wynikowych i mikrowsadach, dzięki czemu można stosować znane operacje z DataFrame i Spark SQL do danych napływających w czasie rzeczywistym. W praktyce trzeba sprawdzić źródła danych, tryby wyjścia, obsługę znaczników czasowych, okna czasowe, checkpointing oraz sposób radzenia sobie z danymi opóźnionymi i spóźnionymi. Przykładem jest agregacja zdarzeń w pięciominutowych oknach z watermarkiem, która ogranicza stan i porządkuje obsługę opóźnień. Jeśli chcesz przećwiczyć to krok po kroku, zobacz: Przetwarzanie strumieni danych w Apache Spark.

RDD, DataFrame i Dataset to trzy poziomy pracy z danymi w Spark, różniące się poziomem abstrakcji, optymalizacją i kontrolą nad typami. Przy wyborze warto sprawdzić, czy ważniejsze są elastyczne operacje niskopoziomowe, wydajność planów wykonywania przez Catalyst, czy bezpieczeństwo typów dostępne w Dataset. Przykładowo DataFrame zwykle sprawdzają się w ETL i analizie danych, RDD w niestandardowych transformacjach, a Dataset w projektach scalaowych wymagających czytelnych modeli danych. To jedno z zagadnień omawianych podczas szkolenia: Apache Spark z wykorzystaniem języka Scala.

Optymalizacja Apache Spark polega na analizie planów wykonania, partycjonowania, kosztu shuffle, wykorzystania pamięci oraz sposobu zapisu i odczytu danych. Najpierw warto sprawdzić zadania i etapy w Spark WebUI, liczbę partycji, szerokie transformacje, użycie UDF oraz jakość schematów danych i agregacji. Przykładem typowego usprawnienia jest zastąpienie części kodu operacjami Spark SQL, korekta liczby partycji i ograniczenie kosztownych przetasowań danych. Dokładnie ten zestaw narzędzi i workflow ćwiczymy podczas szkolenia: Apache Spark z wykorzystaniem języka Python.

Dane opóźnione i spóźnione to zdarzenia docierające po czasie zdarzenia lub po zamknięciu oczekiwanego okna przetwarzania, co wpływa na poprawność agregacji i stan aplikacji. W praktyce należy sprawdzić znaczniki czasowe, watermarki, typy okien oraz politykę aktualizacji wyników i checkpointów po awarii. Przykładem jest strumień logów, w którym część rekordów trafia z kilkuminutowym opóźnieniem i wymaga kontrolowanego czasu tolerancji przed finalizacją wyników. Wersję warsztatową (z konfiguracją i przykładami) znajdziesz w programie szkolenia: Przetwarzanie strumieni danych w Apache Spark.

Procesy ETL w Apache Spark obejmują odczyt danych z różnych źródeł, transformacje rozproszone, walidację schematów oraz zapis wyników do warstw analitycznych i tabel. Podczas projektowania trzeba sprawdzić formaty danych, sposób definiowania schematów, użycie Spark SQL, integrację z Hadoop, JDBC lub metastore oraz testy poprawności przetwarzania. Przykładem jest pipeline, który pobiera dane tabelaryczne przez JDBC, czyści je w DataFrame API, agreguje i zapisuje do warstwy docelowej używanej przez analitykę. Ten temat przerabiamy praktycznie na szkoleniu: Apache Spark z wykorzystaniem języka Python.