Szkolenie: Apache Airflow – orkiestracja przetwarzania
Szkolenie Apache Airflow – orkiestracja przetwarzania to praktyczne wprowadzenie do projektowania, harmonogramowania i automatyzacji workflowów Big Data z użyciem Apache Airflow, obejmujące tworzenie DAG-ów, operatory, sensory, XCom, parametryzację, TaskGroup oraz dataset-based scheduling
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:1 dzień (8h)
Kod kursu:BIGDATA/AIRFLOW
Dostępne terminy szkolenia
Termin:
Trwają zapisy na szkolenie
Dostępne w Bazie Usług Rozwojowych
Oferta specjalnaTrener:
Cena:
1300 PLN netto
Lokalizacja:
ZdalneTermin:
Trwają zapisy na szkolenieDostępne w Bazie Usług RozwojowychOferta specjalnaTrener:
Cena:
1300 PLN nettoLokalizacja:
ZdalneApache Airflow – orkiestracja przetwarzania
Cele szkolenia
Szkolenie przygotowuje do samodzielnego projektowania i implementowania orkiestracji workflowów oraz potoków ETL w Apache Airflow, w tym tworzenia DAG-ów i definiowania zależności zadań
Szkolenie uczy harmonogramowania pipeline’ów danych, zarządzania retry, backfillingiem, regułami uruchamiania oraz monitorowania statusów zadań w środowisku Big Data
Szkolenie pokazuje użycie XCom, zmiennych, połączeń i parametrów do współdzielenia danych oraz konfiguracji workflowów i automatyzacji przetwarzania
Szkolenie rozwija umiejętność grupowania zadań z wykorzystaniem TaskGroup, przetwarzania warunkowego oraz dataset-based scheduling w praktycznych warsztatach Apache Airflow
Szkolenie omawia najlepsze praktyki implementacji workflow orchestration oraz integracji Apache Airflow z narzędziami Big Data i bazami danych
Dla kogo?
Programiści Python i inżynierowie danych z podstawową znajomością Big Data i chęcią tworzenia oraz utrzymywania workflowów Airflow
Inżynierowie danych i specjaliści ETL odpowiedzialni za orkiestrację procesów przetwarzania i integrację systemów, znający SQL
Administratorzy systemów i DevOps wdrażający oraz utrzymujący środowiska Airflow i monitorowanie zadań produkcyjnych
Architekci danych i analitycy chcący automatyzować przepływy danych, harmonogramy i zależności oparte na datasetach
Efekty kształcenia
Uczestnik projektuje i implementuje DAG-i oraz zależności zadań w Apache Airflow dla workflowów ETL i pipeline’ów danych
Uczestnik harmonogramuje i optymalizuje uruchamianie potoków danych, wykorzystując retry, backfilling oraz mechanizmy workflow orchestration
Uczestnik korzysta z XCom, zmiennych i połączeń do wymiany danych oraz konfiguracji zadań pomiędzy elementami workflowów
Uczestnik grupuje zadania przy użyciu TaskGroup oraz obsługuje przetwarzanie warunkowe i rozwidlanie workflowów
Uczestnik wdraża dataset-based scheduling oraz monitoruje zależności danych i statusy workflowów w Apache Airflow
Uczestnik integruje Apache Airflow z narzędziami Big Data i bazami danych w procesach ETL oraz automatyzacji przetwarzania danych
Wymagania
Konieczna znajomość podstawowych pojęć z zakresu Big Data
Silnie rekomendowane jest posiadanie wiedzy i umiejętności z zagadnień ujętych w ramach szkolenia Big Data i platforma Hadoop - wprowadzenie
Silnie rekomendowana znajomość języka Python
Silnie rekomendowana znajomość narzędzi: Apache Spark, Hive, MySQL
Rekomendowana znajomość relacyjnego modelu danych
Rekomendowana znajomość poleceń SQL
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Szkolenie poprowadzi jego autor Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Wybrane opinie
Przeczytaj pozytywne opinie pochodzące z ankiet satysfakcji z naszych szkoleń wypełnianych wyłącznie przez ich uczestników po realizacji usługi
