Szkolenie: Apache NiFi - projektowanie przepływów danych
Szkolenie Apache NiFi – projektowanie przepływów danych to praktyczne, warsztatowe wprowadzenie do tworzenia, zarządzania i optymalizacji przepływów Big Data w Apache NiFi, obejmujące integrację z HDFS, relacyjnymi bazami danych i Apache Kafka, debugowanie oraz kontrolę jakości danych
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:1 dzień (8h)
Kod kursu:BIGDATA/NIFI
Dostępne terminy szkolenia
Termin:
Trwają zapisy na szkolenie
Dostępne w Bazie Usług RozwojowychTrener:
Cena:
1300 PLN netto
Lokalizacja:
ZdalneTermin:
Trwają zapisy na szkolenieDostępne w Bazie Usług RozwojowychTrener:
Cena:
1300 PLN nettoLokalizacja:
ZdalneTermin:
Trwają zapisy na szkolenieDostępne w Bazie Usług RozwojowychTrener:
Cena:
1300 PLN nettoLokalizacja:
ZdalneTermin:
Trwają zapisy na szkolenieDostępne w Bazie Usług RozwojowychTrener:
Cena:
1300 PLN nettoLokalizacja:
ZdalneApache NiFi - projektowanie przepływów danych
Cele szkolenia
Szkolenie przygotowuje do samodzielnego projektowania, automatyzacji i implementacji przepływów danych ETL w Apache NiFi, w tym tworzenia i konfiguracji procesorów, kolejek oraz repozytoriów danych
Szkolenie uczy integrować Apache NiFi z HDFS, relacyjnymi bazami danych oraz Apache Kafka w celu wydajnego przesyłania, transformacji i przetwarzania dużych zbiorów danych Big Data
Szkolenie pokazuje techniki monitorowania, debugowania i optymalizacji wydajności przepływów danych oraz metody kontroli jakości danych z wykorzystaniem XML Schema i XQuery
Szkolenie rozwija umiejętność korzystania z NiFi CLI, REST API, parametrów, kontekstów, grup procesorów oraz mechanizmów wersjonowania i wdrażania przepływów danych
Szkolenie omawia zasady uruchamiania, skalowania i zarządzania Apache NiFi w środowisku klastrowym oraz dobre praktyki bezpieczeństwa i konfiguracji platform Data Engineering
Dla kogo?
Programiści i integratorzy systemów z podstawową wiedzą Big Data, chcący projektować przepływy danych w Apache NiFi
Inżynierowie danych i administratorzy platform Big Data odpowiedzialni za integrację i przetwarzanie strumieni danych
DevOps i operatorzy systemów przetwarzania danych planujący wdrożenia NiFi w środowiskach klastrowych
Analitycy i specjaliści ds. jakości danych pracujący z XML, CSV i relacyjnymi bazami danych, chcący wdrażać walidację i transformacje
Efekty kształcenia
Uczestnik projektuje i implementuje wydajne przepływy danych ETL w Apache NiFi z wykorzystaniem procesorów, kolejek oraz mechanizmów automatyzacji danych
Uczestnik konfiguruje integracje Apache NiFi z HDFS, Apache Kafka i relacyjnymi bazami danych w środowiskach Big Data
Uczestnik monitoruje i debuguje przepływy danych oraz identyfikuje wąskie gardła wydajnościowe w procesach przetwarzania danych
Uczestnik wdraża kontrolę jakości danych z wykorzystaniem XML Schema oraz XQuery podczas przetwarzania danych XML
Uczestnik korzysta z NiFi CLI, REST API, parametrów, kontekstów oraz grup procesorów do zarządzania przepływami danych
Uczestnik wersjonuje i zarządza przepływami danych oraz stosuje praktyki skalowania, bezpieczeństwa i konfiguracji Apache NiFi w klastrach
Wymagania
Znajomość podstawowych pojęć z zakresu Big Data
Silnie rekomendowane jest posiadanie wiedzy i umiejętności z zagadnień ujętych w ramach szkolenia Big Data i platforma Hadoop - wprowadzenie
Rekomendowana znajomość języka Python
Rekomendowana znajomość narzędzi: Apache Kafka, MySQL
Rekomendowana znajomość formatów/modeli danych: relacyjnego, XML, CSV
Rekomendowana znajomość poleceń/specyfikacji: SQL, XQuery, XML Schema
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Podstawy Apache NiFi
Podstawy architektury
Repozytoria i procesy
Klaster Apache NiFi
Przepływ danych
Konsola Apache NiFi i jej składowe
Procesory i ich typy
Pliki przepływów (FlowFiles)
Połaczenia i ich typy
Kolejki i ich kontrola
Monitorowanie przepływu
Debugowanie i kontrola przetwarzania danych
Apache NiFi - własny przepływ danych
Wykorzystanie HDFS
Instalacja dodatkowych modułów
Kontrola i modyfikacja parametrów procesorów
Zaawansowane przepływy danych
Przetwarzanie danych XML
Wykorzystanie relacyjnych baz danych
Rozwidlenia przetwarzania
Złożone debugowanie
Kontrola jakości danych za pomocą definicji XML Schema
Przetwarzanie danych XML za pomocą XQuery
Usługi kontrolerów i ich typy
Grupy procesorów
Porty wejściowe i wyjściowe
Definicje przepływów i szablony
Dodatkowe interfejsy — NiFi CLI i REST API
Obsługa strumieni danych - praca własna
Wykorzystanie Apache Kafka
Wykorzystanie parametrów i kontekstów
Rejestry i wersjonowanie przepływów
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Wybrane opinie
Przeczytaj pozytywne opinie pochodzące z ankiet satysfakcji z naszych szkoleń wypełnianych wyłącznie przez ich uczestników po realizacji usługi
