Techniczne aspekty budowania wydajnych procesów ładowania hurtowni danych z wykorzystaniem Pentaho Data Integration
Czas trwania szkolenia:3 dni (24h)
Kod kursu:PENTAHO/ETL
Poziom zaawansowania:
O szkoleniu Techniczne aspekty budowania wydajnych procesów ładowania hurtowni danych z wykorzystaniem Pentaho Data Integration
W cenie otrzymasz:
- Materiały szkoleniowe
- Certyfikat ukończenia szkolenia
- W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Dla kogo?
- Szkolenie jest adresowane do programistów, architektów oraz administratorów aplikacji, którzy chcą tworzyć lub utrzymywać procesy ekstrakcji, transformacji i ładowania danych (ETL) z wykorzystaniem Pentaho Data Integration (PDI)
- Szkolenie jest także kierowane do osób, które chcą uzupełnić swoją wiedzę o pojęcia związane z hurtowaniami danych (DWH) oraz ich realizacją z wykorzystaniem oprogramowania Pentaho Business Intelligence Suite
- Program jest ciągle uaktualniany ze względu na szybki rozwój rozwiązań, których dotyczy szkolenie
Wymagania
- Podstawowa znajomość baz danych
- Podstawowa umiejętność programowania w języku Java
Zalety
- Program obejmuje zarówno ogólne wprowadzenie w tematykę ETL i DWH, jak i całościowe przedstawienie stosu produktowego Pentaho Data Integration
- Szkolenie jest unikalne, gdyż tematyka poruszana w jego trakcie nie jest wyczerpująco ujęta w dostępnej literaturze, a wiedza na ten temat jest mocno rozproszona
- Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań
- Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
- Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how
Cele szkolenia
- Zdobycie przekrojowej wiedzy dotyczącej projektowania, implementowania, monitorowania, uruchamiania, strojenia procesów ETL
- Poznanie założeń hurtowni danych tj najpopularniejsze schematy relacyjnych hurtowni danych
- Zdobycie umiejętności wybierania właściwego zestawu narzędzi i technik dla swoich projektów
- Skupienie na stosie produktowym wybudowanym wokół Pentaho Business Intelligence a w szczególności na Pentaho Data Integration (PDI), poza ogólnym wprowadzeniem do pojęć teoretycznych
Program
Wstęp
- Wprowadzenie do hurtowni danych
- Platforma Pentaho BI Suite
ETL
- Ekstrakcja danych
- Transformacja, oczyszczenie i uzupełnianie danych
- Ładowanie
- Wyznaczniki i ocena jakości danych
- Staging
- Hurtownie czasu rzeczywistego
- Kwestie wydajnościowe w kontekście procesów ETL
- Przegląd narzędzi ETL dostępnych na rynku
Pentaho Data Integration
- Architektura
Praca ze Spoon
- Instalacja, uruchomienie, Look & Feel (perspektywy, zakładki etc.)
- Zmienne
- Hopy
- Praca z repozytorium i plikami XML
- Współdzielenie obiektów tj. połączenia z bazami danych, partycje, klastry
Praca ze Spoon i z transformacjami
- Czytanie i zapisywanie danych z różnych źródeł danych
- Walidacja danych
- Uzupełnianie danych
- Transformacja danych
- Optymalizacja
- Wykorzystanie własnego kodu w transformatach
- Utlilities
- Monitorowanie wydajności i analiza logów
- Wersjonowanie i praca grupowa
Praca ze Spoon i z zadaniami
- Zadania (kjb) a transformaty (ktr)
- Tworzenie złożonych zadań
- Wykorzystanie własnego kodu w zadaniach
- Przepływ pracy
- Praca z plikami
- Monitorowanie wydajności i analiza logów
- Wersjonowanie i praca grupowa
Praca z Kitchen i Pan
- Uruchamianie zadań i transformat z plików i z repozytorium
- Scheduling
- Obsługa błędów
- Przekierowanie wejścia/wyjścia
Praca z Cartle
- Zdalne uruchomienie transformat i zadań
