Trwają zapisy do grupy
Apache Spark z wykorzystaniem języka Python
Praktyczne przetwarzanie Big Data przy pomocy Apache Spark w języku Python
2150 PLN+23% VAT (2644 PLN brutto / 1 os.)Czas trwania szkolenia:2 dni (16h)
Poziom zaawansowania:
Kod kursu:BIGDATA/PYSPARK
Dostępne terminy
Termin:
Trener:
Krzysztof Jankiewicz
Cena:
2150 PLN netto
Lokalizacja:
ZdalneTermin:
Trener:
Krzysztof Jankiewicz
Cena:
2150 PLN nettoLokalizacja:
ZdalneTermin:
Trener:
Krzysztof Jankiewicz
Cena:
2150 PLN nettoLokalizacja:
ZdalneApache Spark z wykorzystaniem języka Python
Cele szkolenia
- Zapoznanie z API Apache Spark oferowanym przez bibliotekę pyspark
- Poznanie metod przetwarzania dużych wolumenów danych
Dla kogo?
- Analitycy i programiści zaznajomieni z językiem Python, chcący poznać jedno z najpopularniejszych narzędzi do przetwarzania danych
Zalety
- Kompleksowe wprowadzenie do pracy z Apache Spark
- Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań
- Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
- Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how
Wymagania
- Podstawowa znajomość języka Python i SQL
W cenie otrzymasz:
- Materiały szkoleniowe
- Certyfikat ukończenia szkolenia
- W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program
Wprowadzenie do Apache Spark
- Historia
- Moduły
- Architektura
- Struktura programu
- spark-submit
- Najważniejsze ustawienia
- Miejsce w ekosystemie Big Data
Spark Core (RDD API)
- Wprowadzenie
- Cechy
- Typy
- Akcje
- Transformacje
Spark SQL (DataFrame API)
- DataFrame
- Wydajność
- Źródła danych
- Schemat danych
- Składnia Spark SQL
- Agregacja danych
- Funkcje analityczne
- UDF
- Testy jednostkowe
SQL API
- Tabele zewnętrzne jako źródła danych
- Tworzenie tabel zarządzalnych
- Korzystanie z SQL
- Usługa Thrift JDBC/ODBC Server
- Dostęp za pomocą JDBC
Spark WebUI
- Zakładki podstawowe: Jobs, Stages, Storage, Environment, Executors
- Zakładki dodatkowe (kontekstowe): SQL/DataFrame
Spark ML
- Wektory
- Transformery
- Estymatory
- Potoki
- Algorytmy uczenia maszynowego
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
