Apache Spark z wykorzystaniem języka Scala
Praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big Data
2550 PLN+23% VAT (3136 PLN brutto / 1 os.)Czas trwania szkolenia:3 dni (24h)
Kod kursu:BIGDATA/SPARK
Dostępne terminy
Termin:
Trener:
Cena:
2550 PLN netto
Lokalizacja:
ZdalneTermin:
Trener:
Cena:
2550 PLN nettoLokalizacja:
ZdalneApache Spark z wykorzystaniem języka Scala
Cele szkolenia
Zapoznanie z platformą Spark oraz jej API w języku Scala
Pokazanie metod analizy dużej ilości danych
Dla kogo?
Analitycy i programiści, którzy znają podstawy Big Data i chcą rozpocząć przygodę z wykorzystaniem platformy Spark oraz językiem Scala
Zalety
Kompleksowe wprowadzenie do platformy Spark
Przedstawienie praktycznych przykładów oraz praktyk związanych z analizą dużej ilości danych
Apache Spark to narzędzie uniwersalne, za pomocą którego można przetwarzać nie tylko dane wsadowe, ale także takie, które mają postać strumieni. Osoby zainteresowane pogłębieniem tematu zapraszamy na kurs Przetwarzanie strumieni danych w Apache Spark
Wymagania
Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala
Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi
Zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop - wprowadzenie (BIGDATA/BASE)
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program
Podstawy języka Scala
Zmienne, kontrola statyczna i wnioskowanie typów
Instrukcje sterujące
Skala jako język obiektowy
Skala jako język funkcyjny
Złożone typy danych
Zagadnienia uzupełniające
Wprowadzenie do Apache Spark
Historia
Architektura
Typy konfiguracji
Terminologia - aplikacje, zadania, etapy, jednostki zadań
Jak to wszystko działa?
Struktura programu
Środowiska REPL - spark-shell
Dlaczego Scala?
Co dalej?
RDD API
Wprowadzenie do RDD
Transformacje
Akcje
Agregacja i redukcja
RDD par klucz-wartość
Spark SQL - DataFrames API
Wprowadzenie do Spark SQL
DataFrames vs. Dataset
Wczytywanie danych, źródła danych
Schemat danych
Przetwarzanie danych
Spark SQL - Dataset API
Wydajność Spark SQL
Dataset
Profilowanie danych
Czyszczenie danych
Podsumowanie: RDD, DataFrames, Dataset
Spark SQL - SQL API
Tabele zewnętrzne jako źródła danych
Tworzenie tabel zarządzalnych
Korzystanie z SQL
Usługa Thrift JDBC/ODBC Server
Dostęp za pomocą JDBC
Biblioteka Delta Lake
Wprowadzenie
Zasilanie Delta Lake
Odczyt i zapis
Obsługa modyfikacji
Elementy zaawansowane
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
