Szkolenie: Apache Spark z wykorzystaniem języka Scala
Szkolenie Apache Spark z językiem Scala to praktyczny kurs Big Data, który uczy analizy, przetwarzania i modelowania dużych zbiorów danych z wykorzystaniem Spark Core, Spark SQL, DataFrames, Dataset oraz Delta Lake w środowisku Scala
Trenerzy praktycy
Kameralne grupy
Czas trwania szkolenia:3 dni (24h)
Poziom zaawansowania:
Kod kursu:BIGDATA/SPARK
big-dataapache-sparkspark-scaladata-engineering
Dostępne terminy szkolenia
Termin
Trener
Cena
Lokalizacja
Zapis
Termin:
8 czerwca - 10 czerwca
Trwają zapisy na szkolenie
Trener:
Krzysztof Jankiewicz
Cena:
3100 PLN netto
Dowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Lokalizacja:
Zdalne
Zdalne
Zapytaj o inne lokalizacje - w tym celu skorzystaj z chatu
Szkolenie przygotowuje do samodzielnego projektowania i implementowania rozwiązań analitycznych opartych o Apache Spark z u życiem języka Scala
Szkolenie uczy wykorzystywania narzędzi Spark do przetwarzania, analizy i modelowania dużych zbiorów danych w trybie wsadowym i strumieniowym
Szkolenie pokazuje, jak efektywnie korzystać z RDD, DataFrames, Dataset oraz integracji z różnymi źródłami danych w środowisku Spark
Dla kogo?
Analitycy danych i programiści posiadający podstawową wiedzę z zakresu Big Data oraz relacyjnych baz danych
Specjaliści IT i deweloperzy chcący rozpocząć pracę z Apache Spark i językiem Scala w projektach analitycznych
Osoby z doświadczeniem w SQL i programowaniu obiektowym, zainteresowane przetwarzaniem dużych zbiorów danych
Efekty kształcenia
Uczestnik projektuje i wdraża procesy analityczne z użyciem Apache Spark i języka Scala
Uczestnik analizuje i przetwarza duże zbiory danych z wykorzystaniem RDD, DataFrames i Dataset
Uczestnik integruje różnorodne źródła danych w środowisku Spark
Uczestnik optymalizuje i monitoruje wydajność przetwarzania danych w Spark
Uczestnik stosuje praktyki czyszczenia i profilowania danych w Spark SQL
Uczestnik obsługuje zaawansowane funkcje przechowywania i modyfikacji danych z Delta Lake
Wymagania
Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala
Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi, zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop - wprowadzenie
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Terminologia - aplikacje, zadania, etapy, jednostki zadań
Jak to wszystko działa?
Struktura programu
Środowiska REPL - spark-shell
Dlaczego Scala?
Co dalej?
Wprowadzenie do RDD
Transformacje
Akcje
Agregacja i redukcja
RDD par klucz-wartość
Wprowadzenie do Spark SQL
DataFrames vs. Dataset
Wczytywanie danych, źródła danych
Schemat danych
Przetwarzanie danych
Wydajność Spark SQL
Dataset
Profilowanie danych
Czyszczenie danych
Podsumowanie: RDD, DataFrames, Dataset
Tabele zewnętrzne jako źródła danych
Tworzenie tabel zarządzalnych
Korzystanie z SQL
Usługa Thrift JDBC/ODBC Server
Dostęp za pomocą JDBC
Wprowadzenie
Zasilanie Delta Lake
Odczyt i zapis
Obsługa modyfikacji
Elementy zaawansowane
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Szkolenie poprowadzi jego autor Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Wybrane opinie
Przeczytaj pozytywne opinie pochodzące z ankiet satysfakcji z naszych szkoleń wypełnianych wyłącznie przez ich uczestników po realizacji usługi
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Aleksandra Kamieniarz
Plusy: duży zakres materiału, pomocny i kompetentny prowadzący, dobrze przygotowane środowisko, brak problemów technicznych. Minusy: Za mało czasu na tak dużą ilość wiedzy, przez to tempo było tak szybkie, że ciężko było nadążyć. Spokojnie dałoby się to szkolenie zrobić w 4 dni. Brakowało trochę materiałów z teorii objaśniających bardziej ogólnie tematy, szybko wchodziliśmy w szczegóły.
10.12.2025
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Marcin Dalewski
Super przygotowany prowadzący, ciekawe zagadnienia, dużo przykładów warsztatowych
29.08.2024
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Aleksandra Płuciennik
Bardzo dobre materiały szkoleniowe, wiele przykładów praktycznych, interaktywna forma zajęć (jako rozmowa/dyskusja/praca wspólna) zamiast czystego dyktowania i pracy własnej - pomaga to zrozumieć trudne zagadnienia i opracować właściwe rozwiazania. Niewykładowa forma zajęć - opowiadanie o teorii owszem, ale nie na zasadzie suchych formułek lecz przedstawiania w wielu aspektach i porównania. Mozliwość popełniania błędów i naprawiania ich (w zadaniach do wykonania) - prowadzący chętnie pomaga w doprowadzeniu do stanu wspólnego zrozumienia i etapu pracy a przynajmniej by nie występowały błędy kompilacyjne. Jedyny minus to mało czasu : trzydniowe szkolenie wydaje się długie jednak material jest na tyle obszerny że ciężko zlapać go w tym tempie w lot bez wystarczających podstaw (wyższy próg wstępu). U mnie także wysycanie łącza internetowego lub/i pamięci komputera na dobrych kilka minut podczas niektórych kroków (pobieranie zasobów do zadań, zaciąganie i budowa repo, projektu) sprawiało że zoom przerywał do poziomu zupełnej niesłyszalności. Przez bardzo intensywną formułę szkolenia mało czasu na nadrobienie kroków w przypadku zgubienia sie, ale plus za możliwość wybrania udziału obserwującego jesli ktos wolał skupić się na czytaniu nie tracąc czasu na przepisywanie/przeklejanie/konfigurację własną. W tej ankiecie także pole odpowiedzi dla pytan otwartych nie powinno być jedną przewijaną w bok linią, tylko polem wieloliniowym bo nie widać co się pisało wczesniej i cos mogło zostać pominiete.
7.12.2023
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Prowadzący przekazał bardzo dużą ilość wiedzy, wyczerpująco odpowiadał na pytania uczestników i pomagał w razie potrzeby.
6.12.2023
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Podobało mi się praktyczne podejście, przygotowane materiały i notatniki(Jupyterowe), oraz bardzo szybko konfigurowalne środowisko. Dawało te elastyczność - jeśli chcesz to pisz sam każdy kod i testuj, jeśli nie chcesz to można być w charakterze widza i i tak wrócić później do kodowania.
6.12.2023
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Uprzejmy, zaangażowany prowadzący, dobre pomoce wizualne i przygotowane zestawy zadań. Trochę za dużo różnorodnego materiału jak na 3 dni szkolenia.
6.12.2023
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
omowienie najwazniejszych tematow z apache spark, obszerne przyklady w praktyce