Szkolenie: Apache Spark z wykorzystaniem języka Scala
Szkolenie Apache Spark z językiem Scala to praktyczny kurs Big Data, który uczy analizy, przetwarzania i modelowania dużych zbiorów danych z wykorzystaniem Spark Core, Spark SQL, DataFrames, Dataset oraz Delta Lake w środowisku Scala
Trenerzy praktycy
Kameralne grupy
Czas trwania szkolenia:3 dni (24h)
Poziom zaawansowania:
Kod kursu:BIGDATA/SPARK
big-dataapache-sparkspark-scaladata-engineering
Dostępne terminy szkolenia
Termin
Trener
Cena
Lokalizacja
Zapis
Termin:
16 listopada - 18 listopada
Trwają zapisy na szkolenie
Dostępne w Bazie Usług Rozwojowych
online_payments
Trener:
Krzysztof Jankiewicz
Cena:
3100 PLN netto
Dowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Lokalizacja:
Zdalne
Zdalne
Zapytaj o inne lokalizacje - w tym celu skorzystaj z chatu
Szkolenie przygotowuje do samodzielnego projektowania i implementowania rozwiązań analitycznych opartych o Apache Spark z użyciem języka Scala
Szkolenie uczy wykorzystywania narzędzi Spark do przetwarzania, analizy i modelowania dużych zbiorów danych w trybie wsadowym i strumieniowym
Szkolenie pokazuje, jak efektywnie korzystać z RDD, DataFrames, Dataset oraz integracji z różnymi źródłami danych w środowisku Spark
Dla kogo?
Analitycy danych i programiści posiadający podstawową wiedzę z zakresu Big Data oraz relacyjnych baz danych
Specjaliści IT i deweloperzy chcący rozpocząć pracę z Apache Spark i językiem Scala w projektach analitycznych
Osoby z doświadczeniem w SQL i programowaniu obiektowym, zainteresowane przetwarzaniem dużych zbiorów danych
Efekty kształcenia
Uczestnik projektuje i wdraża procesy analityczne z użyciem Apache Spark i języka Scala
Uczestnik analizuje i przetwarza duże zbiory danych z wykorzystaniem RDD, DataFrames i Dataset
Uczestnik integruje różnorodne źródła danych w środowisku Spark
Uczestnik optymalizuje i monitoruje wydajność przetwarzania danych w Spark
Uczestnik stosuje praktyki czyszczenia i profilowania danych w Spark SQL
Uczestnik obsługuje zaawansowane funkcje przechowywania i modyfikacji danych z Delta Lake
Wymagania
Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych
Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala
Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi, zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop - wprowadzenie
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Terminologia - aplikacje, zadania, etapy, jednostki zadań
Jak to wszystko działa?
Struktura programu
Środowiska REPL - spark-shell
Dlaczego Scala?
Co dalej?
Wprowadzenie do RDD
Transformacje
Akcje
Agregacja i redukcja
RDD par klucz-wartość
Wprowadzenie do Spark SQL
DataFrames vs. Dataset
Wczytywanie danych, źródła danych
Schemat danych
Przetwarzanie danych
Wydajność Spark SQL
Dataset
Profilowanie danych
Czyszczenie danych
Podsumowanie: RDD, DataFrames, Dataset
Tabele zewnętrzne jako źródła danych
Tworzenie tabel zarządzalnych
Korzystanie z SQL
Usługa Thrift JDBC/ODBC Server
Dostęp za pomocą JDBC
Wprowadzenie
Zasilanie Delta Lake
Odczyt i zapis
Obsługa modyfikacji
Elementy zaawansowane
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Szkolenie poprowadzi jego autor Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
Wybrane opinie
Przeczytaj pozytywne opinie pochodzące z ankiet satysfakcji z naszych szkoleń wypełnianych wyłącznie przez ich uczestników po realizacji usługi
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Aleksandra Kamieniarz
Plusy: duży zakres materiału, pomocny i kompetentny prowadzący, dobrze przygotowane środowisko, brak problemów technicznych. Minusy: Za mało czasu na tak dużą ilość wiedzy, przez to tempo było tak szybkie, że ciężko było nadążyć. Spokojnie dałoby się to szkolenie zrobić w 4 dni. Brakowało trochę materiałów z teorii objaśniających bardziej ogólnie tematy, szybko wchodziliśmy w szczegóły.
10.12.2025
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Marcin Dalewski
Super przygotowany prowadzący, ciekawe zagadnienia, dużo przykładów warsztatowych
29.08.2024
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Aleksandra Płuciennik
Bardzo dobre materiały szkoleniowe, wiele przykładów praktycznych, interaktywna forma zajęć (jako rozmowa/dyskusja/praca wspólna) zamiast czystego dyktowania i pracy własnej - pomaga to zrozumieć trudne zagadnienia i opracować właściwe rozwiazania. Niewykładowa forma zajęć - opowiadanie o teorii owszem, ale nie na zasadzie suchych formułek lecz przedstawiania w wielu aspektach i porównania. Mozliwość popełniania błędów i naprawiania ich (w zadaniach do wykonania) - prowadzący chętnie pomaga w doprowadzeniu do stanu wspólnego zrozumienia i etapu pracy a przynajmniej by nie występowały błędy kompilacyjne. Jedyny minus to mało czasu : trzydniowe szkolenie wydaje się długie jednak material jest na tyle obszerny że ciężko zlapać go w tym tempie w lot bez wystarczających podstaw (wyższy próg wstępu). U mnie także wysycanie łącza internetowego lub/i pamięci komputera na dobrych kilka minut podczas niektórych kroków (pobieranie zasobów do zadań, zaciąganie i budowa repo, projektu) sprawiało że zoom przerywał do poziomu zupełnej niesłyszalności. Przez bardzo intensywną formułę szkolenia mało czasu na nadrobienie kroków w przypadku zgubienia sie, ale plus za możliwość wybrania udziału obserwującego jesli ktos wolał skupić się na czytaniu nie tracąc czasu na przepisywanie/przeklejanie/konfigurację własną. W tej ankiecie także pole odpowiedzi dla pytan otwartych nie powinno być jedną przewijaną w bok linią, tylko polem wieloliniowym bo nie widać co się pisało wczesniej i cos mogło zostać pominiete.
11.12.2025
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Bardzo dobrze poprowadzone szkolenie, ale trochę za dużo materiału na 3 dni.
11.12.2025
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Wiele ciekawych, z mojej perspektywy, tematów było poruszonych. Mam poczucie, że jest to dobry start do dalszego rozwoju w omawianych technologiach. Takie usystematyzowanie wiedzy na temat Sparka, szczegóły jak wszystko jest uruchamiane, pozwoliło lepiej zrozumieć temat, żeby nie działać po omacku przy tworzeniu różnego rodzaju projektów. Uważam też, że kolejność tematów była fajnie zorganizowana, bo część początkowych tematów przygotowywała nas na kolejne i pozwoliła zrozumieć dlaczego implementacja wygląda tak a nie inaczej. Przygotowane środowisko nie sprawiało większych problemów, a wysoki poziom przygotowanych notatek pozwalał w łatwy sposób działać sobie samemu i jednocześnie śledzić szkolenie.
10.12.2025
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Szkolenie bylo bardzo merytoryczne, lecz miejscowo trudno przyswajalne z racji szybkiego tempa i malej liczby przerw
29.08.2024
Uczestnik szkolenia “Apache Spark z wykorzystaniem języka Scala”
Dużo materiału, duży i wyczerpujący zakres szkolenia ale za mało czasu na ćwiczenia - ja nie nadążałem