+48 22 203 56 00 biuro@sages.pl
Trwają zapisy do grupy

Apache Spark z wykorzystaniem języka Python

Praktyczne przetwarzanie Big Data przy pomocy Apache Spark w języku Python

2150 PLN+23% VAT (2644 PLN brutto / 1 os.)

Czas trwania szkolenia:2 dni (16h)

Poziom zaawansowania:

Kod kursu:BIGDATA/PYSPARK

mlibsparkspark-sql

Dostępne terminy

  • Termin
  • Trener
  • Cena
  • Zapis
  • Lokalizacja

Termin:

16 września
Termin gwarantowanyTrwają zapisy na szkolenie

Trener:

Krzysztof Jankiewicz

Cena:

2150 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Termin:

18 listopada
Trwają zapisy na szkolenie

Trener:

Krzysztof Jankiewicz

Cena:

2150 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Forma szkolenia

Interesuje Cię szkolenie stacjonarne?

Zapytaj o szkolenie

Dostępne terminy

Interesują Cię inne terminy?

Apache Spark z wykorzystaniem języka Python

Cele szkolenia

  • Zapoznanie z API Apache Spark oferowanym przez bibliotekę pyspark

  • Poznanie metod przetwarzania dużych wolumenów danych

Dla kogo?

  • Analitycy i programiści zaznajomieni z językiem Python, chcący poznać jedno z najpopularniejszych narzędzi do przetwarzania danych

Zalety

  • Kompleksowe wprowadzenie do pracy z Apache Spark

  • Apache Spark to narzędzie uniwersalne, za pomocą którego można przetwarzać nie tylko dane wsadowe, ale także takie, które mają postać strumieni. Osoby zainteresowane pogłębieniem tematu zapraszamy na kurs "Przetwarzanie strumieni danych w Apache Spark"

Wymagania

  • Podstawowa znajomość języka Python i SQL

W cenie otrzymasz:

  • Materiały szkoleniowe

  • Certyfikat ukończenia szkolenia

  • W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki

Program

Pobierz program w PDF

Wprowadzenie do Apache Spark

  • Historia

  • Moduły

  • Architektura

  • Struktura programu

  • spark-submit

  • Najważniejsze ustawienia

  • Miejsce w ekosystemie Big Data

Spark Core (RDD API)

  • Wprowadzenie

  • Cechy

  • Typy

  • Akcje

  • Transformacje

Spark SQL (DataFrame API)

  • DataFrame

  • Wydajność

  • Źródła danych

  • Schemat danych

  • Składnia Spark SQL

  • Agregacja danych

  • Funkcje analityczne

  • UDF

  • Testy jednostkowe

SQL API

  • Tabele zewnętrzne jako źródła danych

  • Tworzenie tabel zarządzalnych

  • Korzystanie z SQL

  • Usługa Thrift JDBC/ODBC Server

  • Dostęp za pomocą JDBC

Spark WebUI

  • Zakładki podstawowe: Jobs, Stages, Storage, Environment, Executors

  • Zakładki dodatkowe (kontekstowe): SQL/DataFrame

Spark ML

  • Wektory

  • Transformery

  • Estymatory

  • Potoki

  • Algorytmy uczenia maszynowego

Autorem szkolenia jest Krzysztof Jankiewicz

Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…

Podobne szkolenia

Przetwarzanie strumieni danych w Apache Spark

Liczba dni: 1
1300 PLN

Szkolenie "Przetwarzanie strumieni danych w Apache Spark" pozwala nie tylko poznać mechanizmy przetwarzania strumieni danych w Apache Spark, ale także usystematyzować i uporządkować wiedzę na temat przetwarzania strumieni oraz szczegółowo przyjrzeć się możliwościom i ograniczeniom, z jakimi mamy do czynienia w ramach tej platformy.

pythonscalaspark

Projektowanie platformy Big Data z użyciem narzędzi z rodziny Apache

Liczba dni: 3
2550 PLN

Szkolenie obejmujące podstawy projektowania i tworzenia platform Big Data przy pomocy narzędzi Apache (Kafka, Spark, NiFi, Druid, Airflow)

javascalabig-dataspark

Przetwarzanie strumieni danych w środowiskach Big Data

Liczba dni: 3
2550 PLN

Przetwarzanie strumieni danych (stream data processing) z roku na rok zyskuje na znaczeniu w szczególności w przypadku rozwiązań Big Data. Jest wymagane w wielu uznanych architekturach, oferuje możliwości, które nie sposób osiągnąć przy tradycyjnym/wsadowym przetwarzaniu danych. Kurs wprowadza uczestników w świat mechanizmów przetwarzania strumieni danych oraz najważniejszych narzędzi Big Data, które taki typ przetwarzania udostępniają. Zakres szkolenia obejmuje: podstawy platformy Kafka jako brokera wiadomości, Spark Streaming, Spark Structured Streaming, Kafka Streaming, a także wprowadzenie platformy Flink. Innymi słowy, szkolenie zawiera wprowadzenie do przetwarzania strumieni danych w środowiskach Big Data oraz przegląd najważniejszych rozwiązań począwszy od najprostszych, aż po najbardziej skomplikowane.

scalaspark