Analiza danych z użyciem Apache Spark

LICZBA DNI: 2 (16h)

KOD KURSU: SPARK/ANA

Powiadom
o kolejnych terminach

# mining

# information-retrieval

Autor szkolenia:
Patryk Pilarski

O szkoleniu

DLA KOGO?

Osoby pracujące z danymi chcące pozyskać umiejętności pozwalające na analizę dużych zbiorów danych przy użyciu Apache Spark

WYMAGANIA

Podstawowa znajomość Pythona oraz SQLa

ZALETY

Wprowadzenie do świata analizy danych Big Data

Koncentracja na użytkowaniu Sparka nie przytłoczy mnogością szczegółów technicznych

Duży nacisk na część warsztatową i pisanie kodu pozwoli na szybkie wykorzystanie zdobytych umiejętności w praktyce

Wykorzystanie głównie Spark SQL pozwoli na intuicyjną pracę z dużymi zbiorami danych

Cele szkolenia

Zdobycie praktycznych umiejętności i wiedzy pozwalających na wykonywanie analiz dużych zbiorów danych z wykorzystaniem Apache Spark

Zapoznanie z problemami przetwarzania, czyszczenia oraz eksploracyjnej analizy danych, a także zagadnieniami pokrewnymi, jak chociażby wykorzystaniem algorytmów uczenia maszynowego na przygotowanym zbiorze

Program

  • Architektura
  • Moduły
  • Miejsce w ekosystemie Big Data
  • Jupyter
  • Przegląd możliwości i udogodnień
  • Spark Context i Spark Session
  • RDD
  • Akcje i transformacje
  • DataFrame
  • Źródła danych
  • Składnia Spark SQL
  • Statystyki zmiennych
  • Grupowanie i agregacja danych
  • Funkcje analityczne i okienne
  • Podstawy wizualizacji
  • Typy wykresów
  • Wizualizacja dużych zbiorów danych
  • Wektory gęste i rzadkie
  • Przekształcanie zbioru do postaci wektorowej
  • Przegląd dostępnych transformacji zmiennych
  • Przegląd dostępnych algorytmów uczenia maszynowego
    • modele klasyfikacyjne
    • modele regresyjne
    • algorytmy klastrowania
  • Przetwarzanie potokowe (pipeline)

POLITYKA COOKIES:

Korzystamy z plików cookies, by móc jak najlepiej dostosować stronę do Twoich potrzeb oraz wyświetlać Ci przydatne i adekwatnych dla Ciebie reklamy w serwisie i poza nim. Możesz kontrolować ustawienia ciasteczek w swoich ustawieniach swojej przeglądarki. Odwiedzając tę stronę, wyrażasz zgodę na wykorzystywanie przez nas plików cookies.