Strumieniowe przetwarzanie Big Data

LICZBA DNI: 2 (16h)

KOD KURSU: BIGDATA/STR

Powiadom
o kolejnych terminach

# spark-sql

# spark-streaming

# mlib

Szkolenie na zamówienie

Szkolenie dostosowane do potrzeb Twojego zespołu. Dostępne wyłącznie na zamówienie.

  • Dostosowany program
  • Indywidualna wycena
  • Dowolny termin

O szkoleniu

DLA KOGO?

Szkolenie jest przeznaczone głównie dla programistów i analityków danych, którzy chcą się zapoznać z podstawami przetwarzania Big Data, bardzo dużych zbiorów danych, w czasie (niemal) rzeczywistym z użyciem narzędzi z rodziny Apache Storm i Spark

Szkolenie stanowi zarówno dobrą podstawę dla osób pragnących zacząć pracę ze strumieniowym przetwarzaniem Big Data, jak i osób z uprzednim doświadczeniem w tego typu systemach, np. rodziny Apache Hadoop, pragnących nauczyć się nowej technologii

WYMAGANIA

Podstawowa umiejętność programowania w Javie (zakres szkolenia: J/JP), Scali (zakres szkolenia: J/SCL) lub Pythonie (zakres szkolenia: PT/PP); preferowanym językiem szkolenia jest Java

Przydatne umiejętności: znajomość zagadnień związanych z przetwarzaniem danych, programowanie funkcjonalne, przetwarzanie rozproszone, systemy *nix

ZALETY

Szkolenie jest prowadzone przez osoby na co dzień pracujące z problemami Big Data i mającymi praktyczne doświadczenie w tej dziedzinie

Z tego powodu szkolenie często wykracza poza dostępne choć często rozproszone materiały

Ponadto, program jest ciągle uaktualniany ze względu na szybki rozwój rozwiązań, których dotyczy szkolenie.

Cele szkolenia

Zapoznanie z nowym problemem jakim jest analiza w czasie (niemal) rzeczywistym bardzo dużych zbiorów danych (Big Data) z różnych źródeł

Przedstawiony zostanie podstawowy zbór problemów strumieniowego przetwarzania Big Data i ich rozwiązania z pomocą narzędzi rodziny Apache Storm i Spark

Zalety i wady przedstawionych technologii w podejściu do rozwiązania ich problemów biznesowych

Zapoznanie z szybko zmieniającą się dziedziną jaką jest Big Data i nowym podejściem do rozwiązywania problemów z użyciem Apache Storm i Spark

Program

  • Definicja
  • Czym jest Big Data?
  • Geneza i historia Big Data
  • Strony w projektach Big Data
  • Problemy Big Data
  • Typy przetwarzania Big Data
    • Wsadowe
    • Strumieniowe
  • Kiedy Hadoop nie wystarcza
  • Przetwarzanie danych (niemal) w czasie rzeczywistym
    • Definicja
    • Zalety i wady
    • Przykłady
  • Typy gwarancji dostarczenia wiadomości
    • Najwyżej raz (at-most-once)
    • Przynajmniej raz (at-least-once)
    • Dokładnie raz (exactly-once)
  • Wstęp
  • Historia
  • Architektura
  • Warianty uruchomienia
    • Własny klaster
    • Apache Mesos
    • Apache YARN
  • Administracja
  • Zasada działania
    • Topologie
    • Strumienie
      • Spouts
      • Bolts
    • Model danych
    • Grupowanie strumieni
    • Mieszanie języków programowania
    • Gwarancja przetwarzania wiadomości
  • Uruchamianie i testowanie
  • Serwer RPC
  • Kolejki wejściowe
    • Kestrel
    • Apache Kafka
  • Trident
    • Zasada działania
    • Model danych
    • Stan
    • Uruchomienie i testowanie
  • Wstęp
  • Historia
  • Rozproszone kolekcje obiektów Resilient Distributed Datasets (RDDs)
  • Przetwarzanie w pamięci a z dysku
  • Architektura
  • Warianty uruchomienia klastra
    • Własny klaster Spark
    • Apache Mesos
    • Apache YARN
  • Administracja
  • Spark Core
    • Wstęp
    • Java vs Scala vs Python
    • Łączenie z klastrem
    • Rozproszone dane
    • Operacje RDD
      • Transformacje
      • Akcje
    • Współdzielone zmienne
    • Uruchomienie i testowanie
  • Spark Streaming
    • Wstęp
    • Zasada działania
    • Strumienie
      • Wejście
      • Transformacja
      • Wyjście
    • Uruchomienie i testowanie
  • Apache Flume
  • Amazon Kinesis
  • Akka
  • Apache Samza

POLITYKA COOKIES:

Korzystamy z plików cookies, by móc jak najlepiej dostosować stronę do Twoich potrzeb oraz wyświetlać Ci przydatne i adekwatnych dla Ciebie reklamy w serwisie i poza nim. Możesz kontrolować ustawienia ciasteczek w swoich ustawieniach swojej przeglądarki. Odwiedzając tę stronę, wyrażasz zgodę na wykorzystywanie przez nas plików cookies.