Wprowadzenie do technologii Big Data

LICZBA DNI: 1 (8h)

KOD KURSU: BIGDATA/F

Powiadom
o kolejnych terminach

# hive

# pig

# map-reduce

# hbase

O szkoleniu

DLA KOGO?

Szkolenie jest adresowane do analityków i programistów, którzy chcą zrobić swój pierwszy krok w kierunku poznania technologii Big Data - technologii, gdzie wolumen przetwarzanych danych ma najwyższy priorytet i przekracza możliwości tradycyjnej architektury i systemów takich jak relacyjne bazy danych czy nawet hurtownie danych

WYMAGANIA

Od uczestników szkolenia wymagana jest podstawowa wiedza z SQL, bash’a, Python (lub innego języka skryptowego), Java

ZALETY

Program oferuje szybki przegląd podstawowych technologii z ekosystemu Apache Hadoop

Oprócz prezentacji dla uczestników jest przygotowany warsztat, gdzie w praktyce będą mieli okazje samodzielnie eksplorować zbiory danych

Cele szkolenia

Zdobycie podstawowej wiedzy dotyczącej problemów skali Big Data

Zrozumienie algorytmu MapReduce

Poznanie BigTable, baz NoSQL na przykładzie HBase oraz rozproszonych systemów plikowych HDFS

Poznanie narzędzi analitycznych Pig i Hive

Zdobycie wiedzy na temat zalet i wad danych technologii

Poznanie kiedy użyć danej technologii

Program

  • Definicja
  • BI, Big Data a Hurtownie danych
  • Geneza i historia, BigTable, MapReduce, GFS
  • Klasyfikacja problemu
  • Pojęcia real time, batch w kontekście procesowania danych
  • Przechowywanie danych - pliki, bazy danych NoSQL
  • Przegląd systemów i platform Big Data
  • Przegląd ekosystemu Hadoop
  • Dystrybucje Big Data
  • Architektura
  • HDFS and YARN
  • Map Reduce Framework
  • Map Reduce Streaming
  • Warsztat
    • HDFS
    • Map Reduce
  • Architektura
  • Tryby pracy
  • Typy danych, słowa kluczowe
  • Składnia
  • Warsztat Pig
  • Architektura
  • Tryby pracy
  • Typy danych
  • Składnia
  • Formaty danych
  • Porównanie z Pig
  • Warsztat Hive
  • Czym jest NoSQL, NoSQL vs bazy relacyjne
  • Przegląd baz nierelacyjnych, CAP theorem
  • Projektowanie baz nierelacyjnych
  • Architektura HBase
  • Model danych
  • Wykorzystanie
  • CLI
  • Zapis, odczyt danych
  • Warsztat HBase
  • CLI
  • Przegląd Apache Ambari

POLITYKA COOKIES:

Korzystamy z plików cookies, by móc jak najlepiej dostosować stronę do Twoich potrzeb oraz wyświetlać Ci przydatne i adekwatnych dla Ciebie reklamy w serwisie i poza nim. Możesz kontrolować ustawienia ciasteczek w swoich ustawieniach swojej przeglądarki. Odwiedzając tę stronę, wyrażasz zgodę na wykorzystywanie przez nas plików cookies.