Technologie Big Data w chmurze AWS

LICZBA DNI: 3 (24h)

KOD KURSU: BIGDATA/AWS

Powiadom
o kolejnych terminach

# aws

# big data

# cloud

Autor szkolenia:
Bernard Orzechowski

Szkolenie na zamówienie

Szkolenie dostosowane do potrzeb Twojego zespołu. Dostępne wyłącznie na zamówienie.

  • Dostosowany program
  • Indywidualna wycena
  • Dowolny termin

O szkoleniu

DLA KOGO?

Szkolenie adresowane jest do architektów, analityków i inżynierów danych pragnących poznać serwisy AWS do przetwarzania danych, zarówno w trybie batch jak i w czasie rzeczywistym.

WYMAGANIA

Od uczestników wymagana jest znajomość min. jednej z technologii Big Data w wersji on-premise (np. Hadoop, Kafka, MongoDB) oraz podstawowa znajomość chmury AWS. Szkolenie rozpocznie się od omówienia podstawowcyh usług AWS (S3, EC2, VPC, IAM, ...), po czym omówione zostaną wszystkie istotne serwisy analityczne.

ZALETY

Wykłady oraz przeprowadzone ćwiczenia systematyzują wiedzę oraz właściwe przypadki użycia konkretnych serwisów analitycznych

Wiedza wyniesiona ze szkolenia pozwala tworzyć systemy analityczne całościowo, z uwzględnieniem zagadnień bezpieczeństwa, wydajności, skalowalności oraz oceny kosztów rozwiązań

Szkolenie pozwala zrozumieć istotne róźnice podczas projektowania rozwiązań analitycznych / big data w chmurze w stosunku do rozwiązań on-premise

Cele szkolenia

zapoznanie uczestników z koncepcją Data Lake w chmurze AWS

zapoznanie z serwisami do migracji oraz integracji danych do chmury AWS w trybie batch oraz real time

zapoznanie z serwisami do przetwarzania danych w chmurze AWS w trybie batch oraz real time

zapoznanie z serwisami do przechowywania danych w chmurze AWS (data lake storage, sql stores, no-sql stores)

zapoznanie z aspektami bezpieczeństwa usług analitycznych

Program

  • Compute (EC2, Lambda, on demand vs spot instances)
  • Storage (S3, EBS, EFS, Glacier)
  • Networking (VPC, IGW, NGW, sieci publiczne i prywatne, security groups, acls, service endpoints)
  • Monitoring (Cloudwatch, Cloudtrail)
  • Infrastruktura AWS (m.in. regiony, strefy dostępności, direct connect, ....)
  • Praca z AWS (CLI, SDK, REST API, IDE)
  • Security (IAM)
  • Infrastructure Provisioning (CloudFormation, Terraform)
  • Data Lake vs Data Warehouse vs Data Platform
  • Rola poszczególnych serwisów w koncepcji Data Lake w chmurze AWS
  • Migracja danych relacyjnych za pomocą serwisu AWS Database Migration Service (DMS)
  • Migracja danych nierelacyjnych za pomocą serwisu AWS Batch
  • Streaming danych za pomocą serwisu AWS Kinesis Data Streams
  • Integracja serwisów AWS przy wykorzystaniu AWS Lambda
  • Serverless Computing w rozwiązaniach analitycznych
  • Orkiestracja (orchestration) oraz planowanie (scheduling) procesów przetwarzania danych za pomocą AWS Step Functions
  • Przetwarzanie Big Data za pomocą serwisu AWS Elastic Map Reduce (EMR)
  • Przetwarzanie Serverless ETL przy użyciu serwisu AWS Glue ETL
  • Przechowywanie metadanych Data Lake z wykorzystaniem serwisu AWS Glue Data Catalog
  • Kolejki i notyfikacje - serwisy AWS SQS oraz AWS SNS
  • Analityka w czasie rzeczywistym przy użyciu AWS Kinesis Data Analytics
  • Integracja danych real time z innymi serwisami przy użyciu serwisu AWS Kinesis Data Firehose
  • Data Lake Storage - S3
  • AWS Athena - Serwis serverless do zapytań SQL
  • AWS DynamoDB - baza no-sql
  • AWS Elasticsearch - wyszukiwanie, wizualizacje oraz analizy danych w czasie rzeczywistym
  • Hurtownia danych - AWS Redshift - przetwarzanie danych oraz integracja z AWS Data Lake (Redshift Spectrum)

POLITYKA COOKIES:

Korzystamy z plików cookies, by móc jak najlepiej dostosować stronę do Twoich potrzeb oraz wyświetlać Ci przydatne i adekwatnych dla Ciebie reklamy w serwisie i poza nim. Możesz kontrolować ustawienia ciasteczek w swoich ustawieniach swojej przeglądarki. Odwiedzając tę stronę, wyrażasz zgodę na wykorzystywanie przez nas plików cookies.