Szkolenie: Observability w praktyce - Prometheus, Grafana, OpenTelemetry

Metryki, logi i ślady rozproszone — czym się różnią i kiedy używać każdego z sygnałów

Monitoring a obserwowalność — od monitorowania komponentów do analizy zachowania całego systemu

Cztery złote sygnały Google — opóźnienie, ruch, błędy i nasycenie jako punkt wyjścia do diagnostyki

Metoda RED (Rate, Errors, Duration) i metoda USE (Utilization, Saturation, Errors)

Obserwowalność w systemach rozproszonych i podejście do analizy incydentów

Korelacja metryk, logów i śladów jako podstawa nowoczesnego troubleshooting

Koszt obserwowalności — wolumen danych, retencja, sampling i kardynalność

OpenTelemetry jako otwarty i niezależny od dostawcy standard telemetryczny

Modele danych OpenTelemetry — Trace, Metric i Log oraz wspólne atrybuty Resource i Scope

OTLP jako standard komunikacji pomiędzy aplikacjami, Collectorem i backendami telemetrycznymi

Propagacja kontekstu w systemach rozproszonych — W3C Trace Context, Trace ID, Span ID i Baggage

Konwencje semantyczne OpenTelemetry i znaczenie spójnego nazewnictwa atrybutów

OpenTelemetry Collector — receivers, processors, exporters i pipelines

Wzorce wdrożeniowe Collectora — agent, sidecar i gateway oraz ich zastosowania

Filtrowanie, wzbogacanie i modyfikowanie telemetryki na poziomie Collectora

Redaction danych wrażliwych i kontrolowanie danych opuszczających aplikację

Zero-code instrumentation jako sposób obserwacji aplikacji bez zmian w jej kodzie

Automatyczna instrumentacja aplikacji Java przy użyciu OpenTelemetry Java Agent

Automatyczne zbieranie informacji o HTTP, połączeniach między usługami, JDBC i JVM

Konfiguracja instrumentacji za pomocą zmiennych środowiskowych OpenTelemetry

Granice automatycznej instrumentacji i przypadki wymagające instrumentacji ręcznej

eBPF jako mechanizm obserwacji aplikacji z poziomu systemu Linux

Grafana Beyla i OpenTelemetry eBPF Instrumentation

Java Agent a eBPF — różnice w poziomie widoczności, sposobie działania i zastosowaniu

Dobór odpowiedniej strategii instrumentacji do charakteru aplikacji i środowiska

Architektura Prometheusa — model pull, scrape, targets, scrape interval i TSDB

Model danych Prometheusa — szeregi czasowe, metryki i etykiety

Typy metryk — Counter, Gauge, Histogram i Summary oraz przypadki ich zastosowania

PromQL — selektory, filtrowanie po etykietach, operatory i wyrażenia regularne

Instant Vector i Range Vector oraz wpływ zakresu czasu na wynik zapytania

rate() i increase() — analiza liczników i zmian w czasie

Agregacje i grupowanie danych — sum, avg, count, by, without, topk

Histogramy, buckety, _sum, _count i label le

Percentyle p50, p90, p95 i p99 oraz wykorzystanie histogram_quantile()

Recording Rules jako sposób optymalizacji często wykonywanych zapytań

Pułapka wysokiej kardynalności — identyfikacja i ograniczanie kosztownych etykiet

Relabeling jako mechanizm kontrolowania liczby i jakości przechowywanych serii

Przegląd skalowania Prometheusa — remote write, Mimir, Thanos, Cortex i federacja

Logi w systemach rozproszonych — struktura, wolumen i możliwości korelacji

Grafana Loki jako backend do przechowywania i wyszukiwania logów

Strumienie logów i etykiety jako podstawa modelu danych Loki

LogQL — selektory, filtrowanie tekstowe, wyrażenia regularne i pipeline expressions

Parsowanie logów w formatach JSON, logfmt i pattern

Detected Fields i praca z polami zawartymi wewnątrz logów

Agregacje logów — rate, count_over_time, bytes_rate, bytes_over_time i unwrap

Grupowanie i ranking danych logowych

Strukturyzowane logowanie i korelacja logów z Trace ID

Filtrowanie i redaction informacji wrażliwych

Retencja i koszt przechowywania dużych wolumenów logów

Czym są ślady rozproszone i jakie problemy rozwiązują

Spans i traces — anatomia śladu, relacje rodzic-dziecko, atrybuty i zdarzenia

Propagacja kontekstu pomiędzy usługami

Grafana Tempo jako backend dla danych tracingowych

Analiza śladów i wyszukiwanie wąskich gardeł w systemach rozproszonych

Identyfikowanie błędów i problematycznych zależności pomiędzy usługami

Service Graph i Critical Path jako narzędzia diagnostyczne

Korelacja śladów z metrykami i logami

Exemplars jako mechanizm przejścia z metryki do konkretnego trace'a

Jaeger i Grafana Tempo — różnice i przypadki zastosowania

Podstawy head-based i tail-based sampling

Architektura Grafany i praca z wieloma źródłami danych

Budowanie dashboardów operacyjnych opartych o metryki, logi i trace'y

Dashboardy RED i USE

Wizualizacja request rate, error rate, p50, p95, p99 i parametrów JVM

Variables i adnotacje jako sposób tworzenia interaktywnych narzędzi diagnostycznych

Korelacja paneli pomiędzy Prometheusem, Loki i Tempo

Dashboardy SLI i SLO

Dashboard as Code, provisioning i wersjonowanie definicji dashboardów

Antywzorce dashboardów — nadmiar informacji, brak kontekstu i brak możliwości podjęcia działania

Różnice pomiędzy SLI, SLO i SLA

Definiowanie mierzalnych wskaźników jakości usługi

SLI oparte o dostępność, błędy i opóźnienia

Budowanie SLO na podstawie metryk Prometheusa

Error Budget jako sposób określania dopuszczalnego poziomu błędów

Burn Rate jako miara tempa zużywania budżetu błędów

Wizualizacja stanu SLO i Error Budget w Grafanie

Wykorzystanie Recording Rules do budowania efektywnych wskaźników SLI

Filozofia skutecznego alertingu — alertowanie na symptomy odczuwalne przez użytkownika

Prometheus Alerting Rules i budowa warunków alertowych

Stany alertu — Inactive, Pending i Firing

Parametr for i ograniczanie krótkotrwałych fałszywych alarmów

Alertmanager jako centralny komponent routingu i deduplikacji powiadomień

Grupowanie, wyciszanie i routing alertów

Alerty oparte o error rate, latency i dostępność usług

Alerty oparte o Burn Rate i Error Budget

Alert fatigue i projektowanie alertów, które prowadzą do konkretnego działania

Przegląd integracji z zewnętrznymi kanałami powiadomień

Przejście od objawu widocznego na dashboardzie do przyczyny technicznej

Analiza wzrostu latency i error rate przy użyciu Prometheusa

Identyfikacja problematycznej usługi za pomocą distributed tracing

Korelacja trace'a z logami przy użyciu Trace ID

Analiza problemów bazodanowych i komunikacji pomiędzy usługami

Wykorzystanie Prometheus, Tempo i Loki jako uzupełniających się źródeł informacji

Podejście metrics → traces → logs → root cause

Praktyczna analiza kontrolowanych awarii i problemów wydajnościowych

Koszt przechowywania metryk, logów i trace'ów

Sampling, filtrowanie i retencja jako narzędzia kontroli kosztów

Kardynalność jako jeden z głównych czynników wpływających na koszt metryk

Kontrola informacji wrażliwych i PII w danych telemetrycznych

Redaction i filtrowanie danych na poziomie OpenTelemetry Collector

Podstawowe aspekty RODO w kontekście danych telemetrycznych

Jak architektura observability zmienia się wraz ze skalą systemu — od pojedynczej aplikacji do środowisk rozproszonych