Kafka

Apache Kafka to rozproszona platforma do przesyłania i przetwarzania zdarzeń, która opiera się na brokerach, tematach, partycjach i replikach. Przy wdrożeniu warto najpierw sprawdzić model partycjonowania, współczynnik replikacji, sposób wyboru kontrolera oraz mechanizm zarządzania metadanymi, na przykład Kafka Raft lub ZooKeeper. Przykładowo zespół może zacząć od wydzielenia osobnych tematów dla zdarzeń biznesowych i technicznych, a następnie ustawić replikację oraz polityki retencji zgodnie z wymaganiami systemu. Ten temat przerabiamy praktycznie na szkoleniu: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).

Consumer group to mechanizm, w którym wielu konsumentów współdzieli odczyt danych z jednego tematu przez przypisanie partycji do instancji. W praktyce trzeba sprawdzić liczbę partycji, strategię przydziału, czas przetwarzania wiadomości oraz parametry wpływające na heartbeat i timeout, bo to one często powodują niepotrzebny rebalance. Przykładem problemu jest sytuacja, w której wolny konsument blokuje stabilną pracę grupy i wywołuje ponowne przypisania partycji po przekroczeniu limitów czasu. Jeśli chcesz przećwiczyć to krok po kroku, zobacz: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).

Gwarancje dostarczania określają, czy wiadomości mogą zostać utracone, przetworzone wielokrotnie albo obsłużone dokładnie raz w całym przepływie. Przy projektowaniu należy zweryfikować ustawienia ACK, idempotencję producentów, transakcje oraz sposób zapisu offsetów, ponieważ dopiero ich połączenie daje przewidywalne zachowanie systemu. Przykładowo integracja płatności zwykle wymaga silniejszej kontroli duplikatów niż strumień logów technicznych, gdzie akceptowalne bywają prostsze modele dostarczania. To jedno z zagadnień omawianych podczas szkolenia: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).

Integracja Java z Apache Kafka polega na skonfigurowaniu producentów i konsumentów, serializacji danych oraz obsługi komunikatów w kodzie aplikacji. Warto sprawdzić format wiadomości, konfigurację producer factory i consumer factory, obsługę błędów oraz sposób filtrowania komunikatów po stronie konsumenta. Przykładem może być aplikacja Spring, która publikuje zdarzenia domenowe do topiców i odbiera je w osobnych listenerach z dedykowaną deserializacją. Wersję warsztatową (z konfiguracją i przykładami) znajdziesz w programie szkolenia: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).

Kafka Streams to biblioteka do budowy aplikacji przetwarzających dane strumieniowe bezpośrednio na zdarzeniach przesyłanych przez Apache Kafka. Przed wyborem modelu trzeba ustalić, czy dane reprezentują nieograniczony strumień rekordów, czy aktualny stan kluczy, bo od tego zależy decyzja między KStream i KTable oraz projekt topologii. Przykładowo KStream sprawdza się przy analizie ciągłych zdarzeń kliknięć, a KTable przy utrzymywaniu bieżącego stanu kont lub słowników referencyjnych. Dokładnie ten zestaw narzędzi i workflow ćwiczymy podczas szkolenia: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).

Najczęstsze błędy w Apache Kafka wynikają z niewłaściwego podziału danych na tematy, złej liczby partycji oraz retencji niedopasowanej do wymagań biznesowych i operacyjnych. Warto sprawdzić przewidywaną równoległość przetwarzania, klucze partycjonujące, rozmiar segmentów, czas przechowywania danych i wpływ tych ustawień na kolejność wiadomości. Przykładem błędu jest umieszczenie wielu niepowiązanych typów zdarzeń w jednym topicu, co utrudnia wersjonowanie komunikatów, konsumpcję i administrację środowiskiem. Ten temat przerabiamy praktycznie na szkoleniu: Apache Kafka - wprowadzenie do architektury sterowanej zdarzeniami (KAFKA/BASICS).