Jak AI wspiera pracę analityka na poszczególnych etapach analizy

W świecie, w którym generatywna AI zaczyna realnie kształtować przyszłe miejsca pracy i zmieniać umiejętności, jakich pracodawcy szukają na rynku, rola analityka zmienia się w porównaniu z tym, czym była jeszcze parę lat temu. Złożone modele językowe stały się częścią krajobrazu firm większych i mniejszych, a umiejętność korzystania z nich, by szybciej i wydajniej pracować, staje się niewątpliwą przewagą konkurencyjną. Ja sama, rekrutując nowych analityków, pytałam ich o umiejętności pracy z GenAI i, co nawet ważniejsze w całej tej układance, o umiejętność walidacji wyników GenAI.

Analityk analitykowi nie jest równy. W niektórych firmach stanowisko analityka skupia się głównie wokół wyciągania danych z cyfrowej kopalni i przedstawiania ich w czytelnej formie osobie wysyłającej zapytanie. Analityk miał przygotować raport, dopisać filtr, poprawić dashboard i wyjaśnić, dlaczego liczba w jednym raporcie różni się od tej w drugim.

Generatywna AI coraz sprawniej przejmuje tę warstwę pracy. Pomaga pisać zapytania, porządkować dane, opisywać wykresy i streszczać wyniki. Nie oznacza to końca zawodu, lecz koniec iluzji, że dostarczenie liczb jest tym samym co dostarczenie wartości. Znaczenie analityka w firmie przesuwa się więc z produkcji raportów w stronę formułowania problemów, dostrzegania zależności, rozpoznawania ograniczeń danych i budowania rekomendacji.

Cykl życia analizy i wspomaganie AI na każdym etapie

1. Zdefiniowanie problemu i sformułowanie pytań i hipotez

Cykl analityczny nie zaczyna się od szperania w danych, tylko od zrozumienia istoty problemu i wpływu, jaki rozwiązanie problemu może mieć na organizację. Z doświadczenia obserwuję, że pierwotnie stawiane pytania odzwierciedlają zazwyczaj próbę zrozumienia symptomów choroby, ale nie jej przyczyny.

W tym kontekście analityk jawi się nam jako ciało wspierające i doradcze, pomagające dotrzeć do przyczyny i z tego poziomu budować analizę, wnioski i rekomendacje. Analiza samych symptomów może pozornie prowadzić do głębokich wniosków, które jednak nie przetrwają brutalnej walidacji ze strony rynku. Możemy poprawić wskaźnik widoczny na dashboardzie, nie zmieniając przy tym niczego, co naprawdę decyduje o kondycji biznesu.

Na tym etapie zaawansowany model językowy może być wykorzystany jako zewnętrzny krytyk, który może nam pomóc dostrzec skróty myślowe, które w całej swej chytrości podpowiada nam nasz leniwy umysł. Może poprowadzić nas przez techniki, które odkrywają istotę problemu, a nie tylko zahaczają o wątłe punkty delikatnie unoszące się na powierzchni. I na końcu może podważyć pierwszą interpretację, wygenerować alternatywne hipotezy i wskazać pytania, których sami nie zadaliśmy.

LLM ma też swoje ograniczenia. Może powtarzać dominujące schematy, nadmiernie upraszczać problem albo tworzyć hipotezy, które brzmią przekonująco, choć nie mają pokrycia w realiach organizacji. Te błędy towarzyszą AI na każdym etapie wspierania analizy. AI nie zna pełnego kontekstu zapytania, specyfiki danej firmy i różnych ograniczeń operacyjnych, które istotnie wpływają na adekwatność generowanych hipotez. Ponadto AI nie rozumie bardzo subtelnych dynamik, które kształtują organizację od środka i mają kluczowy wpływ na podejmowane decyzje. Nie rozumie, kto w danej hipotezie zyskuje, a kto traci, ani jak tę analizę zakomunikować, by organiczny układ wewnętrzny w wyniku wniosków i rekomendacji nie przeszedł destrukcyjnego kryzysu, a był zmotywowany do współpracy.

Dlatego umiejętność krytycznego myślenia i oddzielania wartościowych treści od bełkotu AI będzie coraz większym atutem.

2. Pozyskanie i przygotowanie danych

Punkty 2 i 3 obecnie najmocniej wykorzystują sztuczną inteligencję. Istnieje przekonanie w branży, że około 80% pracy analityka jest powiązane z pozyskiwaniem i obróbką danych. W dobie dostępnych, wysoce efektywnych modeli LLM ta część żmudnej pracy może być w większości zautomatyzowana. Kiedyś ogromne znaczenie miała znajomość pisania SQL, aby właściwie wyciągnąć dane z bazy, połączyć różne tabele w modele danych oraz sprawdzić jakość i kompletność danych. To wymagało czasu. AI, dzięki jednemu dobrze ułożonemu promptowi, potrafi generować SQL, tłumaczyć kod, proponować reguły czyszczenia, testy jakości i dokumentację. Może też wykrywać braki i podejrzane wartości. Jednak to nie oznacza, że sztuczna inteligencja wykona za analityka całą pracę. Analityk ciągle jest odpowiedzialny za logikę modelu i weryfikację rezultatów pracy AI. Analityk dostarcza dane wejściowe, takie jak właściwy klucz łączący tabele, dobór próbki do badań czy filtry do zastosowania. Jeśli organizacja posiada wysoki stopień data governance z detaliczną dokumentacją, a całość środowiska danych znajduje się pod parasolem jednego ekosystemu, AI może również przyspieszyć proces pozyskiwania danych poprzez szybkie przeszukiwanie dostępnych baz danych, wcześniej dostarczonych analiz czy opublikowanych raportów i dashboardów. W dużych korporacjach często różne departamenty czy oddziały produkują te same analizy i raporty, tylko na innych zakresach danych (np. sprzedaż po segmentach produktów, po różnych regionach). Używanie AI jako zaawansowanej wyszukiwarki wiedzy może przyspieszyć pracę, ale też promować inicjatywy międzyjednostkowe wykorzystujące synergie wielu obszarów.

Analityk pozostaje właścicielem pochodzenia danych, definicji miar i kontroli jakości. Powinien umieć wyjaśnić, skąd pochodzi każda liczba, jakie transformacje wykonano i co wykluczono.

3. Eksploracja danych

Analiza wspierana sztuczną inteligencją może być czystą przyjemnością. Pamiętacie asystenta Tony’ego Starka — JARVIS-a? Idziemy w tym kierunku. Ostatnio z ciekawości analizowałam dane użytkowników jednej z popularnych platform. Interesowały mnie zachowania użytkowników w podziale na płcie. Kiedyś taka analiza zbioru 1300 użytkowników zajęłaby mi zapewne parę godzin. Ze wsparciem AI po jednej godzinie miałam oczyszczony zbiór danych, zrozumienie struktury danych, obliczone podstawowe statystyki dla populacji, dla typowego użytkownika i dla segmentów, anomalie warte sprawdzenia, możliwe czynniki wpływające na wynik oraz alternatywne wizualizacje.

Oczywiście wszystko jest do weryfikacji. AI może pomylić korelację z przyczynowością, dobrać niewłaściwą metrykę albo uznać istotność statystyczną za znaczenie biznesowe.

4. Weryfikacja hipotez

Jak już wspomniałam wcześniej, AI jest genialna w generowaniu hipotez. To nie znaczy, że wszystkie z nich mają sens. Rolą analityka ciągle jest połączenie obserwacji wynikających z danych z ich interpretacją i zestawienie ich z wiedzą biznesową. LLM, przy dobrze utworzonym prompcie, zaproponuje wiarygodnie brzmiące wyjaśnienie, które nawet znajduje odzwierciedlenie w danych, ale na poziomie logiki biznesowej nie przechodzi testu.

Największe ryzyko pojawia się w momencie, kiedy oddajemy modelowi decyzyjność. Jego funkcją jest służenie analitykowi niczym zespół badaczy, inżynierów oraz doradców patrzących na zjawisko z różnych perspektyw. Ale na końcu analityk odpowiada za założenia, metodę i interpretację niepewności. Sprawdza, czy wynik utrzymuje się po zmianie okresu, segmentu lub definicji. Analityk podejmuje ostateczne decyzje — autorytarnie.

5. Rekomendacja

Umiejętność budowania rekomendacji wymaga głębokiej znajomości problemu, ale również znajomości możliwości i ograniczeń danej organizacji bądź jednostki. Na przykład najbardziej efektywnym sposobem zwiększenia produkcji mógłby być zakup nowej, nowoczesnej maszyny, ale ta rekomendacja może przewyższać obecne możliwości finansowe firmy. Znowu na tym etapie AI może wcielić się w wynajętą zewnętrzną firmę konsultingową, która przy zadanych parametrach będzie poszukiwać optymalnych rozwiązań. Musimy pamiętać, że AI nie ponosi kosztów błędnych decyzji. Analityk już tak. Jego rekomendacje muszą być wykonalne i uczciwe wobec niepewności.

6. Przygotowanie narracji i komunikacji

Zdawać by się mogło, że ta część, tak samo, jak punkty 2 i 3, też może być w większości oddana do przygotowania przez sztuczną inteligencję. AI może uporządkować prezentację, skrócić opis, zaproponować wykres i generować komentarze do wskaźników. Jednak z mojego doświadczenia LLM ciągle popełnia błędy w poprawnym tworzeniu wykresów, nie mówiąc już o całościowym zaprojektowaniu warstwy wizualnej. To tyle w kwestii wizualnej.

Jednak komunikacja wyników analizy i rekomendacji to coś więcej niż tylko parę dobrych slajdów z wykresami, tekstem i obrazem. Analityk, projektując narrację i sposób jej zakomunikowania, skupia się na odbiorcy — na tym, jak prezentowana informacja wpłynie na podejmowane przez niego decyzje oraz jakie obawy może on mieć w związku z proponowanymi rekomendacjami. Adresuje wszystkie potencjalne wątpliwości i kontrargumenty.

I tutaj AI znowu może służyć jako coach, który przygotowuje analityka do prezentacji. Może przejrzeć prezentację, znaleźć słabe punkty i logiczne luki, a nawet dopracować przemowę.

Weryfikacja wyników generowanych przez AI metodą SITO

Wiemy już, że AI może wspomóc analityka na wielu frontach i w wielu procesach. Jednak jak mieć pewność, że ta pomoc nie będzie miała negatywnych skutków dla reputacji analityka?

AI musi być weryfikowana na każdym etapie. To trade-off, który analityk ponosi za wykorzystywanie tej technologii. Mniej czasu spędza na zadaniach, które mogą być zautomatyzowane, ale więcej czasu poświęca na testowanie.

W znanych mi firmach nie spotkałam się z żadnym procesem, który dotyczyłby właśnie tej części, czyli weryfikacji wyników wygenerowanych przez AI. Zachęca się pracowników do korzystania ze sztucznej inteligencji, ale nie oferuje się metod walidacji. Każdy robi to po swojemu albo nie robi tego wcale.

Proponuję moją autorską metodę operacyjną inspirowaną praktykami ewaluacji modeli, weryfikacji faktów i zarządzania ryzykiem AI — SITO.

• S — Sens. Na początku sprawdzamy sens biznesowy. Czy hipoteza dotyczy rzeczywistego problemu biznesowego? Czy jej potwierdzenie lub odrzucenie może prowadzić do realnej decyzji biznesowej? Czy AI nie wygenerowała hipotezy ciekawej intelektualnie, ale bezużytecznej dla organizacji? Można też sprawdzić na paru modelach, jak odpowiedzi będą się od siebie różnić.

• I — Integralność. Jakość i integralność danych mają kluczowe znaczenie dla trafności przeprowadzonej analizy. Tutaj weryfikujemy cały przepływ danych: źródła i sposób ich pozyskania, filtry, złączenia i agregacje, sposób oczyszczania danych, braki, duplikaty, wartości odstające i anomalie. Weryfikujemy także wszelkie zmiany definicji oraz zakresów czasowych, które mógł wprowadzić model, a także to, czy dane po transformacji nadal reprezentują badaną populację.

• T — Trafność. Czy potrafimy szczegółowo wyjaśnić obliczenia lub tok rozumowania modelu? Tutaj mieszczą się: adekwatność i reprezentatywność próby, poprawność obliczeń, miar i KPI, dobór metody statystycznej, zgodność modelu z logiką biznesową, założenia, walidacja, overfitting czy data leakage, poprawność wykresów, osi, skal, agregacji i sposobu prezentacji wyników. Jeśli mechanizmu nie da się wyjaśnić, wynik nie powinien być przekazywany dalej tylko dlatego, że brzmi przekonująco.

• O — Odtwarzalność. Każdy wniosek powinien dać się połączyć z konkretnymi danymi lub obliczeniem. Sprawdzamy więc, czy AI nie dopisała wartości, zmiennych, źródeł lub zależności, czy dane rzeczywiście wspierają hipotezę, czy model nie zamienił korelacji w przyczynowość, czy nie pominięto dowodów sprzecznych z pierwszą interpretacją oraz, czy wynik można odtworzyć bez opierania się na samym opisie AI.

Odpowiedzialne użycie narzędzi AI w organizacji

Duże korporacje zazwyczaj posiadają własne wewnętrzne narzędzia AI, które są zabezpieczone przed wyciekiem danych wrażliwych. Jednak nie jest to scenariusz dla wszystkich organizacji. Przed użyciem AI analityk powinien sprawdzić, czy narzędzie jest zatwierdzone i jakie dane wolno mu przekazać. Dane osobowe, informacje poufne i tajemnice przedsiębiorstwa nie powinny trafiać do przypadkowych narzędzi, tylko dlatego, że przyspieszają pracę. Należy ograniczać zakres danych, stosować anonimizację oraz dokumentować narzędzie, jego wersję i udział AI w analizie. Unijny AI Act wymaga odpowiedniego poziomu AI literacy osób korzystających z systemów AI, z uwzględnieniem ich wiedzy, kontekstu użycia i możliwych szkód. Komisja Europejska wskazuje wprost, że użytkownicy narzędzi takich jak ChatGPT powinni znać ryzyko halucynacji.

Podsumowanie

AI jest narzędziem, tak jak każda inna technologia, począwszy od pierwszego kamienia, którego użył pierwotny człowiek, by rozłupać orzech kokosowy albo skrzywdzić współplemieńca. Każde narzędzie pomaga nam w rozwoju naszej cywilizacji. Nie wiem, czy AI jest najbardziej rewolucyjnym narzędziem, jakie człowiek stworzył — to oceni historia. Wiem jednak, że nieużywanie go, a co gorsza, nieumiejętne używanie może doprowadzić do utraty zaufania do działów analitycznych. AI może być znakomitym współpracownikiem — szybkim, cierpliwym i pełnym pomysłów, ale jednak wymagającym nadzoru i bynajmniej nieposiadającym prawa do decydowania. Zostawmy analitykom odpowiedzialność za jakość wniosków, a właścicielom biznesowym — odpowiedzialność za decyzje.

Jeśli interesuje Cię ścieżka rozwoju jako analityka, zapraszam na studia podyplomowe, które wraz z Politechniką Warszawską oferujemy w ramach kierunku „AI-Powered Business Intelligence — wizualizacja i analityka biznesowa ze wsparciem sztucznej inteligencji”. Na studiach grupa ekspertów-praktyków przekazuje swoją wieloletnią wiedzę z zakresu analizy danych na przykładach biznesowych, a ja w swoim module pracuję ze studentami nad skutecznym budowaniem narracji i komunikacją wyników analiz. A jeśli poszukujesz krótszego kursu z użycia AI w pracy analityka, to zapraszam do zapoznania się z kursem AI w pracy Analityka Danych.