Podstawy języków i środowisk analitycznych

Analiza danych w R zwykle zaczyna się od opanowania środowiska RStudio, podstaw składni oraz pracy na wektorach i ramkach danych. W pierwszej kolejności warto sprawdzić, jak wczytywać dane, filtrować rekordy, zmieniać typy zmiennych i tworzyć proste wykresy. Przykładem takiego początku jest import pliku CSV, oczyszczenie kolumn z brakami i przygotowanie histogramu dla wybranej zmiennej. Ten temat przerabiamy praktycznie na szkoleniu: Analiza danych w języku R (R/ANA).

Python i R wspierają analizę danych, ale zwykle odpowiadają na nieco inne potrzeby początkujących analityków. Przy wyborze warto sprawdzić, czy ważniejsze są dla Ciebie szybkie wejście w statystykę i wizualizację danych, czy szersze zastosowanie programistyczne, automatyzacja i praca z klasami, modułami oraz plikami. Przykładowo R dobrze sprawdza się przy eksploracji danych tabelarycznych i raportowaniu, a Python przy budowaniu skryptów do przetwarzania danych i automatyzacji zadań. Jeśli chcesz przećwiczyć to krok po kroku, zobacz: Python - wprowadzenie dla Data Scientists (PYTHON/F-INTRO).

Czyszczenie danych obejmuje usuwanie duplikatów, korektę typów, obsługę braków danych oraz standaryzację wartości przed dalszą analizą. Należy sprawdzić strukturę zbioru, nazwy kolumn, formaty dat, spójność kategorii i poprawność reguł filtrowania, a następnie dobrać odpowiednie funkcje lub biblioteki. Przykładem jest usunięcie powielonych wierszy, konwersja tekstowej daty na typ daty i utworzenie nowych zmiennych na potrzeby agregacji. Dokładnie ten zestaw narzędzi i workflow ćwiczymy podczas szkolenia: Analiza danych w języku R (R/ANA).

Na podstawowych szkoleniach analitycznych wykorzystuje się narzędzia wbudowane w języki i biblioteki służące do tworzenia wykresów statycznych oraz interaktywnych. Warto sprawdzić, czy program obejmuje wykresy słupkowe, rozproszenia, histogramy, wykresy pudełkowe, zapis do plików oraz dostosowanie wyglądu wykresów do odbiorcy biznesowego lub technicznego. Przykładem jest przygotowanie serii wykresów porównujących rozkład zmiennych i eksport wyników do PDF albo JPG. To jedno z zagadnień omawianych podczas szkolenia: Język Julia w analizie danych (JULIA).

Praca z ramkami danych polega na selekcji kolumn, filtrowaniu wierszy, sortowaniu, grupowaniu i wyliczaniu statystyk dla danych tabelarycznych. Trzeba sprawdzić, jakie struktury danych stosuje dany język, jak wygląda składnia transformacji oraz czy dostępne są biblioteki upraszczające operacje na tabelach. Przykładem jest pogrupowanie sprzedaży według miesiąca, obliczenie sum i średnich oraz zapis wyniku do nowego pliku. Wersję warsztatową (z konfiguracją i przykładami) znajdziesz w programie szkolenia: Analiza danych w języku R (R/ANA).

Julia znajduje zastosowanie tam, gdzie analiza danych łączy się z większym obciążeniem obliczeniowym, modelowaniem oraz potrzebą wysokiej wydajności kodu. W praktyce warto sprawdzić dostępność bibliotek do danych tabelarycznych, wizualizacji, regresji, klastrowania, a także możliwości wielowątkowości i integracji z innymi językami. Przykładem jest przetwarzanie dużych zbiorów danych i uruchamianie obliczeń równoległych przy zachowaniu czytelnej składni. Ten temat przerabiamy praktycznie na szkoleniu: Język Julia w analizie danych (JULIA).