Analiza danych tekstowych i języka naturalnego
LICZBA DNI: 3 (24h)
KOD KURSU: ANA/TXT
Weź udział w szkoleniu
Termin
Lokalizacja
Trener
Cena / os
8
września
Wrocław,
Łódź,
Warszawa,
Zdalne,
20
października
Kraków,
Warszawa,
Zdalne,
8
grudnia
Warszawa,
Zdalne,
Termin
8
września
Lokalizacja
Wrocław,
Łódź,
Warszawa,
Zdalne,
Trener
Cena / os
Termin
20
października
Lokalizacja
Kraków,
Warszawa,
Zdalne,
Trener
Cena / os
Termin
8
grudnia
Lokalizacja
Warszawa,
Zdalne,
Trener
Cena / os
Powiadom
o kolejnych terminach
O szkoleniu
DLA KOGO?
Programiści, pragnący zastosować w swoich systemach metody odkrywania wiedzy z danych tekstowych
Analitycy, którzy chcą rozbudować swój warsztat analityczny o narzędzie analizy danych tekstowych
Osoby zainteresowane zastosowaniem narzędzi statystycznych, metod uczenia maszynowego w pracy z danymi tekstowymi
WYMAGANIA
Podstawowa znajomość języka Python
ZALETY
Obszerne wprowadzenie do świata analizy danych tekstowych
Zapoznanie z najważniejszymi narzędziami i technikami
Kameralne grupy - szkolenia technologiczne prowadzimy w grupach liczących do 8 osób. Pozwala to na indywidualne podejście oraz aktywizację każdego uczestnika
Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań
Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how
Cele szkolenia
Zdobycie praktycznych umiejętności i wiedzy pozwalających na wykonywanie analiz języka naturalnego z wykorzystaniem języka Python
Zapoznanie z problemami przetwarzania, czyszczenia oraz eksploracji danych tekstowych, a także z wykorzystaniem przygotowanych danych między innymi do budowania modeli uczenia maszynowego
Program
Wprowadzenie
- Źródła i zastosowania danych tekstowych
- Definicje pojęć
- Text Mining
- Natural Language Processing
- Information Retrieval
- Języki programowania stosowane do analizy danych tekstowych
Podstawowe narzędzia i biblioteki
- Regex
- Pandas
- Scikit-learn
- NLTK
- SpaCy
Pozyskiwanie danych tekstowych
- Wczytywanie danych
- txt
- csv
- json
- docx
- pdf
- Czytanie danych z API (np. Twitter)
- Web scraping
Czyszczenie i normalizacja danych
- Tokenizacja
- Usuwanie zbędnych znaków
- Rozwijanie skrótów
- Usuwanie nieistotnych słów
- Poprawianie literówek
- Stemming/lematyzacja
Wizualizacja danych tekstowych
- Wykres długości słów
- Wykres częstości słów
- Word cloud
Reprezentacje danych tekstowych
- Document-term matrix
- Bag of Words
- TF-IDF
- word2vec
- fasttext
- doc2vec
Podsumowywanie tekstu
- Kolokacje
- TextRank
Podobieństwo tekstu
- Miary podobieństwa słów
- Odległość Hamminga
- Odległość Levenshteina
- Miary podobieństwa dokumentów
- Miara Cosinusowa
- Miara Jaccarda
Uczenie maszynowe w analizie języka naturalnego
- Klasteryzacja dokumentów
- K-means
- Affinity Propagation
- Hierarchical Agglomerative Clustering
- Klasyfikacja dokumentów
- Naiwny Bayes
- SVM
Znakowanie tekstu częściami mowy
- Universal tagset
- Penn TreeBank tagset
Analiza wydźwięku
- Podejście słownikowe
- Podejście oparte na metodach uczenia maszynowego
Rozpoznawanie nazw własnych
Semantyczne podobieństwo słów
Parsowanie zdań
- Parsowanie płytkie
- Parsowanie zależnościowe
Szkolenia powiązane
