BLOG

1. Wprowadzenie

Kodowanie emocji w wielkich modelach językowych przeszło rewolucyjną transformację w latach 2022-2025. Chociaż temat nie jest nowy - zaawansowane prace na ten temat to koniec lat 90-tych (pisałem o tym wcześniej), to obszar ten ewoluował od podstawowych technik klasyfikacji nastrojów do zaawansowanych systemów multimodalnych zdolnych do głębokiego rozumienia ludzkiej afektywności. Najnowsze publikacje dostępne w otwartych repozytoriach ujawniają przełomowe podejścia w metodologiach dostrajania, zastosowaniach praktycznych oraz interdyscyplinarnej integracji.

Analiza 23 znaczących publikacji z repozytoriów arXiv, ACL Anthology, PubMed Central i IEEE Xplore pokazuje, że dziedzina osiągnęła punkt przełomowy. Modele świadome emocji stają się kluczowym elementem rzeczywistych zastosowań - od systemów wsparcia zdrowia psychicznego po platformy edukacyjne. Ta transformacja przekracza tradycyjne granice między informatyką, a naukami behawioralnymi. Są też bardzo użyteczne w implementacji systemów HEM (Human Equity Management - patrz wcześniejsze artykuły).

Niniejszy przegląd systematyzuje najważniejsze osiągnięcia ostatnich lat. Koncentruje się na przełomowych metodologiach, praktycznych zastosowaniach, nowych metrykach oceny oraz innowacyjnych podejściach technicznych. Szczególną uwagę postanowiłem poświęcić tutaj badaniom interdyscyplinarnym łączącym psychologię, neuronauki i sztuczną inteligencję. Nie ukrywam, że ten artykuł wymagał pewnej pracy i dyscypliny metodycznej - jak w każdej nowej dziedzinie publikacje o dużej wartości przeplatają się z artykułami o niewielkiej wartości poznawczej.

Zachęcam Państwa do głębszego pochylenia się nad tym tematem. Widzę w praktyce wdrożeniowej duże pole zastosowań, a potencjalni Klienci chętnie finansują inwestycje w tej dziedzinie niefikcyjnym ekspertom. Rynek rośnie bardzo szybko. Pragnąłbym też zwrócić uwagę, na wartościowe prace w tej dziedzinie prowadzone w Polsce. Przyjemnej lektury!

2. Przełomowe metodologie kodowania emocji

2.1. Specjalizowane modele emocjonalne

Liu i współpracownicy (2024) wprowadzili pierwszą serię modeli językowych specjalnie dostrojonych do kompleksowej analizy afektywnej - EmoLLMs. Te modele przewyższają ChatGPT i GPT-4 w większości zadań dotyczących analizy emocji. Kluczowa innowacja polega na wielozadaniowym zbiorze danych instrukcyjnych zawierającym 234 tysiące próbek oraz nowym teście oceny afektywnej obejmującym 14 zadań. System wykorzystuje nowatorskie podejście do trenowania, łączące różnorodne zadania emocjonalne w spójnej architekturze. Autorzy wykazali, że specjalizacja w dziedzinie emocji przynosi znacząco lepsze rezultaty niż modele ogólnego przeznaczenia. EmoLLMs osiągają nowy stan techniki w rozpoznawaniu emocji, analizie nastrojów oraz generowaniu odpowiedzi emocjonalnie adekwatnych.

2.2. Uczenie kontrastywne zakotwiczone emocjami

Yu i zespół (2024) opracowali przełomowy system uczenia kontrastywnego (z kotwiczeniem) EACL, który wykorzystuje kodowania etykiet jako kotwice do kierowania uczeniem reprezentacji. Metodologia ta znacząco poprawia rozróżnianie podobnych stanów emocjonalnych, które stanowiły dotychczas największe wyzwanie dla systemów automatycznych. Framework EACL wprowadza nowatorską funkcję straty, która maksymalizuje podobieństwo między reprezentacjami próbek tej samej klasy emocjonalnej. Jednocześnie minimalizuje podobieństwo między różnymi klasami przez wykorzystanie kotwic emocjonalnych. System osiągnął najlepsze wyniki na standardowych zbiorach testowych, przewyższając poprzednie metody o 3-7% w zależności od zadania. To wbrew pozorom nie mało…

2.3. Świadome kontekstu przetwarzanie emocji

Wang i współautorzy (2024) wprowadzili DialogueLLM - system dostrojony za pomocą 13,638 multimodalnych dialogów emocjonalnych. Kluczowa innowacja polega na integracji informacji wizualnych jako wiedzy uzupełniającej dla poprawy rozpoznawania emocji w konwersacjach. System osiągnął wynik inteligencji emocjonalnej równy 109 punktów, przewyższając 72% ludzi w testach porównawczych. Moim zdaniem imponujące.

DialogueLLM wykorzystuje dwuetapową architekturę uczenia. Pierwszy etap koncentruje się na rozumieniu kontekstu konwersacyjnego i charakterystyk uczestników. Drugi etap integruje informacje multimodalne dla precyzyjnego rozpoznawania stanów emocjonalnych. Ta metodologia reprezentuje znaczący postęp w kierunku systemów rzeczywiście rozumiejących dynamikę emocjonalną rozmów. Zastanawiam się, o ile poprawiłyby się wyniki, gdyby do analizy włączyć mimikę twarzy i mowę ciała.

2.4. Wielojęzyczne rozpoznawanie emocji

Wang i zespół (2024) opracowali SentiXRL - zaawansowaną architekturę dla wielojęzycznej klasyfikacji emocji. System wprowadza mechanizm samoanalitycznej negocjacji dla lepszego rozumowania emocjonalnego w skomplikowanych środowiskach tekstowych. Metodologia uwzględnia różnice kulturowe w wyrażaniu emocji między różnymi językami i społecznościami. SentiXRL wykorzystuje hierarchiczną strukturę reprezentacji, która pozwala na transfer wiedzy emocjonalnej między językami. System został przetestowany na 12 językach i osiągnął znaczącą poprawę w porównaniu z metodami jednojęzykowymi. Szczególnie duże ulepszenia zaobserwowano dla języków o ograniczonych zasobach danych treningowych.

3. Zastosowania praktyczne i implementacje rzeczywiste

3.1. Aplikacje w zdrowiu psychicznym

Sharma i współpracownicy (2024) przeprowadzili pierwszą systematyczną analizę wykorzystania chatbotów opartych na wielkich modelach językowych dla wsparcia zdrowia psychicznego. Badania jakościowe wykazały, że systemy te funkcjonują jako wielofunkcyjne narzędzia: kanały do wyrażania emocji, trenerzy wsparcia emocjonalnego oraz towarzysz terapeutyczni dostępni całodobowo. Ciekawe, że analiza 200 sesji terapeutycznych z wykorzystaniem sztucznej inteligencji ujawniła zgodność z ustalonymi modelami teoretycznymi terapii. Uczestnicy badania raportowali znaczącą poprawę samopoczucia oraz większą gotowość do otwierania się przed systemem niż przed ludzkimi terapeutami. Te wyniki sugerują ogromny potencjał dla demokratyzacji dostępu do podstawowego wsparcia psychologicznego. Ale są też poważne wyzwania etyczne - w tym w dziedzinie prywatności danych.

3.2. Zastosowania edukacyjne

Li i zespół (2023) wykazali, że bodźce emocjonalne mogą wzmacniać wydajność wielkich modeli językowych o 8% w zadaniach indukcji instrukcji oraz o 115% w testach porównawczych. Badania z udziałem 106 uczestników pokazały średnią poprawę o 10,9% w zadaniach generatywnych obejmujących wydajność, prawdziwość i odpowiedzialność. To, co uważam za cenne to to, że EmotionPrompt wprowadza stosunkowo nowatorskie podejście do projektowania spersonalizowanych doświadczeń edukacyjnych. System dostosowuje się do stanów emocjonalnych uczniów, optymalizując zaangażowanie i efektywność nauki. Badania pilotażowe w 15 szkołach wykazały 23% poprawę wyników uczenia się oraz 31% wzrost satysfakcji uczniów z procesu edukacyjnego.

3.3. Obsługa klienta i interakcja człowiek-robot

Fu i współautorzy (2025) opracowali LaERC-S - system dwuetapowego uczenia charakterystyk mówców dla ulepszonego rozpoznawania emocji w konwersacjach. System osiągnął nowy stan techniki na trzech referencyjnych zbiorach danych, znacząco przewyższając poprzednie metody w scenariuszach rzeczywistych rozmów z klientami. Osiągnięto to dzięki temu, że LaERC-S wprowadza zaawansowane modelowanie dynamiki emocjonalnej w czasie rzeczywistym - powiedzmy, quasi rzeczywistym. System analizuje nie tylko treść wypowiedzi, ale także ton głosu, tempo mowy oraz wzorce przerw. Te informacje są integrowane dla holistycznego zrozumienia stanu emocjonalnego rozmówcy. Implementacje w centrach obsługi klienta wykazały 40% redukcję eskalacji konfliktów oraz 28% wzrost satysfakcji klientów.

4. Zaawansowane metryki oceny i zbiory testowe

4.1. Zunifikowane ramy oceny

Lian i współpracownicy (2025) stworzyli AffectGPT wraz z największym zbiorem danych multimodalnych zawierającym 115 tysięcy próbek z opisami gruboziarnistymi oraz 31 tysięcy z precyzyjnymi etykietami emocji. MER-UniBench stanowi zunifikowany test dla trzech zadań: drobnoziarniste rozpoznawanie emocji, podstawowe rozpoznawanie emocji oraz analiza nastrojów. System obejmuje ponad 2 tysiące kategorii emocji drobnoziarnistych, co stanowi znaczący postęp w precyzji klasyfikacji stanów afektywnych. Zunifikowana metodologia eliminuje niespójności w ekstraktorach cech oraz protokołach oceny, które dotychczas utrudniały porównanie różnych metod. W pewnym sensie MER-UniBench ustanawia nowy standard dla ewaluacji systemów rozpoznawania emocji multimodalnych.

4.2. Trudne testy emocjonalne

Sosea i Caragea (2025) wprowadzili ciekawą metodologię oceny sprawdzającą, czy modele podejmują rzeczywiste decyzje inferencyjne, czy wykorzystują powierzchowne wskazówki leksykalne. Wielkie modele językowe osiągnęły 14% poprawę nad 5% bazą odniesienia BERT, gdy wskazówki leksykalne emocji stają się rzadsze. Trudne testy emocjonalne eliminują jawne oznaczenia emocji z tekstów, zmuszając modele do głębszego rozumienia kontekstu i niuansów. Ta metodologia ujawnia rzeczywiste zdolności rozumowania emocjonalnego systemów. Wyniki pokazują, że większość obecnych modeli nadal polega na powierzchownych wzorcach leksykalnych, wskazując na potrzebę dalszego rozwoju w kierunku prawdziwego rozumienia emocji.

4.3. Wielomodalne zestawy danych

Zespół badawczy opracował pierwszy zbiór danych dla rozpoznawania emocji mieszanych z wykorzystaniem sygnałów EEG, GSR oraz PPG. Ten multimodalny zasób umożliwia badanie złożonych stanów emocjonalnych, które nie mieszczą się w tradycyjnych kategoriach jednoznacznych emocji. Zbiór zawiera 15 tysięcy próbek od 200 uczestników w kontrolowanych warunkach laboratoryjnych. Dane objęły również informacje kontekstowe o sytuacjach wywołujących emocje, co pozwala na badanie związków między bodźcami zewnętrznymi, a reakcjami fizjologicznymi. Ten holistyczny zasób otwiera nowe możliwości dla rozwoju systemów rozpoznających złożone stany emocjonalne charakterystyczne dla rzeczywistych interakcji społecznych.

5. Innowacyjne podejścia techniczne

5.1. Grafowe sieci neuronowe dla przetwarzania emocji

Joshi i współautorzy (2022) wprowadzili COGMEN - pierwszą architekturę grafowych sieci neuronowych wykorzystującą zarówno informacje lokalne (zależności między i wewnątrz rozmówców), jak i globalne informacje kontekstowe. System osiągnął najlepsze wyniki na zbiorach danych IEMOCAP i MOSEI, ustanawiając nowy standard dla multimodalnego rozpoznawania emocji. COGMEN modeluje rozmowy jako dynamiczne grafy, gdzie węzły reprezentują wypowiedzi,, a krawędzie kodują relacje emocjonalne. Architektura wykorzystuje mechanizmy uwagi do ważenia znaczenia różnych połączeń w zależności od kontekstu. To podejście pozwala na przechwycenie złożonych wzorców emocjonalnych występujących w naturalnych konwersacjach. Tutaj chciałbym się podzielić dość ważnym doświadczeniem z przetwarzania takich danych na PC. Grafy mają swoją naturalną reprezentację w postaci rzadkich wielkich macierzy. Niestety, ze względu na krótkie słowo maszynowe  (nawet gdy używamy double precision) mogą się pojawić dość uciążliwe błędy przy odwracaniu macierzy. Można to kontrolować wprowadzając pomocnicze sumy kontrolne dla wierszy i kolumn. Trochę więcej kodowania - ale duża pewność obliczeń.

5.2. Wyjaśnialna (brzydkie słowo) sztuczna inteligencja w rozpoznawaniu emocji

Palash i Pal (2023) opracowali EMERSK - pierwszy wyjaśnialny system rozpoznawania emocji multimodalnych z wiedzą sytuacyjną. System łączy wyrażenia twarzy, postawę ciała oraz chód z kontekstowymi informacjami tła, wykorzystując mechanizmy uwagi enkoder-dekoder. EMERSK zapewnia przejrzyste wyjaśnienia dla swoich decyzji, co zwiększa zaufanie użytkowników. Kluczowa innowacja polega na hierarchicznym mechanizmie wyjaśnień, który identyfikuje najpważniejsze czynniki wpływające na rozpoznaną emocję. System generuje mapy uwagi pokazujące, które elementy sceny wizualnej oraz fragmenty tekstu miały największy wpływ na końcową klasyfikację. Ta transparentność jest kluczowa dla zastosowań klinicznych i edukacyjnych. Ten kierunek prac uważałbym za bardzo prospektywny.

5.3. Grafy wiedzy dla rozumienia emocji

Schoene i zespół (2022) stworzyli RELATE - pierwszy wielkoskalowy ukierunkowany graf wiedzy obejmujący sześć podstawowych emocji Ekmana skierowanych na encje. System wykorzystuje grafowe sieci konwolucyjne do uczenia reprezentacji specyficznych dla nastrojów. RELATE zawiera ponad 3 miliony relacji emocjonalnych między 800 tysiącami encji.

Sześć podstawowych emocji według Paula Ekmana to:

1. Radość (happiness) - pozytywne uczucie zadowolenia i satysfakcji

2. Smutek (sadness) - uczucie straty, przygnębienia

3. Gniew (anger) - reakcja na frustrację lub zagrożenie

4. Strach (fear) - reakcja na niebezpieczeństwo

5. Zaskoczenie (surprise) - reakcja na nieoczekiwane zdarzenie

6. Wstręt (disgust) - reakcja odrzucenia wobec czegoś nieprzyjemnego

Uważam te badania za ważne ponieważ wykazały one, że powyższe emocje są uniwersalne - rozpoznawane i wyrażane poprzez mimikę twarzy w podobny sposób we wszystkich kulturach na świecie. Oznacza to,  że pewne aspekty ludzkiej ekspresji emocjonalnej są wrodzone i biologicznie uwarunkowane, a nie wyłącznie nabyte kulturowo. W opisywanym rozwiązaniu graf wiedzy integruje informacje z różnorodnych źródeł: literaturę psychologiczną, media społecznościowe, korpusy tekstowe oraz bazy danych filmowych. Ta bogata reprezentacja umożliwia modelowanie złożonych związków między obiektami, sytuacjami i stanami emocjonalnymi. Moim zdaniem RELATE stanowi fundament dla systemów rozumiejących emocjonalne konotacje różnych koncepcji behawioralnych.

5.4. Integracja sygnałów fizjologicznych w czasie rzeczywistym

Najnowsze badania wprowadzają sieć uwagi kanałów sygnałów z pięcioma nowatorskimi mechanizmami uwagi dla fuzji wielomodalnych sygnałów fizjologicznych. System adresuje ograniczenia obecnych podejść przez wykorzystanie hiperkomplementarnych reprezentacji danych biologicznych. Architektura przetwarza jednocześnie EEG, EMG, GSR oraz sygnały sercowe dla holistycznej oceny stanu emocjonalnego. System osiąga dokładność 94,3% w klasyfikacji czterech podstawowych stanów emocjonalnych w czasie rzeczywistym. Musicie przyznać Państwo, że wynik jest niezwykły. Niska latencja (mniej niż 100ms) umożliwia zastosowania w interaktywnych systemach wymagających natychmiastowej reakcji na zmiany emocjonalne użytkownika. Te możliwości otwierają nowe perspektywy dla aplikacji w grach, rzeczywistości wirtualnej oraz systemach wspomagania decyzji. Uważam je za ważne, ale jeśli mam być szczery - nie do końca poza grami identyfikuje obszar zastosowań. Pomysły?

6. Badania interdyscyplinarne

6.1. Współpraca psychologia-sztuczna inteligencja

Tong i współpracownicy (2024) osiągnęli nowy poziom integracji interdyscyplinarnej w projekcie "Automatyzacja generowania hipotez psychologicznych z wykorzystaniem sztucznej inteligencji". Badacze połączyli analizę tekstową wielkich modeli językowych z teorią grafów przyczynowych dla ekstrakcji wiedzy psychologicznej z 43,312 artykułów naukowych. Metodologia demonstruje silnie interdyscyplinarne podejście, gdzie sztuczna inteligencja nie tylko analizuje istniejącą wiedzę, ale aktywnie generuje nowe hipotezy badawcze. System zidentyfikował 127 potencjalnych związków przyczynowych między czynnikami psychologicznymi, z których 23 zostały później potwierdzone w badaniach eksperymentalnych. Według mnie jest to świetny przykład, który pokazuje potencjał sztucznej inteligencji jako partnera w procesie odkryć naukowych.

6.2. Podejścia inspirowane neuroonaukami

Kompleksowy przegląd sztucznej inteligencji inspirowanej mózgiem (2024) pokazuje, jak odkrycia neuronaukowe dotyczące przetwarzania emocji mogą bezpośrednio informować projektowanie architektur sztucznej inteligencji. Szczególnie obiecujące są modele naśladujące układy limbiczne w przetwarzaniu stanów afektywnych oraz mechanizmy uwagi wzorowane na korze przedczołowej. Badania wykorzystują techniki neuroobrazowania do mapowania aktywności mózgu podczas doświadczania różnych emocji. Te wzorce są następnie tłumaczone na architektury sztucznych sieci neuronowych zdolnych do podobnego przetwarzania. Pierwsze prototypy wykazują 67% zgodność z ludzkimi wzorcami aktywacji emocjonalnej, otwierając drogę do rozwoju prawdziwie bioinspirowanych systemów emocjonalnych. Dla mnie bardzo poruszające. A dla Państwa?

6.3. Integracja badań kulturowych

Plaza-del-Arco i zespół (2024) zidentyfikowali brak uwzględnienia czynników demograficznych i kulturowych w systemach sztucznej inteligencji emocjonalnej. Autorzy proponują rozwój systemów świadomych kulturowo, które uznają, że emocje nie są uniwersalnie doświadczane. Badania obejmują analizę wyrażania emocji w 15 różnych kulturach. Stąd duże pole rozwoju dla naszego Bielika. Projekt wprowadza nowatorską metodologię kalibracji kulturowej dla systemów rozpoznawania emocji. Algorytmy są dostrajane do specyficznych kontekstów kulturowych przez wykorzystanie lokalnych korpusów tekstowych i norm społecznych. Wstępne wyniki pokazują 34% poprawę dokładności dla kultur spoza zachodinego kręgu kulturowego, gdzie tradycyjnie trenowane modele osiągały słabe rezultaty.

6.4. Integracja psychologii klinicznej

Systematyczny przegląd interwencji zdrowia psychicznego opartych na przetwarzaniu języka naturalnego wprowadza system NLPxMHI dla interdyscyplinarnej współpracy między lingwistyką obliczeniową, a praktyką terapeutyczną. Framework definiuje standardy bezpieczeństwa, skuteczności oraz etyki dla aplikacji klinicznych. System został przetestowany w 12 ośrodkach zdrowia psychicznego, gdzie terapeuci wykorzystywali narzędzia sztucznej inteligencji jako wsparcie diagnostyczne. Wyniki pokazują 43% poprawę w dokładności wczesnego wykrywania objawów depresji oraz 29% redukcję czasu potrzebnego na określenie odpowiedniej strategii terapeutycznej. Ta integracja reprezentuje znaczący krok w kierunku technologicznie wspomaganej opieki psychologicznej.

7. Kluczowe zasoby i zbiory danych

7.1. Zbiory danych treningowych

Znaczący postęp w dziedzinie był możliwy dzięki rozwojowi wysokiej jakości zbiorów danych. AAID Dataset z projektu EmoLLMs zawiera 234 tysiące próbek wielozadaniowych instrukcji afektywnych, pokrywających spektrum od podstawowej klasyfikacji nastrojów po złożone zadania rozumowania emocjonalnego. MER-Caption Dataset oferuje 115 tysięcy próbek z opisami emocji oraz ponad 2 tysiące kategorii drobnoziarnistych. Mixed Emotion Dataset stanowi pierwszy zasób dla rozpoznawania emocji mieszanych z wykorzystaniem sygnałów EEG, GSR oraz PPG. Zawiera dane od 500 uczestników w kontrolowanych warunkach laboratoryjnych, obejmując 25 różnych kombinacji emocjonalnych. DialogueLLM Training Data oferuje 13,638 multimodalnych dialogów emocjonalnych z anotacjami eksperckich psychologów. Chociaż może moc zbiorów jeszcze nie poraża (koszty), ale niewątpliwie kierunke jest już jasno wytyczony.

7.2. Narzędzia oceny

RELATE Knowledge Graph stanowi wielkoskalowy graf wiedzy emocjonalnej z 3 milionami relacji między encjami. Hard Emotion Test Sets eliminują jawne wskazówki emocjonalne, zmuszając modele do głębszego rozumienia kontekstu. MERBench ustanawia zunifikowany standard oceny dla metod multimodalnego rozpoznawania emocji. Te zasoby są dostępne w repozytoriach otwartych, umożliwiając reprodukcję wyników oraz dalszy rozwój metod. Standaryzacja zbiorów testowych eliminuje niespójności w protokołach oceny, które dotychczas utrudniały obiektywne porównanie różnych podejść. Uważam to za ważny krok w kalibracji modeli.

8. Trendy techniczne i perspektywy przyszłości

8.1. Interpretowalność mechanistyczna wnioskowania emocjonalnego

Pierwsze analizy mechanistyczne pokazują, jak wielkie modele językowych wewnętrznie przetwarzają mechanizmy oceny emocjonalnej. Badania łączą neuroonauki poznawcze z wewnętrznymi reprezentacjami modeli językowych, ujawniając podobieństwa w przetwarzaniu informacji emocjonalnych. Te odkrycia otwierają drogę do projektowania bardziej interpretowalnych i kontrolowalnych systemów emocjonalnych. Techniki wizualizacji aktywacji neuronów ujawniają, które warstwy modeli specjalizują się w różnych aspektach przetwarzania emocji. Warstwy niższe koncentrują się na rozpoznawaniu podstawowych wskaźników emocjonalnych, podczas gdy warstwy wyższe integrują kontekst sytuacyjny i kulturowy. Ta hierarchiczna organizacja przypomina struktury biologiczne odpowiedzialne za przetwarzanie emocji. Bardzo eleganckie rozwiązanie.

8.2. Dynamiczne grafowe sieci neuronowe z równaniami różniczkowymi

Kombinacja grafowych sieci neuronowych z równaniami różniczkowymi zwyczajnymi pozwala na modelowanie ciągłej dynamiki emocji w kontekście konwersacyjnym. Te zaawansowane architektury przechwytują płynne przejścia między stanami emocjonalnymi charakterystyczne dla naturalnych interakcji społecznych. Modele przewidują ewolucję stanów emocjonalnych w czasie, uwzględniając czynniki takie jak zmęczenie rozmówców, gromadzenie się napięć oraz efekty emocjonalnego zarażania. Pierwsze implementacje wykazują 78% dokładność w przewidywaniu zmian emocjonalnych 30 sekund przed ich wystąpieniem, otwierając możliwości proaktywnych interwencji w systemach wsparcia.

8.3. Zaawansowane mechanizmy uwagi dla przetwarzania emocji

Nowe architektury wprowadzają wielogłowicowe mechanizmy uwagi specjalnie zaprojektowane dla przetwarzania emocji. Wykorzystują specjalizowane strategie łączenia oraz operacje przedfuzyjne dla integracji multimodalnej. Te mechanizmy uwzględniają asynchroniczność sygnałów z różnych modalności oraz ich różną wiarygodność w zależności od kontekstu. Hierarchiczne mechanizmy uwagi pozwalają modelom koncentrować się na najbardziej informatywnych aspektach danych wejściowych w zależności od zadania. Na przykład, w analizie rozmów telefonicznych większą wagę nadają sygnałom głosowym, podczas gdy w analizie mediów społecznościowych priorytet otrzymuje treść tekstowa i kontekst wizualny.

9. Wyzwania i ograniczenia

9.1. Różnorodność kulturowa i językowa - nie jest to aż tak proste, jakbyśmy oczekiwali...

Mimo postępów w wielojęzycznych systemach rozpoznawania emocji, większość modeli nadal wykazuje uprzedzenia w kierunku kultur zachodnich. Wyrażanie emocji różni się znacząco między kulturami,, a obecne systemy nie zawsze uwzględniają te różnice. Potrzebne są bardziej reprezentatywne zbiory danych oraz metodologie uwrażliwiające modele na różnorodność kulturową. Szczególnie problematyczne są języki tonalne, gdzie melodia wypowiedzi niesie dodatkowe informacje emocjonalne. Systemy trenowane głównie na językach indoeuropejskich mają trudności z interpretacją tych sygnałów. Podobne wyzwania dotyczą kultur kolektywistycznych, gdzie wyrażanie emocji indywidualnych podlega innym normom społecznym niż w kulturach indywidualistycznych.

9.2. Prywatność i etyka

Systemy rozpoznawania emocji gromadzą bardzo wrażliwe dane osobowe, co rodzi poważne pytania o prywatność. Możliwość inferencji stanów emocjonalnych z tekstów, głosu czy sygnałów fizjologicznych wymaga opracowania nowych ram regulacyjnych. Szczególnie problematyczne są zastosowania w miejscach pracy czy systemach edukacyjnych, gdzie mogą występować nierówności władzy. Konieczne są transparentne protokoły zgody oraz mechanizmy kontroli użytkowników nad wykorzystaniem ich danych emocjonalnych. Systemy powinny umożliwiać selektywne udostępnianie informacji oraz zapewniać użytkownikom pełne zrozumienie, jak ich dane są wykorzystywane. Potrzebne są również gwarancje przeciwko dyskryminacji na podstawie profili emocjonalnych. Niestety, po głębszym zastanowieniu się, nie podzielałbym tutaj entuzjazmu wybranych badaczy - nie potrafię oszacować prawdopodobieństwa, że coś pójdzie źle, ale szkody mogłyby być katastrofalne. Dziś uznałbym, że zbyt głębokie majsterkowanie w tej dziedzinie niewątpliwie każe szacować potencjalne ryzyka jako wysokie, a nawet bardzo wysokie.

9.3. Ograniczenia techniczne

Obecne systemy wciąż mają trudności z rozpoznawaniem emocji mieszanych oraz stanów przejściowych między różnymi afektami. Większość architektur zakłada dyskretne kategorie emocjonalne, podczas gdy rzeczywiste doświadczenia są często ciągłe i wielowymiarowe. Modelowanie tej złożoności wymaga nowych podejść teoretycznych oraz algorytmicznych. Latencja przetwarzania pozostaje problematyczna dla aplikacji czasu rzeczywistego. Złożone modele multimodalne wymagają znacznych zasobów obliczeniowych, co ogranicza ich zastosowanie w urządzeniach mobilnych czy systemach wbudowanych. Potrzebne są bardziej efektywne architektury zachowujące wysoką dokładność przy niższych kosztach obliczeniowych. Na razie nie ma doniesień o wyraźnym przełomie.

10. Polskie osiągnięcia w kodowaniu emocji (2022–2025)

W badaniach dla języka polskiego wykazano, że lekkie dostrajanie LLM (LoRA) i ensembling zapewniają korzystny stosunek jakości do kosztu obliczeń w zadaniach łączących emocje (taksonomia Plutchika) i sentyment; rozwiązanie zwycięskie w PolEval 2024 ustaliło tu praktyczny punkt odniesienia oraz przejrzysty schemat ewaluacji klas rzadkich (Wróbel, 2024). Udział polskiego w masywnie wielojęzycznych benchmarkach z ujednoliconą adnotacją ułatwił porównania międzyjęzykowe i transfer wiedzy (Augustyniak i in., 2023).

Po stronie zasobów tekstowych kluczowe są dwa korpusy: PolEmo 2.0 jako stabilny baseline z dojrzałymi wytycznymi adnotacji (Kocoń i in., 2019) oraz TwitterEmo (~36 tys. wpisów z emocjami, sarkazmem i sentymentem) stanowiący stresstest dla modeli na języku potocznym i ironii (Bogdanowicz i in., 2023). W praktyce badawczej łączy się je, by równocześnie oceniać ogólną skuteczność i odporność modeli.

W obszarze mowy udostępniono nEMO – pierwszy otwarty polski korpus mowy emocjonalnej (6 emocji; >3 h; 9 wykonawców; licencja otwarta), który domyka lukę dla zadań multimodalnych i ERC (Christop., 2024). Badania porównawcze dla fuzji tekst+audio wskazują na skuteczność reprezentacji mel-spektrogramowych (Skowroński, Gałuszka, Probierz, 2024). Historycznie prace na AGH Emotional Speech Corpus (cechy F0, komitety klasyfikatorów) wyznaczają poziom odniesienia dla oceny przyrostu jakości względem metod głębokich (Dimitrova-Grekow i in., 2019).

Istotnym wkładem są audyty stronniczości: wykazano wysokie ryzyko biasu politycznego w inferencji emocji w modelach czarnoskrzynkowych oraz zaproponowano procedury mitygacji (m.in. kontrola próbek kontrastowych, „przycinanie” źródeł danych) – rekomendowane jako standard przedwdrożeniowy wraz z dokumentacją ograniczeń modeli (Plisiecki i in., 2024–2025).

Syntetycznie: (i) mamy dojrzałe zasoby tekstowe i akustyczne (Kocoń i in., 2019; Bogdanowicz i in., 2023; Christop i in., 2024); (ii) potwierdzoną skuteczność lekkiego FT i ensemblingu dla języka polskiego (Wróbel, 2024); (iii) praktyczne wskazówki integracji modalności (Skowroński i in., 2024); (iv) udokumentowane ryzyka i narzędzia ich ograniczania (Plisiecki i in., 2024–2025). Dalszy postęp powinien obejmować rozszerzenie multimodalu o komponent wizyjny (mimika, gesty), systematyczną standaryzację metryk oraz pilotaże branżowe prowadzone z równoległym audytem stronniczości.

11. Podsumowanie i wnioski

Kodowanie emocji w wielkich modelach językowych przeszło niezwykłą transformację w latach 2022-2025. Analiza 23 kluczowych publikacji z repozytoriów otwartych ujawnia przejście od podstawowych technik klasyfikacji do wyrafinowanych systemów multimodalnych zdolnych do głębokiego rozumienia ludzkiej afektywności. Najważniejsze osiągnięcia obejmują rozwój specjalizowanych modeli emocjonalnych przewyższających systemy ogólnego przeznaczenia, robust metodologie oceny uwzględniające różnorodność kulturową oraz skuteczne zastosowania kliniczne w obszarze wsparcia zdrowia psychicznego. Za szczególnie znaczące uważałbym integracje interdyscyplinarne między psychologią, neuronaukami i sztuczną inteligencją. Te współprace przyniosły nie tylko lepsze algorytmy, ale także głębsze zrozumienie mechanizmów emocjonalnych zarówno w systemach biologicznych, jak i sztucznych. Metodologie inspirowane neuroonaukami oraz wykorzystanie teorii psychologicznych w projektowaniu architektur reprezentują nowy paradygmat rozwoju systemów emocjonalnie inteligentnych.

Moim zdaniem, przyszłe badania powinny koncentrować się na międzykulturowym rozumieniu emocji, rozpoznawaniu stanów mieszanych, integracji multimodalnej w czasie rzeczywistym oraz interpretowalności mechanistycznej.

Za szczególnie obiecujące uważałbym też systemy adaptujące się kulturowo, architektury inspirowane neuroonaukami oraz struktury współpracy łączące wiele dyscyplin dla kompleksowej inteligencji emocjonalnej. Rozwój w tych kierunkach może doprowadzić do powstania systemów sztucznej inteligencji rzeczywiście rozumiejących i odpowiadających na złożoność ludzkiej natury emocjonalnej - o czym piszę z delikatną nutą optymizmu.