1 Introduzione

1L’espressione delle emozioni può avvenire attraverso diversi componenti a vari livelli linguistici (Reilly & Seibert, 2003): lessicale (verbi modali, elementi rafforzativi, attenuativi, o valutativi), sintattico (es. le proposizioni relative possono commentare azioni e comportamenti), acustico (prosodia, qualità della voce), e paralinguistico (espressioni del viso, gesti). I framework tradizionali per l’analisi delle emozioni sono basati su categorie (Ekman, 2000) o su dimensioni (Russell, 1980). I primi distinguono vari stati emozionali (rabbia, gioia, paura, tristezza, etc.), mentre i secondi tendono a definire le emozioni come coordinate in uno spazio multidimensionale, in cui ogni dimensione rappresenta una proprietà di uno stato emozionale. Tra i numerosi framework esistenti, Russell (1980) ipotizza due dimensioni: valence (valenza, positiva vs. negativa) e arousal (attivazione, alta vs. bassa). La classificazione degli stati emozionali tramite indizi linguistici si è rivelata un compito arduo tanto nei framework categoriali quanto in quelli dimensionali, e l’interazione dei vari livelli linguistici complica ulteriormente la situazione: non è ancora chiaro se la componente lessicale / sintattica debba essere considerata come dipendente o complementare alla componente acustica.

2Nonostante tali problemi, molti studi hanno analizzato il parlato emozionale con l’obiettivo di individuare i correlati acustici specifici dei vari stati emozionali. Alcuni studi hanno dimostrato che variazioni sistematiche della frequenza fondamentale (sia in termini di pitch range, sia in termini di pitch medio) accompagnano realizzazioni di parlato con valenza positiva (Burkhardt & Sendlmeier, 2000). Ma anche altri parametri prosodici sembrano avere un ruolo importante nella comunicazione delle emozioni: sono stati riscontrati effetti dell’intensità e della velocità d’eloquio (Johnstone & Scherer, 2000); infatti, varie misure acustiche (deviazione standard della frequenza fondamentale, energia media, durata dei periodi, spectral-dropoff, etc.) sono state usate per predire i giudizi di parlanti madrelingua (Banse & Scherer, 1996) e vari altri parametri sono stati usati in altri studi (cf. Schröder et al., 2001, e Audibert, Aubergé & Rilliard, 2005).

3Tuttavia, uno dei limiti di questi studi riguarda l’affidabilità dei dati: data la difficoltà di elicitare parlato emozionale controllato, gran parte degli studi utilizza registrazioni di parlato recitato, che spesso risulta stereotipato o esagerato (Scherer, 2003). In questo contributo, verifichiamo se la sentiment analysis (d’ora in poi: SA) possa essere d’aiuto in questo senso. La SA, ovvero lo studio delle opinioni, sentimenti, recensioni delle persone in forma testuale (Liu, 2003), è un settore NLP in rapida crescita, grazie anche all’ampio ventaglio di applicazioni, quali la classificazione di email (Mohammad & Yang, 2011), romanzi (Mohammad, 2011), recensioni cinematografiche (Sadikov, 2009), recensioni di articoli o servizi acquistati (McGlohon, Glance & Reiter, 2010). I sistemi di SA vanno da metodi a regole relativamente semplici, fino a tecniche avanzate di deep learning - vedi Liu (2012) per una rassegna.

4In questo studio, verifichiamo la relazione tra i valori di SA e le caratteristiche acustiche del parlato letto elicitato in maniera naturale, estrapolate da audiolibri. Il fine ultimo è quello di estendere l’analisi a dati di parlato spontaneo; tuttavia, dati i numerosi problemi che questo tipo di parlato comporta, abbiamo preferito iniziare da dati di parlato letto in cui le emozioni non fossero state elicitate esplicitamente. Per misurare il grado di emozione espresso dal testo degli audiolibri, sono stati utilizzati SentiWordNet (Baccianella, Esuli & Sebastiani, 2010) e Vader (Gilbert & Hutto, 2014), che operano principalmente a livello lessicale. Sul piano acustico, abbiamo estratto vari indici (per lo più prosodici) descritti in letteratura. Un’analisi simile a questa, che studia la correlazione tra SA e parametri acustici, è stata condotta da Charfuelan & Schröder (2012) su dati di un solo speaker e di un solo audiolibro. Qui estendiamo l’analisi a 251 audiolibri letti da speaker diversi, nella speranza che i risultati abbiano sia rilevanza teorica (studio dell’interazione tra livello lessicale e acustico nel parlato emozionale), sia un risvolto pratico (utilizzo della SA per la selezione di parlato emozionale non recitato).

2 Dati e metodologia

2.1 Corpus

5Per studiare la correlazione tra i valori della SA e le caratteristiche acustiche del parlato emozionale, abbiamo utilizzato LibriSpeech (Panayotov et al., 2015), un corpus open-source contenente circa 1000 ore di parlato in inglese. I dati di LibriSpeech provengono a loro volta dal progetto LibriVox (una collezione di audiolibri di dominio pubblico, disponibili su librivox.org), e i testi sono stati segmentati e allineati automaticamente dagli autori del corpus. Ai fini di questo studio, abbiamo limitato l’analisi alla sezione train-clean-100 del corpus (contenente 100 ore di parlato corretto e pulito, originariamente concepito come training set per sistemi ASR), che include i dati di 251 audiolibri. I lettori sono un mix di professionisti e non-professionisti di sesso maschile e femminile (l’età non è riportata). L’elenco dei testi registrati (consultabile sul sito web di LibriVox) include principalmente opere letterarie britanniche e americane, antiche e moderne.

6Tutto il materiale è stato trascritto foneticamente con il front-end del sistema TTS Vocalizer di Nuance Communications, secondo il modello di General American. Le trascrizioni sono poi state allineate al segnale acustico e infine convertite in formato TextGrid per essere utilizzate con Praat (Boersma & Weenink, 2018).

2.2 Metriche di sentiment analysis

7I valori di SA sono stati estratti dal testo di ciascuna frase usando strumenti open-source, quali Vader (Gilbert & Hutto, 2014) e SentiWordNet (Baccianella et al., 2010), entrambi disponibili nella libreria NLTK di Python. Si tratta di strumenti classici nella letteratura sulla SA e relativamente semplici dal punto di vista dell’utilizzo e dell’implementazione (trattandosi di sistemi a regole). In futuro, l’analisi potrebbe essere estesa utilizzando strumenti più complessi e sofisticati, come i modlui di SA dei progetti OpeNER (http://www.opener-project.eu/) e StanfordNLP (https://nlp.stanford.edu/).

8Vader fornisce tre valori: (a) un punteggio di polarità positiva compreso tra 0 e 1 (Vader_comp), (b) un punteggio di polarità negativa compreso tra 0 e 1, (c) un punteggio derivato dagli altri due compreso tra -1 (negativo) e +1 (positivo). Questi valori sono ricavati grazie a un sistema a regole, basato sul lessico Vader, nel quale le parole sono associate a un punteggio di polarità ottenuto dalle valutazioni di 13 madrelingua. SentiWordNet adotta un approccio leggermente diverso: le parole nel suo lessico sono associate a punteggi di polarità positiva o negativa procurati tramite un’analisi quantitativa di ogni synset (vedi Baccianella et al., 2010, per maggiori dettagli).

9I valori di Vader_comp sono stati valutati sulla base di un sottoinsieme di 1000 frasi annotate manualmente da uno degli autori (prendendo frasi isolate, quindi senza informazioni sul contesto o sul co-testo), ottenendo un’accuratezza pari al 72%.

2.3 Indici acustici del parlato emozionale

10Sebbene la maggior parte degli studi si concentrino sui parametri acustici a livello di frase, noi abbiamo applicato l’analisi anche a livello di parola, sulla base dell’ipotesi che le parole con carica emozionale possano essere caratterizzate da specifici indici acustici (Tsiakoulis et al., 2016).

11Per l’analisi a livello di frase, gli indici acustici sono stati estratti per ogni frase. Per l’analisi a livello di parola, invece, gli indici acustici sono stati estratti dalla vocale accentata delle parole non funzionali al fine di controllare le differenze spettrali dei vari fonemi vocalici (il fonema vocalico è stato incluso come fattore nell’analisi statistica). I seguenti indici acustici sono stati estratti tramite Praat: F0 mean (frequenza fondamentale media in semitoni), F0 stdev (in semitoni), F0 range (0.05-0.95), F0 max (0.95), F0 min (0.05), shimmer, jitter, Hammarberg index (HAM, differenza tra il massimo di energia nelle bande 0-2 kHz e 2-5kHz, cf. Hammarberg et al., 1980), Do1000 (riduzione di energia spettrale oltre 1000 Hz), Pe1000 (energia relativa a frequenze oltre 1000 Hz vs energia sotto i 1000 Hz, cf. Scherer, 1989, e Drioli et al., 2003). I valori di F0 sono stati estratti tramite il metodo di autocorrelazione di Praat (con i parametri di default) secondo una procedura in 2 fasi: in una prima fase, l’estrazione è stata fatta con un range fisso 75-400 Hz; l’intervallo interquartile (IQR) è stato calcolato sui valori così ottenuti, e una seconda estrazione è stata realizzata nel range tra +50% e -25% dall’IQR.

12Inoltre, per l’analisi a livello di frase abbiamo estratto la durata totale in ms dal primo all’ultimo fonema (DUR), speech rate (SR, numero di fonemi diviso la durata complessiva incluse le pause), articulation rate (AR, senza le pause), pause/speech ratio (PSR).

13Tutti i parametri acustici estratti sono stati trasformati in z-scores per ogni speaker, nel tentativo di normalizzare le differenze tra speakers. Le frasi contenenti meno di 3 secondi di parlato sono state escluse dall’analisi. Per ogni parametro acustico, i valori che si scostavano >2.5 deviazioni standard dalla media sono stati esclusi come probabili errori di detezione.

3 Risultati

3.1 Analisi a livello di frase

14I dati sono stati analizzati su R tramite modelli a effetti misti con la libreria lme4 (Bates et al., 2014) per valutare la relazione tra valori di SA e parametri acustici. In una prima analisi, abbiamo costruito dei modelli per valutare l’effetto di Vader_comp (che prendiamo come indicativo di valenza) su ogni indice acustico separatamente, includendo sempre il fattore speaker come effetto aleatorio, es.: F0_range ~ Vader_comp + (1 | speaker). Questa prima analisi ha rivelato che il valore di Vader_comp ha un effetto significativo sui valori di F0, in particolare F0 max, F0 range, F0 mean e F0 stdev (v. tabella 1).

15L’effetto di Vader_comp non è risultato significativo per la predizione degli indici di ritmo e durata. Quindi abbiamo voluto verificare se questi parametri si correlino con l’intensità di attivazione, piuttosto che con la valenza. Abbiamo quindi valutato modelli separati per frasi negative (Vader_comp < 0) vs positive (Vader_comp > 0). Tali modelli hanno mostrato che il valore Vader di positività (range:0-1) ha un effetto significativo non solo sugli indici di F0, ma anche su AR, PSR, shimmer, HNR, Do1000, Pe1000 e HAM. Analogamente, il valore Vader di negatività (range:0-1) ha un effetto significativo per gli indici di F0, nonché su AR e shimmer (v. tabella 2).

16Questi risultati sembrano quindi suggerire che gli indici di F0 siano influenzati dalla valenza della frase, mentre gli indici ritmici e spettrali si correlano con l’intensità di positività o negatività della frase. Tuttavia, la parte di varianza spiegata dai vari modelli rimane bassa, con ad esempio R² = 0.01 per il modello che predice AR.

17Infine, abbiamo costruito un modello a effetti misti per predire Vader_comp a partire dagli indici acustici, includendo il fattore ‘speaker’ come effetto aleatorio. Dopo l’eliminazione degli effetti non significativi, abbiamo ottenuto R² = 0.06 per la contribuzione cumulativa di tutti gli indici acustici significativi. Considerando separatamente le frasi con valori positive e negativi (cercando quindi di predire i valori Vader di positività e negatività sulla base degli indici acustici), R² sale a 0.09 per il modello che predice i valori Vader di positività, e a 0.12 per il modello che predice i valori Vader di negatività.

3.2 Analisi a livello di parola

18Analogamente a quanto fatto a livello di parola, in una prima analisi abbiamo costruito dei modelli a effetti misti per valutare la relazione tra valori di SA e ognuno dei parametri acustici separatamente. Come variabile predictor abbiamo utilizzato il valore di valenza per ogni parola nel lessico di Vader, e abbiamo incluso il fattore ‘speaker’ come effetto aleatorio. Inoltre, per i parametri spettrali HNR, Do1000, Pe1000 e HAM abbiamo incluso il fattore ‘fonema’ come effetto aleatorio, poiché tali parametri variano in funzione delle diverse vocali. Come per l’analisi a livello di frase, i modelli ci dicono che il valore di valenza di Vader ha un effetto significativo sugli indici F0 min, F0 range, F0 mean, F0 stdev, e questa volta anche shimmer e jitter (v. tabella 3).

19In una seconda analisi, come a livello di frase, abbiamo voluto verificare se i parametri acustici fossero correlati all’intensità di attivazione positiva o negativa della parola. Per far questo, abbiamo costruito altri modelli separati per parole con valenza positiva (SentiWordNet pos value > 0) in frasi positive (Vader_comp > 0) e per parole con valenza negativa (SentiWordNet neg value > 0) in frasi negative (Vader_com < 0). I modelli relativi a parole positive hanno rivelato un effetto significativo di SentiWordNet pos value su HNR, Do1000 e Pe1000, ma solo marginalmente significativi sugli indici di F0. I modelli relativi a parole negative in frasi negative hanno rivelato un effetto significativo di SentiWordNet neg value su HNR, Do1000, Pe1000, e HAM (v. tabella 4).

20Nell’analisi a livello di frase, la parte di varianza spiegata da questi modelli era più alta (R² = 0.4 per Do1000 e Pe1000) rispetto all’analisi a livello di parola; tuttavia, ciò è dovuto soprattutto all’integrazione del fattore ‘fonema’ all’interno dei modelli; la parte di varianza spiegata dai valori di SentiWordNet ha raggiunto solo 0.004 e 0.007 per Do1000 e Pe1000 rispettivamente.

4 Conclusioni

21La correlazione tra indici lessicali e acustici del parlato letto emozionale sembra essere significativa, ma di portata ridotta, sia a livello di parola, sia a livello di frase. Gli indici di F0 sembrano essere influenzati dalla valenza della frase e della parola, ma la parte di varianza spiegata rimane ridotta. Tali risultati confermano ed estendono quanto riportato da Charfuelan & Schröder (2012) su dati di un solo audiolibro, in cui erano state osservate correlazioni moderate per indici di F0 ed energia.

22I dati mostrano una grande quantità di variabilità inter-speaker: risulta evidente che i locutori utilizzano diversi indici acustici per esprimere stati emozionali. Inoltre, un limite della nostra analisi risiede nell’utilizzo (inevitabile, data la mole di dati analizzati) di trascrizioni e annotazione automatiche, i cui errori causano senza dubbio un certo tasso di rumore nei dati, riducendo le relazioni osservabili tra le diverse variabili studiate. Infine, l’assenza di puntuazione nel corpus LibriSpeech rende impossibile (o molto complesso) differenziare tra discorso indiretto e diretto, nel quale ci si potrebbe aspettare un parlato più prettamente emozionale. Per il futuro, simili ipotesi potranno essere verificate su corpora più recenti costruiti con fini più specifici e adatti, come SynPaFlex (Sini et al., 2008).

23Per concludere, riprendiamo il tema dell’interazione tra i vari livelli linguistici per l’espressione delle emozioni nel parlato. I risultati del nostro studio suggeriscono che i vari livelli linguistici analizzati (lessicale e acustico) sono relativamente slegati uno dall’altro per l’espressione delle emozioni. Questo significa che, per una determinata frase, i locutori hanno tendenza ad affidare l’espressione dello stato emozionale a uno solo dei due livelli analizzati. Questo può essere vero soprattutto per il parlato letto, in cui il locutore non è coinvolto direttamente, soprattutto nel caso del narratore di un audiolibro. Dunque, l’utilizzo della SA per lo studio del parlato emozionale appare non del tutto appropriato per selezionare materiale emozionalmente marcato, in quanto si baserebbe sull’assunzione che gli indici lessicali e acustici di emozionalità vadano di pari passo e tendano a co-occorrere. Tuttavia, rimane da esplorare la correlazione tra variabili lessicali e acustiche per altri tipi di parlato, in particolar modo per il parlato spontaneo – in cui i locutori siano più direttamente coinvolti rispetto al contenuto semantico.