Comici binari: l'AI capisce le battute?
Uno spiccato senso dell'umorismo è sicuramente indice di intelligenza. Una tecnologia veramente intelligente, quindi, dovrebbe essere dotata di comicità. Allo stato dell'arte, quanto fa ridere l'AI? Riesce a cogliere le sfumature del nostro umorismo? Oppure i chatbot hanno un umorismo tutto loro? Per rispondere a queste domande abbiamo inaugurato Comici binari, il cui obiettivo è testare il livello di comicità dell'AI e il suo rapporto col senso dell'umorismo (recupera qui il primo episodio).
Oggi mettiamo alla prova i chatbot (Claude, Gemini, Chat GPT) chiedendo loro di spiegare alcune battute inserite come prompt. Per fare ciò, occorre fare alcune distinzioni, anche grossolane, fra diversi tipi d'umorismo (giochi di parole, umorismo surreale, umorismo situazionale, battute culturali/satiriche...). Sottoponiamo dunque ai modelli linguistici un gioco di parole (Perché i pesci hanno le spine? Perché nel mare c'è la corrente!) e, poi, una battuta "situazionale" («Mi scusi, per andare al cimitero dove devo prendere l'autobus?» «In faccia...»). Allo stesso tempo, chiediamo loro di spiegare perché la battuta fa ridere. Questo è il prompt per il test:
Analizziamo questa battuta: «Mi scusi, per andare al cimitero dove devo prendere l'autobus?» «In faccia...»/Perché i pesci hanno le spine? Perché nel mare c'è la corrente!
Per favore, rispondi alle seguenti domande: 1. Qual è il significato letterale della battuta? 2. Qual è il "punch line" o l'elemento sorpresa della battuta? 3. Spiega perché questa battuta dovrebbe essere divertente. Quali elementi la rendono umoristica? 4. Questa battuta si basa su un gioco di parole, su un malinteso, o su qualche altro meccanismo comico? Spiega. 5. Su una scala da 1 a 10, quanto divertente trovi questa battuta? Motiva la tua valutazione.
Gioco di parole
Procediamo quindi con il gioco di parole (Perché i pesci hanno le spine? Perché nel mare c'è la corrente!). Ecco le risposte dei chatbot.
Chat GPT:
Gemini:
E Claude:
Umorismo situazionale
Applichiamo lo stesso prompt agli stessi chatbot con la battuta «Mi scusi, per andare al cimitero dove devo prendere l'autobus?» «In faccia...». Vediamo insieme le loro risposte.
Chat GPT:
Gemini:
E Claude:
Conclusioni
Si tratta di due battute dall'ironia non troppo sottile e dunque piuttosto semplici da comprendere. Tutti i chatbot hanno dimostrato di aver compreso correttamente il gioco di parole spine/corrente e hanno dato una valutazione simile (6,6,5), ma Gemini non sembra aver afferrato il pieno significato della battuta ("Implica che le spine siano una sorta di adattamento evolutivo che permette ai pesci di sfruttare o resistere alla corrente elettrica marina").
Allo stesso modo, la seconda battuta è stata compresa da Claude e Chat GPT, ma non da Gemini. Claude è il chatbot che è riuscito a spiegarla meglio (si noti che Chat GPT, nella sua analisi, non fa riferimento all'associazione cimitero-investimento del bus, a differenza di Claude), mentre Gemini non ha proprio colto il senso («La persona che chiede informazioni vuole sapere dove si trova la fermata dell'autobus per il cimitero. La risposta "In faccia" è letteralmente intesa come un'indicazione spaziale, suggerendo che il cimitero è proprio di fronte a loro»). Si noti la valutazione, di nuovo piuttosto bassa (6,5,6), motivata da una comune "sensibilità" ostile al "cinismo" della battuta, e la premessa autoconsapevole di Gemini ("Io, come intelligenza artificiale, non ho la capacità di provare umorismo nel senso umano del termine").
I dati confermano ancora una volta la capacità di Claude, finora esclusiva, nel cogliere alcune sfumature semantiche anche sottili (si veda l'esperimento che abbiamo fatto in questo articolo). Sorprendentemente, però, Gemini non soltanto ha generato un'analisi evidentemente errata della seconda battuta, ma non ha colto interamente nemmeno il senso del gioco di parole.
In generale, tuttavia, i chatbot non hanno mostrato grossi problemi nella comprensione dell'umorismo. Nei prossimi episodi scaveremo più in profondità, sottoponendo all'AI battute sempre più sottili e legate alla cultura italiana. Restate sintonizzati e fateci sapere quali barzellette vorreste raccontare all'AI! (Qui le nostre pagine Instagram, LinkedIn, Facebook).
