Si attribuisce a Nikola Tesla l’affermazione “Vivrete abbastanza a lugo da vedere orrori creati dall’uomo che andranno oltre ogni immaginazione”. Ebbene, mai come oggi quegli orrori di cui parlava Tesla sembra stiano cominciando ad affacciarsi sul palcoscenico della storia umana con quotidiana frequenza. Prendiamo per esempio l’ultima trovata di Activision: dal 10 novembre, data di lancio di Call of Duty®: Modern Warfare® III, la software house implementerà un nuovo sistema di moderazione della chat vocale in tempo reale chiamato ToxMod, una tecnologia “basata sull'intelligenza artificiale di Modulate, per identificare in tempo reale e rimuovere i discorsi tossici, inclusi incitamento all'odio, linguaggio discriminatorio, molestie e altro ancora. Questo nuovo modello di sviluppo rafforzerà i sistemi di moderazione in uso guidati dal team anti-tossicità di Call of Duty, che includono filtri text-based in 14 lingue per il testo di gioco (chat e nomi utente), nonché un solido sistema di reporting dei giocatori all’interno del gioco”.

ToxMod tuttavia è già in funzione: dal 30 agosto infatti, partendo dal Nord America per poi estendersi in tutto il mondo (Asia esclusa), le chat vocali di Call of Duty: Modern Warfare II e Call of Duty: Warzone™ hanno cominciato a implementare la versione beta del software di intelligenza artificiale di Modulate per monitorare i comportamenti dannosi e i linguaggi inappropriati o “tossici”. Dal 10 novembre prossimo, col lancio di Modern Warfare III, tutti gli ultimi titoli Call of Duty riceveranno la versione completa di ToxMod, dapprima in lingua inglese, e a seguire anche nelle altre lingue.

Modulate descrive ToxMod come "l'unica soluzione proattiva di moderazione della chat vocale creata appositamente per i giochi". Mentre il sito web ufficiale elenca alcuni giochi in cui ToxMod è già in uso (per lo più piccoli giochi VR come Rec Room), le centinaia di migliaia di giocatori giornalieri di Call of Duty rappresenteranno probabilmente la più grande distribuzione dello strumento di moderazione fino ad oggi.

Il problema di questi nuovi software basati su controllo tramite IA è che rendono fin troppo facile immaginare scenari distopici di sorveglianza digitale nei quali tecnologie come ToxMod vengano poste all’ordine del giorno per bloccare e censurare il pensiero e la parola degli utenti, sotto l’ipocrita facciata del “lo facciamo per proteggervi”.

Modulate prova a difendersi dicendo che l'IA ToxMod di Call of Duty non avrà libero sfogo nell'emettere ban ai giocatori.  

Nella Q&A sul sito di Activision dedicata proprio a questo genere di chiarimenti si afferma – ovviamente ­- che l'unico compito dell'intelligenza artificiale è “osservare e segnalare, non punire”. Nessuno direbbe mai il contrario: anche nella politica etica delle nuove regole sui servizi digitali europei (DSA) viene specificato che il loro fine non è quello di censurare ma di “proteggere”, eppure, per qualche motivo risulta sempre più faticoso da credere, servirebbe un livello di ingenuità talmente colpevole da risultare offensivo.

"Il sistema di moderazione della chat vocale di Call of Duty invia solo segnalazioni di comportamenti tossici, classificati in base al tipo di comportamento e a un livello di gravità valutato basato su un modello in evoluzione", si legge ancora nelle risposte. "E’ Activision a determinare come imporre le violazioni della moderazione della chat vocale."

Quindi, mentre i reclami contro di te tramite chat vocale, in teoria, saranno giudicati da un essere umano prima che venga intrapresa qualsiasi azione, ToxMod esamina più delle semplici parole chiave quando segnala potenziali offese. Modulate afferma che il suo strumento è unico per la sua capacità di analizzare il tono e l'intento del discorso per determinare cosa è e cosa non è tossico. Se foste curiosi di sapere come si ottiene un simile risultato, non troverete risposte esaurienti, solo tanta retorica futurista che fa gaslighting con le vostre preoccupazioni più che lecite (come siamo abituati dalle aziende di intelligenza artificiale).

Modulate afferma che il suo modello linguistico prevede l'ascolto di ore di discorsi di persone con background diversi; inoltre dispone della capacità di distinguere accuratamente tra malizia e affermazioni o terminologie non offensive o lesive. Nella policy di Modulate si esplicita che ToxMod non rileva o identifica l'etnia dei singoli parlanti", ma "ascolta i segnali di conversazione per determinare come gli altri utenti nella conversazione stiano reagendo all'uso di [certi] termini. Ad esempio: se la parola “ni**er” venisse usata da utenti afroamericani o altri gruppi etnici non bianchi - dunque con un’accezione positiva che indica cameratismo e rivendicazione di ciò che un tempo era un insulto - il sistema ne valuterebbe l’impiego in maniera molto meno grave rispetto invece a chi usasse il termine con l’intenzione di offendere o arrecare danno.

Nell’informativa si fa riferimento anche ai bambini: “se rileviamo un parlante in età prepuberale in una chat, potremmo valutare alcuni tipi di reati più severamente a causa del rischio per quel bambino".

Il diavolo però – è risaputo - si nasconde nei dettagli… A partire dal mese di giugno le categorie di segnalazione sono diventate ancora più risolute e… come dire…: dettagliate. Modulate infatti ha introdotto la categoria "radicalizzazione violenta" nella moderazione della chat vocale, in grado di segnalare "termini e frasi relativi a gruppi suprematisti bianchi, radicalizzazione ed estremismo, in tempo reale".

L'elenco di ciò che ToxMod afferma di rilevare in quest’ambito include “promuovere o condividere una ideologia; reclutare o convincere altri a unirsi a un gruppo o movimento; adescamento mirato o convinzione di individui vulnerabili (ad esempio; bambini e adolescenti) a unirsi a un gruppo o movimento; pianificare azioni violente o pianificare attivamente di commettere violenza fisica”

"Utilizzando ricerche di gruppi come ADL [Anti Defamation League, l’organizzazione che difende la comunità ebrea dall’antisemitismo NdA], studi come quello condotto dalla New York University, l'attuale leadership di pensiero e conversazioni con persone nel settore dei giochi", si legge ancora sul sito dell’azienda, "abbiamo sviluppato la categoria per identificare i segnali che hanno un'alta correlazione con movimenti estremisti, anche se il linguaggio in sé non è violento. (Ad esempio, 'portiamo questo su Discord' potrebbe essere innocente, o potrebbe essere una tattica di reclutamento.)"

Per essere un software di moderazione di un videogioco, gli obiettivi e lo spettro di rilevazione paiono fin troppo esposte a strumentalizzazioni politiche per finalità di controllo.

Activision ha tuttavia ribadito che ToxMod sarà semplicemente l'intermediario tra i potenziali trasgressori e un team di moderazione umana. Sebbene le macchinazioni del processo decisionale dell'IA siano intrinsecamente vaghe, la software house afferma che la sua applicazione alla fine rispetterà il Codice di condotta ufficiale di Call of Duty.