Un ramo di Google chiamato Jigsaw ha lanciato un progetto per porre fine alle molestie on-line utilizzando l’apprendimento automatico. Con questo si vuole dire basta alla diffusione delle notizie fasle che tanto fanno discutere in questo periodo, ma anche basta ai disturbatori in rete detti ‘haters’ con il loro linguaggio violento e offensivo.

Il 23 febbraio, Jigsaw con il suo partner Counter Abuse Technology Team di Google per contrastare gli abusi hanno messo a punto un codice chiamato Perspective, che ha richiesto oltre un anno di lavoro e fa uso dell’apprendimento automatico (machine learning ) per rilevare automaticamente insulti e parole/frasi offensive on-line. A Google piace dire che Perspective aiuta a identificare i commenti ‘tossici’. Una tecnologia in fase iniziale e sempre in sviluppo, Perspective viene resa disponibile attraverso una API a editori – tra cui i membri del Notizie Digital Initiative – e piattaforme, che possono integrarla e usarla nei propri siti e applicativi.

Immaginate di provare di avviare una conversazione in un sito con i vostri tuoi amici su una notizia letta questa mattina, ma ogni volta che scrivi qualcosa qualcuno risponde in maniera sgradita, con faccine provocatorie oppure accusandoti di aver detto cose mai scritte. Probabilmente si reagisce lasciando la conversazione. Purtroppo, online sempre piu’ spesso le persone non avendo un contatto faccia a faccia con chi si stanno rapportando si sentono libere di scrivere quello che vogliono. Lo stesso concetto si puo’ replicare nei commenti sui forum, sui video di Youtube, nelle foto di Instagram e quant’altro.

Secondo un rapporto citato da Google, il 72 per cento degli utenti americani che stanno su internet hanno assistito a molestie on-line e quasi la metà le ha personalmente sperimentate. Quasi un terzo auto-censura ciò che pubblica on-line per timore di ritorsioni. Secondo lo stesso rapporto, le molestie on-line hanno influenzato le vite di circa 140 milioni di persone negli Stati Uniti, e molte altre altrove.

Questo problema non si limita ad un impatto ai lettori online. Gli editori di notizie vogliono incoraggiare l’impegno e la discussione intorno ai contenuti che pubblicano, ma devono poi perdere un sacco di tempo per moderare i commenti per colpa degli ‘haters’. Come risultato, molti siti hanno preferito togliere i commenti del tutto, anche se magari non volevano arrivare fino a quel punto. Google ritiene che la tecnologia puo’ venire incontro alle esigenze degli editori, ma anche puo’ contribuire a rendere per gli utenti la scoperta di contenuti e la partecipazione a conversazioni online migliore.

Come funziona Perspective? La tecnologia valuta le frasi nei commenti a cui assegna un punteggio in base a quanto sono simili alle frasi che in passato sono gia’ state archiviate come "dannose" o che potrebbero portare qualcuno a lasciare una conversazione. Per informazioni su come individuare il linguaggio potenzialmente dannoso, Perspective ha esaminato centinaia di migliaia di commenti che sono stati etichettati da revisori umani. Ogni volta che Perspective trova nuovi esempi di commenti potenzialmente negativi, o vengono segnalati frasi o commenti manualmente da parte degli utenti, la tecnologia impara per meglio funzionare nell’analisi dei commenti futuri.

Gli editori che scelgono di utilizzare l’API di Perspective hanno la possibilità di decidere cosa vogliono fare con le informazioni che ricevono dal sistema. Ad esempio, un editore potrebbe scegliere che i commenti che secondo Perspective sono negativi vengano portati all’attenzione di un team di persone a cui spetta la decisione finale se includere il commento in una conversazione oppure no, mentre un altro editore potrebbe decidere di fare affidamento solo a Perspective e bloccare ogni commento segnalato in automatico.

Google ha spiegato di aver testato una versione di questa tecnologia con il New York Times, dove un intero team passa al setaccio e modera ogni commento prima di essere postato, con una media di 11.000 commenti ogni giorno. Si tratta di tantissimi commenti, cosa che porta il Times ad avere commenti solo su circa il 10 per cento degli articoli che pubblica sul web. Google con il NYT ha lavorato per formare modelli che permettano ai moderatori di gestire piu’ facilmente e rapidamente i commenti, cosi’ da permettere la pubblicazione di piu’ commenti su più articoli ogni giorno.

Perspective unisce la biblioteca TensorFlow e la piattaforma Cloud Machine Learning Platform come una delle tante nuove risorse di apprendimento automatico che Google ha messo a disposizione per gli sviluppatori fino ad oggi. Come scritto in precedenza, Perspective è una tecnologia in fase iniziale e sempre in sviluppo. Partendo da qui ed ora, Google e Jigsaw intendono migliorare la tecnologia e lavorare per espanderla. Il primo modello è stato progettato per individuare le frasi negative, ma nel corso del prossimo anno c’è la volontà di collaborare con altri partner e fornire nuovi modelli che lavorano in lingue diverse dall’inglese, così come modelli in grado di identificare altre prospettive, come ad esempio quando i commenti sono inconsistenti o fuori-argomento.

Nel lungo periodo, Perspective dovrebbe poter cambiare il modo in cui si gestiranno i commenti delle conversazioni online – sui siti web, piattaforme social e anche forum – ma tutto dipenderà dagli sviluppatori che vorranno aderire al progetto e iniziare a usare le API da oggi a loro disposizione.