Alla fine del 2019, il gruppo di dipendenti di Facebook incaricato di prevenire i danni sulla rete si è riunito per discutere dell’anno a venire. Al Civic Summit, come è stato chiamato, i leader hanno annunciato dove avrebbero investito risorse per fornire maggiori protezioni in occasione delle imminenti elezioni globali, e anche dove non lo avrebbero fatto. Con una mossa che è diventata standard per l’azienda, Facebook ha ordinato i paesi del mondo in livelli.
Brasile, India e Stati Uniti sono stati inseriti nel “livello zero”, la priorità più alta. Facebook ha creato delle “war room” per monitorare continuamente la rete. Hanno creato dashboard per analizzare l’attività di rete e avvisato i funzionari delle elezioni locali di eventuali problemi.
Germania, Indonesia, Iran, Israele e Italia sono state collocate al primo posto. Avrebbero ricevuto risorse simili, meno alcune risorse per l’applicazione delle regole di Facebook e per gli avvisi al di fuori del periodo immediatamente successivo alle elezioni.
Al secondo livello sono stati aggiunti 22 paesi. Dovrebbero fare a meno delle stanze della guerra, che Facebook chiama anche “centri operativi avanzati”.
Il resto del mondo è stato inserito nel terzo livello. Facebook esaminerebbe il materiale relativo alle elezioni se fosse inoltrato a loro dai moderatori dei contenuti. Altrimenti non interverrebbe.
Il sistema è descritto nelle informazioni fornite alla Securities and Exchange Commission e fornite al Congresso in forma redatta dal consulente legale di Frances Haugen. Un consorzio di organizzazioni giornalistiche, tra cui Platformer e The Verge , ha ottenuto le versioni redatte ricevute dal Congresso. Alcuni documenti sono serviti come base per la segnalazione del The Wall Street Journal .
I file contengono una vasta gamma di documenti che descrivono la ricerca interna dell’azienda, i suoi sforzi per promuovere la sicurezza e il benessere degli utenti e le sue lotte per rimanere rilevanti per un pubblico più giovane. Evidenziano il grado in cui i dipendenti di Facebook sono consapevoli delle lacune nelle loro conoscenze su questioni di interesse pubblico e i loro sforzi per saperne di più.
Ma se un tema si distingue più degli altri, è la variazione significativa nelle risorse di moderazione dei contenuti offerte ai diversi paesi in base a criteri che non sono pubblici o soggetti a revisione esterna. Per il paese di origine di Facebook, gli Stati Uniti, e altri paesi considerati ad alto rischio di violenza politica o instabilità sociale, Facebook offre una suite potenziata di servizi progettati per proteggere il discorso pubblico: traduzione del servizio e dei suoi standard comunitari nelle lingue ufficiali; costruire classificatori di intelligenza artificiale per rilevare l’incitamento all’odio e la disinformazione in quelle lingue; e team di personale per analizzare i contenuti virali e rispondere rapidamente a bufale e incitamento alla violenza 24 ore su 24, 7 giorni su 7.
Altri paesi, come l’Etiopia, potrebbero anche non avere gli standard comunitari dell’azienda tradotti in tutte le sue lingue ufficiali. I classificatori di apprendimento automatico per rilevare l’incitamento all’odio e altri danni non sono disponibili. I partner di controllo dei fatti non esistono. Le sale di guerra non aprono mai.
Per un’azienda normale, non è controverso allocare le risorse in modo diverso in base alle condizioni di mercato. Ma dato il ruolo chiave di Facebook nel discorso civico – sostituisce efficacemente Internet in alcuni paesi – le disparità sono motivo di preoccupazione.
Da anni ormai, attivisti e legislatori di tutto il mondo hanno criticato l’azienda per la disuguaglianza nel suo approccio alla moderazione dei contenuti. Ma i Facebook Papers offrono uno sguardo dettagliato su dove Facebook fornisce uno standard di cura più elevato e dove no.
Tra le disparità:
- Facebook mancava di classificatori di disinformazione in Myanmar, Pakistan ed Etiopia, paesi designati a più alto rischio l’anno scorso.
- Mancava anche classificatori di incitamento all’odio in Etiopia, che è nel bel mezzo di un sanguinoso conflitto civile.
- Nel dicembre 2020, uno sforzo per inserire esperti linguistici nei paesi era riuscito solo in sei dei dieci paesi di “livello uno” e zero paesi di livello due.
Miranda Sissons, direttrice della politica sui diritti umani di Facebook, mi ha detto che l’allocazione delle risorse in questo modo riflette le migliori pratiche suggerite dalle Nazioni Unite nei suoi Principi guida su imprese e diritti umani . Tali principi richiedono alle aziende di considerare l’impatto sui diritti umani del loro lavoro e di lavorare per mitigare eventuali problemi in base alla loro portata, gravità e se l’azienda può progettare un rimedio efficace per loro.
Sissons, attivista e diplomatico di carriera per i diritti umani, è entrato a far parte di Facebook nel 2019. Quello è stato l’anno in cui l’azienda ha iniziato a sviluppare il suo approccio a quelli che l’azienda chiama “paesi a rischio” – luoghi in cui la coesione sociale è in declino e dove la rete di Facebook e i poteri di amplificazione del rischio incitamento alla violenza.
La minaccia è reale: altri documenti nei Facebook Papers descrivono in dettaglio come i nuovi account creati in India quell’anno sarebbero stati rapidamente esposti a un’ondata di incitamento all’odio e disinformazione se seguissero le raccomandazioni di Facebook. ( Il New York Times ha dettagliato questa ricerca sabato .) E anche negli Stati Uniti, dove Facebook investe di più nella moderazione dei contenuti, i documenti riflettono il grado in cui i dipendenti sono stati sopraffatti dall’ondata di disinformazione sulla piattaforma che ha portato a l’attacco al Campidoglio del 6 gennaio. ( Il Washington Post e altri hanno descritto questi record durante il fine settimana .)
I documenti mostrano che Facebook può condurre sofisticate operazioni di intelligence quando lo desidera. Un caso di studio non datato sulle “reti di danno avverso in India” ha esaminato il Rashtriya Swayamsevak Sangh, o RSS, un’organizzazione paramilitare nazionalista e anti-musulmana, e il suo uso di gruppi e pagine per diffondere contenuti provocatori e fuorvianti.
L’indagine ha rilevato che un singolo utente nell’RSS aveva generato più di 30 milioni di visualizzazioni. Ma l’indagine ha rilevato che, in larga misura, Facebook sta volando alla cieca: “La nostra mancanza di classificatori hindi e bengalesi significa che gran parte di questo contenuto non viene mai segnalato o attivato”.
Una soluzione potrebbe essere quella di penalizzare gli account RSS. Ma i legami del gruppo con il governo nazionalista indiano hanno reso questa proposta delicata. “Dobbiamo ancora presentare una candidatura per la designazione di questo gruppo, date le sensibilità politiche”, hanno affermato gli autori.
Facebook probabilmente spende di più per gli sforzi di integrità rispetto a qualsiasi dei suoi pari, sebbene sia anche il più grande dei social network. Sissons mi ha detto che idealmente, gli standard della community dell’azienda e le capacità di moderazione dei contenuti AI sarebbero tradotti in ogni paese in cui opera Facebook. Ma anche le Nazioni Unite supportano solo sei lingue ufficiali ; Facebook ha madrelingua che moderano i post in più di 70.
Anche nei paesi in cui i livelli di Facebook sembrano limitare i suoi investimenti, ha affermato Sissons, i sistemi dell’azienda scansionano regolarmente il mondo alla ricerca di instabilità politica o altri rischi di escalation della violenza in modo che l’azienda possa adattarsi. Alcuni progetti, come la formazione di nuovi classificatori di incitamento all’odio, sono costosi e richiedono molti mesi. Ma altri interventi possono essere attuati più rapidamente.
Tuttavia, i documenti esaminati da The Verge mostrano anche il modo in cui le pressioni sui costi sembrano influenzare l’approccio dell’azienda alla sorveglianza della piattaforma.
In una nota del maggio 2019 intitolata “Massimizzare il valore della revisione umana”, la società ha annunciato che avrebbe creato nuovi ostacoli agli utenti che segnalano incitamenti all’odio nella speranza di ridurre l’onere per i suoi moderatori di contenuti. Ha anche affermato che avrebbe chiuso automaticamente i rapporti senza risolverli nei casi in cui poche persone avessero visto il post o il problema segnalato non fosse grave.
L’autore della nota ha affermato che il 75% delle volte, i revisori hanno scoperto che i rapporti sull’incitamento all’odio non violavano gli standard della comunità di Facebook e che il tempo dei revisori sarebbe speso meglio in modo proattivo alla ricerca di violazioni peggiori.
Ma c’erano anche preoccupazioni per le spese. “Stiamo chiaramente superando il nostro budget di revisione [moderazione dei contenuti di terze parti] a causa del lavoro di applicazione del caricamento anticipato e dovremo ridurre la capacità (tramite miglioramenti dell’efficienza e attrito naturale) per soddisfare il budget”, ha scritto l’autore. “Ciò richiederà riduzioni reali della capacità degli spettatori fino alla fine dell’anno, costringendo a compromessi”.
I dipendenti hanno anche riscontrato che le loro risorse sono messe a dura prova nei paesi ad alto rischio identificati dal sistema di livelli.
“Questi non sono compromessi facili da fare”, osserva l’introduzione a una nota intitolata “Gestione sostenibile del discorso ostile nei paesi a rischio”. (Facebook abbrevia questi paesi come “ARC”.)
“Il supporto agli ARC ha anche un costo elevato per il team in termini di risposta alle crisi. Negli ultimi mesi ci è stato chiesto di combattere a fuoco per le elezioni in India, i violenti scontri in Bangladesh e le proteste in Pakistan”.
La nota afferma che dopo che un paese è stato designato come “priorità”, in genere ci vuole un anno per creare classificatori per l’incitamento all’odio e per migliorare l’applicazione. Ma non tutto diventa una priorità e i compromessi sono davvero difficili.
“Dovremmo dare la priorità alla costruzione di classificatori per i paesi con violenza in corso… piuttosto che violenza temporanea”, si legge nella nota. “Per quest’ultimo caso, dovremmo invece fare affidamento su strumenti di risposta rapida”.
Dopo aver esaminato centinaia di documenti e aver intervistato gli attuali ed ex dipendenti di Facebook su di essi, è chiaro che un grande contingente di lavoratori all’interno dell’azienda sta cercando diligentemente di frenare i peggiori abusi della piattaforma, utilizzando una varietà di sistemi che sono vertiginosi nella loro portata, scala , e raffinatezza. È anche chiaro che stanno affrontando pressioni esterne su cui non hanno alcun controllo: il crescente autoritarismo di destra degli Stati Uniti e dell’India non è iniziato sulla piattaforma e il potere di singole figure come Donald Trump e Narendra Modi di promuovere la violenza e l’instabilità non deve essere sottovalutata.
Eppure, è anche difficile non meravigliarsi ancora una volta della vastità di Facebook; l’incredibile complessità di capire come funziona, anche per le persone incaricate di gestirlo; la natura opaca di sistemi come il “flusso di lavoro” dei paesi a rischio; e la mancanza di responsabilità nei casi in cui, come in Myanmar, l’intera faccenda è andata violentemente fuori controllo.
Alcuni dei documenti più affascinanti dei Facebook Papers sono anche i più banali: casi in cui un dipendente o un altro si chiede ad alta voce cosa potrebbe accadere se Facebook cambiasse questo input in quello o riducesse questo danno a spese di quella metrica di crescita. Altre volte, i documenti li trovano in difficoltà a spiegare perché l’algoritmo mostra più “contenuti civici” agli uomini che alle donne o perché un bug ha permesso a un gruppo di incitamento alla violenza in Sri Lanka di aggiungere automaticamente mezzo milione di persone a un gruppo – senza il loro consenso – nell’arco di tre giorni.
C’è la sensazione diffusa che, a un livello fondamentale, nessuno sia del tutto sicuro di cosa stia succedendo.
Nei documenti, i thread dei commenti si accumulano mentre tutti si grattano la testa. I dipendenti se ne sono andati e li hanno divulgati alla stampa. Il team di comunicazione esamina i risultati e scrive un post sul blog cupo e afferma che c’è più lavoro da fare.
Il Congresso ringhia. Facebook cambia nome. I paesi del mondo, ordinatamente disposti in livelli, trattengono il respiro.