Twitter pubblica i dati dell’algoritmo di classificazione dei tweet su GitHub

Come promesso dal capo di Twitter Elon Musk all’inizio di questo mese, oggi Twitter ha pubblicato il suo codice dell’algoritmo di raccomandazione su GitHub affinché tutti possano vederlo, mentre ha anche pubblicato una nuova panoramica di come funziona il suo algoritmo di raccomandazione dei tweet, fornendo nuove informazioni su ciò che determina l’ordine in cui vengono visualizzati i tweet.

Come spiegato da Cinguettio:

“SU Git Hubtroverai due nuovi repository (repository principale, ml repo) contenente il codice sorgente di molte parti di Twitter, compreso il nostro algoritmo di raccomandazioni, che controlla i Tweet visualizzati nella sequenza temporale di For You. Per questa versione, abbiamo mirato al massimo grado di trasparenza possibile, escludendo al contempo qualsiasi codice che possa compromettere la sicurezza e la privacy degli utenti o la capacità di proteggere la nostra piattaforma da malintenzionati, anche minando i nostri sforzi per combattere lo sfruttamento e la manipolazione sessuale dei minori”.

È anche importante notare che Twitter non ha le informazioni sulla ponderazione collegate a ciascun elemento, ovvero quanta enfasi viene data a ciascun fattore nel guidare i risultati dell’output finale.

Quindi non è ogni dettaglio, ma fornisce informazioni di alto livello su come funzionano gli algoritmi di Twitter, mentre Twitter ha anche fornito un spiegazione più profana del sistemaper aiutare le persone a capire come decide cosa vedrai nella tua cronologia ogni volta che apri l’app.

Come da Cinguettio:

“La base dei consigli di Twitter è un insieme di modelli e funzionalità di base che estraggono informazioni latenti dai dati di Tweet, utenti e coinvolgimento. Questi modelli mirano a rispondere a domande importanti sulla rete Twitter, come, “Qual è la probabilità che in futuro interagirai con un altro utente?” oppure “Cosa sono le community su Twitter e quali sono i Tweet di tendenza al loro interno?” Rispondere a queste domande in modo accurato consente a Twitter di fornire consigli più pertinenti.“

Quest’ultimo elemento è importante e si allinea con cosa Ryan Broderick di Garbage Day aveva trovato nei suoi esperimenti nel testare ciò che ora guadagna trazione tramite tweet.

Come riassunto da Broderick:

“Twitter utilizza subreddit invisibili tramite Topics per organizzare algoritmicamente i tweet. Poiché la pagina For You non è più cronologica, i tweet virali non possono essere tempestivi come una volta. Devono essere una specie di evergreen. Aiuta se stanno commentando qualcosa che sta già diventando virale. E aiuta davvero se pubblichi un thread, rispondi a te stesso o crei una sorta di discussione nelle risposte. Sembra anche che ora ci sia una maggiore enfasi sui video.”

Si scopre che Ryan aveva ragione: Twitter ora sta cercando di promuovere più tweet nel feed “For You” in base al coinvolgimento di attualità, che Twitter definisce a livello di account, filtrando determinati account in categorie di argomenti, quindi utilizzandolo come guida per classificare il probabile argomento di ciascuno dei loro tweet.

Come da Cinguettio:

“Uno degli spazi di incorporamento più utili di Twitter è SimCluster. I SimClusters scoprono comunità ancorate da un gruppo di utenti influenti utilizzando a algoritmo di fattorizzazione della matrice personalizzato. Ci sono 145k comunità, che vengono aggiornate ogni tre settimane. Le dimensioni delle comunità variano da poche migliaia di utenti per singoli gruppi di amici a centinaia di milioni di utenti per le notizie o la cultura pop. Più utenti di una community gradiscono un Tweet, più quel Tweet sarà associato a quella community”.

L’immagine sopra mostra alcune delle più grandi “comunità” di Twitter o raccolte di argomenti basate sul filtraggio algoritmico di Twitter.

Twitter afferma che questo approccio è diventato un fattore chiave nel decidere quali tweet “fuori rete” inserire nel feed “For You” o quali tweet mostrarti dagli account che non segui. E con sempre più di questi consigli inseriti nei feed degli utenti, è diventato un fattore più importante per l’esposizione dei tweet, anche se presto cambierà di nuovo, quando Twitter limiterà ulteriormente i consigli “For You” ai soli tweet dal pagamento degli account degli abbonati.

A questo punto nessuno sa come ciò influisca sull’esperienza di Twitter, ma almeno trasformerà radicalmente il feed “For You”, limitando il pool di tweet di origine da cui Twitter può attingere.

E se le celebrità, in particolare, non pagano o smettono di twittare di conseguenza, l’impatto potrebbe essere significativo.

Questa è la rivelazione più significativa della panoramica algoritmica di Twitter, sebbene ci siano molte altre note e punti interessanti inclusi nella documentazione:

• Per ogni sessione utente, Twitter estrae circa 1500 tweet che ritiene potenzialmente di interesse per ogni persona, prima di classificarli nel feed “Per te”
• La sequenza temporale di For You è attualmente composta per il 50% da Tweet in-network (persone che segui) e per il 50% da Tweet out-of-network, in media
• Twitter prevede anche la probabilità di coinvolgimento tra due utenti. “Più alto è il punteggio Real Graph tra te e l’autore del Tweet, più tweet verranno inclusi”
• Un altro fattore sono i tweet con cui le persone che segui interagiscono, il che non è una rivelazione, solo un punto di nota
• La classificazione dei tweet viene condotta tramite una “rete neurale di ~48 milioni di parametri che viene continuamente addestrata sulle interazioni dei tweet per ottimizzare il coinvolgimento positivo (ad es. Mi piace, retweet e risposte)”. Non c’è alcuna nota, tuttavia, su come Twitter determina il coinvolgimento positivo rispetto a quello negativo in questo contesto

Ciò fornisce un contesto interessante su come Twitter cerca di classificare i tweet e massimizzare l’esposizione all’interno del feed principale “For You” – anche se, ancora una volta, questo cambierà il 15 aprile, quando Twitter passerà a mostrare solo i tweet degli utenti paganti in i suoi consigli “Per te”.

Il che, in un certo senso, rende ridondante gran parte di questa intuizione, anche se immagino che, se la teoria di lavoro è che, alla fine, la maggior parte degli utenti pagherà, allora potrebbe rimanere indicativa ancora per qualche tempo.

Tranne che non lo faranno.

Attualmente meno dell’1% degli utenti di Twitter lo è pagare per Twitter Bluee mentre la decisione di rimuovere i segni di spunta blu “preesistenti” e ripristinare il processo di classificazione “For You” determinerà un’ulteriore adozione, sembra improbabile che Twitter Blue sia una considerazione significativa per la stragrande maggioranza degli utenti di Twitter.

Immagino, l’altro elemento da tenere in considerazione, a questo proposito, è che la stragrande maggioranza dei tweet proviene da pochissimi utenti, con la maggior parte dei profili Twitter che raramente si twittano. Forse, quindi, Twitter ha bisogno solo di una raccolta più piccola di utenti per iscriversi a Blue per renderlo un elemento più significativo nella classifica dei tweet. Ma sembra ancora improbabile che produca risultati migliori nell’evidenziare i contenuti più rilevanti dall’altra parte dell’app.

Indipendentemente da ciò, sembra che Twitter stia andando avanti e ora gli sviluppatori esterni hanno maggiori informazioni su come funziona l’algoritmo di Twitter, il che porterà a una nuova ondata di intuizioni e indicazioni su come giocare con il sistema.

La speranza di Twitter è che lo aiuti anche a migliorare rapidamente i suoi algoritmi. Forse succede anche questo. Dovremo aspettare e vedere.