Anàlisi: l'experiment de verificació de fets de Twitter revela problemes

Una anàlisi de Poynter va trobar que menys de la meitat dels usuaris de Birdwatch inclouen fonts i moltes notes de verificació de fets contenen retòrica partidista.

Una versió del 14 de febrer de l'algoritme Birdwatch de Twitter va amplificar algunes notes amb informació enganyosa.

El 5 de febrer, Twitter va marcar una publicació del controvertit YouTuber Tim Pool això va dir que les eleccions presidencials dels Estats Units del 2020 van ser manipulades. La plataforma va assenyalar que la reclamació va ser impugnada i va desactivar el compromís 'a causa del risc de violència'.

Però, endavant Observació d'ocells , la plataforma de xarxes socials experiment de verificació de fets col·lectiu , els usuaris van dir de manera aclaparadora que el tuit no era enganyós, segons una anàlisi del 14 de febrer de les dades de Twitter. I la majoria dels usuaris de Birdwatch van indicar a l'eina que trobaven útils i informatives aquestes notes que donaven suport a les afirmacions desmentides.

'Segons la font oficial (sic) de TIME, hi havia un grup ben organitzat de participants secrets en una organització a l'ombra que sona com una càbala que va treballar junts per influir en les eleccions a favor de Joe Biden', diu una nota. Mentre que l'usuari inclou un enllaç a un article de la revista Time que de fet utilitza paraules com 'cabal' i 'conspiració', el context de la peça -que grups poderosos estaven treballant entre bastidors per protegir la integritat de les eleccions- es perd.

El Algorisme d'observació d'aus , que té com a objectiu mostrar notes útils, va assignar a aquesta 'verificació de fets' una puntuació d'utilitat de 0,68, la més alta de les notes del tuit, just fora del 10% superior de notes considerades per l'algorisme 'qualificades com a útils' a partir de 14 de febrer. Les notes útils representaven al voltant del 7% de les 2.695 d'aquesta anàlisi i menys de dos terços d'elles contenen un enllaç a la font que no és un altre tuit.

El 17 de febrer, Twitter alterat el seu algorisme i les notes sobre el tuit Pool ja no es consideren útils, tot i que sí encara es mostren a sota de la publicació . Abans d'aquest canvi, hi havia un llindar més baix que es considerava útil (només 0,5 en comparació amb el nou tall de 0,84) i les notes només necessitaven tres valoracions per estar en curs per ser considerades útils, prioritzades en ordre i marcades amb una nota blava.

Ara, una nota ha d'acumular cinc puntuacions per introduir aquest tuit nova pestanya 'valorat útil' a Birdwatch . I d'aquestes prop de 2.700 notes a la base de dades de la plataforma, 126 van assolir el nou llindar, això és menys del 5%. Tres quartes parts de les noves notes 'qualificades útils' contenien una font fora de Twitter.

És una il·lustració oportuna d'un dels problemes als quals s'enfronta el model Birdwatch: pot un algorisme alimentat per un grup de persones aparentment aleatori mai 'valorar' amb precisió la veritat?

Birdwatch, en la seva fase pilot amb una mica més de 1.000 usuaris, permet als participants marcar els tuits com a enganyosos i afegir una nota que cita una font i/o explica el context de per què pot ser enganyós. Aleshores, els usuaris de Birdwatch poden classificar aquestes notes en funció de la seva utilitat (després d'això, l'algoritme es fa càrrec).

Finalment, tots els usuaris de Twitter seran ostensiblement capaços de veure aquestes notes just a sota dels tuits, però de moment, es limiten a una secció específica del lloc . Els usuaris de Birdwatch també crearan una puntuació de reputació que s'alimentarà de l'algoritme d'utilitat.

'El nostre objectiu amb el pilot Birdwatch és crear un sistema en què qualsevol pugui contribuir i que, naturalment, elevi la informació que la gent troba útil', va dir el vicepresident de producte de Twitter Keith Coleman en un correu electrònic. 'Creiem que l'obertura en qui pot contribuir és important i que mitjançant l'aportació d'un grup divers, es poden elevar les notes més útils'.

Però, una ullada al sistema tal com és ara revela els reptes que els verificadors de fets han plantejat sobre Birdwatch: la manca d'experiència en verificació de fets entre els usuaris, la dificultat de crear un algorisme que d'alguna manera aflori les notes útils dels usuaris més reputats i preguntes sobre les motivacions partidistes dels usuaris.

'No em sorprèn aquestes troballes donada la naturalesa polaritzada de les plataformes de xarxes socials i la vacil·lació dels usuaris principals a l'hora de proporcionar comentaris a aquestes consultes que ofereixen les plataformes, mentre que els usuaris motivats d'ambdós costats del passadís veuen les plataformes com a camps de batalla per promocionar les seves narracions sobre altres', va dir Baybars Örsek, director de la Xarxa Internacional de Verificació de Fets.

La majoria de les notes dels usuaris de Birdwatch més prolífics marquen els tuits crítics amb la dreta com a 'enganyosos' i els crítics amb l'esquerra com 'no enganyosos'. (Per exemple, l'usuari ha marcat un tuit que diu ' L'equip Biden és suau amb la Xina 'del senador Ted Cruz i el tuit de Pool com 'no enganyós'; mentre un article de Newsweek sobre els extremistes d'extrema dreta i la saga GameStop i un tuit vincular el president Donald Trump al motí del Capitoli es van marcar com a 'enganyosos' i 'nocius'.) I menys d'una cinquena part de les 82 notes de l'usuari inclouen una font, algunes de les quals són altres tuits. (Aquest usuari de Birdwatch no va respondre a una sol·licitud d'entrevista.)

Coleman va dir que Birdwatch es pot incentivar a considerar notes que provenen d'un 'conjunt divers de col·laboradors'. A més, el sistema de qualificació és el principal impulsor de la plataforma

'Creiem que això recompensarà i incentivarà les contribucions que moltes persones consideren valuoses i abordaran el risc que un grup o una ideologia específica es faci càrrec de Birdwatch', va dir Coleman. 'Això és una cosa en què treballarem activament al llarg del pilot'.

I, de fet, les notes que l'algoritme va classificar com les més útils després dels canvis del 17 de febrer mostren un abastament més sòlid i una retòrica menys partidista que la iteració d'un dia abans. Però, canviar un algorisme per a un programa pilot amb 1.000 usuaris i menys de 2.700 notes és una cosa, alterar un algorisme una vegada que Birdwatch estigui disponible per a tots els usuaris és una altra, i qui sap si l'eficàcia de l'algoritme es mantindrà mentre els usuaris comencin a abocar. a la plataforma, potser replicant el comportament d'alguns dels participants pilot més prolífics.

'Actualment no tenim una línia de temps específica per escalar, ja que estem treballant per aprendre el màxim possible i repetir mentre el pilot és petit', va dir Coleman. 'Tenim previst augmentar-ho a mesura que ho puguem fer de manera segura i quan pugui ajudar a millorar l'aprenentatge'.

Tot i així, com passa amb les notes del tuit de Pool, n'hi ha exemples de partidista o informació enganyosa encara visibles com a notes habituals.

Quatre dels cinc usuaris més actius, que representen més del 10% del total de notes, tenen una activitat similar a l'usuari més prolífic. Un d'ells afirma que la mort de Jeffrey Epstein mai es va considerar un suïcidi. Tanmateix, el segon observador d'aus més prolífic cita una font dins de cada nota, inclosos enllaços de l'Organització Mundial de la Salut i FactCheck.org .

Cap dels 10 principals usuaris, segons la seva biografia de Twitter, no és verificador de dades o periodista professional.

'La verificació de fets és realment un treball dur, ja que és mentalment exigent', va dir l'editora en cap de PolitiFact, Angie Holan, en un correu electrònic. 'Realment us heu de concentrar i impulsar la inèrcia mental per identificar les afirmacions i després fer una pluja d'idees per desmentir-les o verificar-les. Aleshores, heu de seguir amb la recerca i després escriure les troballes. No és un dia a la platja, per dir-ho sense embuts. I si un verificador de fets té una motivació partidista, això fa encara més difícil un esforç exhaustiu i equitatiu'.

Malgrat els seus problemes, Birdwatch marca la desinformació que els verificadors de fets tradicionals poden perdre o optar per no comprovar-ho a causa del potencial de dany, cosa que podria ajudar a omplir alguns buits en la desinformació digital. Durant el GameStop saga , la desinformació sobre les accions d'aquesta empresa es va estendre ràpidament entre plataformes.

Snopes i PolitiFact no va valorar reclamacions sobre GameStop, mentre que Històries de plom puntuades una publicació de Reddit. Però a Birdwatch, la nota més valorada (treu una puntuació d'utilitat d'1,00) va marcar un tuit enganyós sobre Reddit, on es parlava sobre les accions. Hi havia unes 50 notes sobre Reddit, GameStop i l'aplicació d'inversió Robinhood, en què es va produir un gran volum de negociació a principis d'aquest mes.

I els usuaris de Birdwatch van marcar correctament un compte que afirmava pertànyer a la senadora de Virginia Amanda Chase com a fals, després d'això. va piular , '... Tenim un problema de drogues a Virgínia, i la legalització de la marihuana només comportarà més sobredosis de marihuana i morts...'

El crowdsourcing pot facilitar la vida dels verificadors de fets professionals detectant informació errònia, va dir Örsek.

Coleman va dir que Twitter es compromet a mantenir la transparència, que va fer possible aquesta anàlisi, i a incorporar aportacions d'experts sobre el futur de la plataforma.

'De treballar amb un membre de l'equip integrat del Centre de RISC de la Universitat de Chicago , per organitzar sessions de comentaris amb periodistes i investigadors, estem treballant per aprofitar la gran quantitat d'experiència i coneixement que existeix més enllà de Twitter', va dir.

Holan i Örsek recomanen incentius i formació per als usuaris de Birdwatch, així com emprar verificadors de fets professionals per examinar notes d'alt rang.

'Però dubto molt de les empreses tecnològiques que creuen que els seus usuaris moderaran el contingut gratuïtament per a ells', va dir Holan. 'La majoria dels usuaris no veuen com la seva feina ajudar les plataformes a gestionar els seus propis negocis'.