Motor de căutare imagine Giphy se facturează ca fiind un mod „distractiv și sigur” de a căuta și crea GIF-uri animate. Dar, în ciuda interzicerii sale de conținut ilicit, site-ul este plin de imagini de abuzuri de sine și de abuzuri sexuale asupra copiilor, a aflat TechCrunch.

Un nou raport al inițiativei israeliene de protecție online a copilului L1ght – anterior AntiToxin Technologies – a descoperit o serie de conținuturi toxice ascunse în comunitatea populară de partajare a GIF, inclusiv conținut ilegal de abuzuri asupra copiilor, reprezentări de viol și alte imagini toxice asociate cu subiecte precum supremația albă și discursul de ură. Raportul, împărtășit exclusiv cu TechCrunch, a arătat, de asemenea, conținut care încurajează telespectatorii în ceea ce privește pierderea în greutate nesănătoasă și tulburări glamante ale alimentației.

TechCrunch a verificat unele dintre rezultatele companiei, căutând pe site folosind anumite cuvinte cheie. (Nu am căutat termeni care ar fi putut returna conținutul abuzurilor sexuale asupra copiilor, deoarece acest lucru ar fi ilegal.) Deși Giphy blochează multe hashtag-uri și termeni de căutare din rezultate returnate, motoarele de căutare, cum ar fi Google și Bing, încă imagini din cache cu anumite cuvinte cheie.

Când am testat folosind mai multe cuvinte asociate conținutului ilicit, Giphy a arătat uneori conținut din propriile rezultate. Când nu a returnat niciun material interzis, motoarele de căutare au returnat adesea un flux de rezultate care ar fi interzise.

L1ght dezvoltă soluții avansate pentru combaterea toxicității online. Prin testele sale, o căutare de materiale ilicite a returnat 195 de poze doar pe prima pagină de căutare. Echipa L1ght a urmărit apoi etichete de la un articol la altul, descoperind rețele de conținut ilegal sau toxic pe parcurs. Etichetele în sine erau deseori inofensive pentru a ajuta utilizatorii să scape de detectare, dar au servit ca o poartă de intrare a materialului toxic.

În ciuda interzicerii conținutului de auto-vătămare, cercetătorii au găsit numeroase cuvinte cheie și termeni de căutare pentru a găsi conținutul interzis. Am estompat această imagine grafică. (Imagine: TechCrunch)

Multe dintre conținuturile mai extreme – inclusiv imagini despre abuzul sexual asupra copiilor – se spune că au fost etichetate folosind cuvinte cheie asociate cu site-urile cunoscute de exploatare a copiilor.

Nu publicăm hashtag-urile, termenii de căutare sau site-urile utilizate pentru a accesa conținutul, dar am transmis informațiile către Centrul Național pentru Copii Lăsați și Exploitați, un organizație nonprofit națională înființată de Congres pentru a lupta împotriva exploatării copiilor.

Simon Gibson, șeful audienței Giphy, a declarat pentru TechCrunch că siguranța conținutului este „cea mai mare importanță” pentru companie și că utilizează „protocoale de moderare extinse”. El a spus că atunci când este identificat conținut ilegal, compania lucrează cu autoritățile pentru a raporta și scoate-l.

De asemenea, el și-a exprimat frustrarea că L1ght nu a contactat-o ​​pe Giphy pentru prima dată cu acuzațiile. L1ght a spus că Giphy este deja conștient de problemele sale de moderare a conținutului.

Gibson a spus că sistemul de moderare al Giphy „folosește o combinație de tehnologii de imagistică și validare umană”, care implică utilizatorii care trebuie să „solicite verificarea pentru ca conținutul lor să apară în indexul nostru de căutare.” Conținutul este „apoi revizuit de un grup de oameni umani. moderatori ", a spus el. „În cazul în care nu se respectă un consens pentru evaluare între moderatori sau dacă există o încredere scăzută în decizia moderatorului, conținutul este escaladat către echipa de încredere și siguranță internă a Giphy pentru revizuire suplimentară”, a spus el.

„Giphy efectuează, de asemenea, căutări de cuvinte cheie proactive, în interiorul și în afara indexului nostru de căutare, pentru a găsi și elimina conținut care este împotriva politicilor noastre”, a spus Gibson.

Cercetătorii de prim rang au folosit motorul lor de inteligență artificială proprie pentru a descoperi conținut ilegal și altul ofensator. Folosind acea platformă, cercetătorii pot găsi un alt conținut aferent, permițându-le să găsească cache-uri vaste de conținut ilegal sau interzis, care altfel și în cea mai mare parte nu se vor vedea.

Acest tip de conținut toxic afectează platformele online, dar algoritmii joacă doar un rol. Mai multe companii de tehnologie consideră că moderația umană este esențială pentru menținerea site-urilor lor curate. Însă o mare parte a atenției până în prezent a fost pusă pe jucătorii mai mari din spațiu, cum ar fi Facebook, Instagram, YouTube și Twitter.

Facebook, de exemplu, a fost criticat de rutină pentru externalizarea moderației către echipe de antreprenori cu salarii mici, care adesea se luptă să facă față felurilor de lucruri pe care trebuie să le urmărească, ba chiar se confruntă cu simptome post-traumatice de tip stres ca urmare a muncii lor. Între timp, YouTube de anul acesta s-a dovedit că a devenit un refugiu pentru inelele de abuzuri sexuale online, unde criminalii au folosit secțiunea de comentarii pentru a se ghida unii pe alții către alte videoclipuri pentru a le urmări în timp ce făceau observații prădătoare.

Giphy și alte platforme mai mici au rămas în mare parte din lumina reflectoarelor, în ultimii câțiva ani. Dar noile descoperiri ale lui L1ght indică faptul că nicio platformă nu este imună la aceste tipuri de probleme.

L1ght spune că utilizatorii Giphy care împărtășesc acest tip de conținut și-ar face conturile private astfel încât nu vor fi ușor căutate de către străini sau de compania în sine. Dar chiar și în cazul conturilor private, conținutul abuziv a fost indexat de unele motoare de căutare, precum Google, Bing și Yandex, ceea ce a ușor de găsit. De asemenea, firma a descoperit că pedofilii foloseau Giphy ca mijloc de răspândire a materialelor online, inclusiv comunicarea între ei și schimbul de materiale. Și nu foloseau doar sistemul de etichetare Giphy pentru a comunica – foloseau, de asemenea, tehnici mai avansate, precum etichete plasate pe imagini prin suprapuneri de text.

Același proces a fost utilizat și în alte comunități, inclusiv în cele asociate cu supremația albă, intimidarea, abuzul asupra copiilor și altele.

Nu este prima dată când Giphy s-a confruntat cu critici pentru conținutul de pe site-ul său. Anul trecut, un raport al The Verge a descris luptele companiei de a preveni conținutul ilegal și interzis. Anul trecut, compania a fost pornită de pe Instagram pentru a permite conținutul rasist.

Giphy este departe de a fi singur, dar este cel mai recent exemplu de companii care nu reușesc. La începutul acestui an și după un sfat, TechCrunch a comandat atunci AntiToxin să investigheze problema de imagini despre abuzul sexual asupra copiilor pe motorul de căutare Bing al Microsoft. Sub o supraveghere atentă a autorităților israeliene, compania a găsit zeci de imagini ilegale în rezultatele căutării anumitor cuvinte cheie. Când The New York Times a urmărit raportul lui TechCrunch săptămâna trecută, reporterii au constatat că Bing a făcut prea puțin în lunile trecute pentru a preveni apariția conținutului abuzurilor sexuale în rezultatele căutării sale.

A fost o mustrare amețitoare asupra eforturilor companiei de a combate abuzurile asupra copiilor în rezultatele căutării sale, în ciuda pionierului instrumentului de detectare foto PhotoDNA, pe care gigantul software l-a construit în urmă cu un deceniu pentru a identifica imaginile ilegale bazate pe o imensă bază de date cu hașuri cu conținut cunoscut de abuzuri asupra copiilor. .

Gibson de la Giphy a declarat că compania a fost „recent aprobată” să folosească PhotoDNA Microsoft, dar nu a spus dacă în prezent este în uz.

În cazul în care unele dintre cele mai bogate, cele mai mari și cele mai resurse companii tehnologice nu reușesc să-și limiteze preemptiv expunerea platformelor lor la conținut ilegal, startup-urile completează lacunele de moderare a conținutului.

L1ght, care are un interes comercial pentru acest spațiu, a fost fondat în urmă cu un an pentru a ajuta la combaterea prădătorilor online, intimidare, discursuri de ură, escrocherii și multe altele.

Compania a fost inițiată de fostul director executiv Amobee, Zohar Levkovitz și de expertul în securitate cibernetică Ron Porat, anterior fondatorul reclamei blocante Shine, după ce fiul lui Porat a experimentat abuzuri online în jocul online Minecraft. Compania și-a dat seama că problema cu aceste platforme a fost ceva care a depășit capacitatea utilizatorilor de a se proteja, iar această tehnologie trebuia să-i ajute.

Activitatea L1ght implică utilizarea tehnologiei sale în moduri similare, așa cum s-a întâmplat aici cu Giphy – pentru a identifica, analiza și prezice toxicitatea online cu o precizie aproape în timp real.

Sursa articol

LĂSAȚI UN MESAJ

Please enter your comment!
Please enter your name here