AI moderacija na društvenim mrežama često pravi greške koje mogu ugroziti vrijedne zajednice i informacije.
Nedavna iskustva moderatora Reddit zajednice r/AskHistorians pokazuju kako automatski sistemi uklanjaju postove i komentare koji su od velike edukativne vrijednosti, a koje ljudi ne mogu povratiti. Ove greške se dešavaju jer AI često ne može prepoznati nijanse jezika, sarkazam ili kontekst, što dovodi do pogrešnog označavanja sadržaja kao spam ili neprimjerenog.
Pored toga, generativni AI modeli otežavaju prepoznavanje lažnih i koordiniranih aktivnosti, dok marketinške agencije koriste AI za stvaranje lažnog sadržaja koji dodatno komplikuje moderaciju. Primjeri poput Discorda, koji je greškom banovao hiljade korisnika zbog pogrešne identifikacije slika, pokazuju da je ljudski nadzor i dalje ključan.
Stručnjaci upozoravaju da prevelika oslanjanja na AI bez ljudske kontrole može dovesti do cenzure ranjivih grupa i smanjenja kvaliteta zajednica na društvenim mrežama. Iako AI može ubrzati uklanjanje štetnog sadržaja, bez transparentnosti i ljudske intervencije rizik od pogrešnih odluka ostaje visok.
