Allt fler mediehus låter AI granska kommentarer innan de publiceras eller strax efteråt. Men vad gör tekniken egentligen, och var behövs fortfarande en människa? I den här texten går vi igenom hur AI-moderering fungerar, vad den är bra på, var den brister och hur du sätter upp ett arbetssätt där maskin och moderator kompletterar varandra.

Vad är AI-moderering?

AI-moderering betyder att en modell läser varje kommentar och bedömer om den följer era regler. Beroende på hur ni ställt in systemet kan kommentaren publiceras direkt, stoppas eller hamna i en kö där en moderator tittar på den.

De första automatiska verktygen jämförde mest texten med listor över förbjudna ord. Det fungerar dåligt i praktiken: det stoppar oskyldiga kommentarer som råkar innehålla ett visst ord, och det missar elaka kommentarer som är skrivna utan sådana ord. Moderna modeller tittar i stället på hela meningen och dess sammanhang. Det gör att de kan skilja mellan någon som citerar ett skällsord för att kritisera det och någon som använder det mot en annan person.

Vill du veta mer om de olika modereringsmodellerna kan du läsa 5 sätt att moderera användargenererat innehåll.

Vad AI-moderering är bra på

Snabbhet

En modell bedömer en kommentar på en bråkdel av en sekund. Det gör att ni kan granska varje kommentar innan den syns, utan att läsarna behöver vänta. Det blir en sorts förhandsmoderering som ändå känns som en levande diskussion.

Volym och toppar

När en stor nyhet bryts kan antalet kommentarer stiga kraftigt på kort tid. En modell blir inte trött och behöver ingen extra bemanning en fredagskväll. Moderatorerna kan i stället lägga sin tid på de svåra fallen.

Samma bedömning varje gång

Två moderatorer kan bedöma samma kommentar på olika sätt, och samma moderator kan göra olika bedömningar i början och slutet av ett långt pass. En modell följer samma bedömningsgrund hela tiden. Det gör det lättare att förklara för läsarna vad som gäller.

Mindre belastning på moderatorerna

Att läsa hat och hot dag efter dag sliter på människor. När AI tar hand om det mest uppenbara materialet behöver moderatorerna se mindre av det.

Var AI-moderering behöver hjälp

Ironi, sammanhang och underförstådda budskap

Sarkasm, interna skämt och anspelningar på en artikels innehåll är svåra att tolka, även för människor. En kommentar som verkar harmlös kan i en viss artikel vara ett tydligt påhopp.

Nya kodord och omskrivningar

De som vill sprida hat hittar hela tiden nya sätt att formulera sig för att ta sig förbi filter. Modellen måste därför följas upp och justeras löpande.

Nordiska språk och dialekter

Många språkmodeller är i första hand tränade på engelska, och forskning har visat att de generellt presterar sämre när de ska analysera innehåll på andra språk. Svenska, norska, danska och finska med slang, dialekt och blandspråk ställer därför högre krav. Fråga leverantören hur modellen är tränad och testad på just era språk, och om den är tränad på riktiga kommentarer från nordiska kommentarsfält eller på generell text.

Snedvridna bedömningar

En modell kan ärva skevheter från sina träningsdata. Den kan till exempel oftare flagga kommentarer som nämner vissa grupper, även när kommentaren inte är nedsättande. Därför behöver ni följa upp vad som stoppas, inte bara vad som släpps igenom.

Kombinera AI och människor

Ett bra arbetssätt utgår sällan från att antingen AI eller människor ska göra allt. Låt i stället uppgifterna styra vem som gör vad.

  1. Tydliga fall hanteras automatiskt. Kommentarer som modellen med hög säkerhet bedömer som okej publiceras, och uppenbart hat eller spam stoppas.
  2. Gråzonen går till en människa. Kommentarer där modellen är osäker hamnar i en kö för manuell granskning. Läs mer om manuell moderering.
  3. Moderatorernas beslut används för att förbättra systemet. När en moderator ändrar modellens beslut är det värdefull information. Följ upp sådana fall regelbundet och justera trösklar och regler.
  4. Läsarna kan anmäla. En anmälningsknapp fångar det som både modell och moderator missat.

Att tänka på innan du inför AI-moderering

  • Skriv ner er kommentarspolicy. En modell kan bara följa regler som är tydliga. Vad är kritik och vad är påhopp hos er? Hur hanterar ni namngivna personer?
  • Bestäm trösklar utifrån sammanhang. Ett ämne som ofta leder till hätska diskussioner kan behöva strängare inställningar än sportsidorna.
  • Testa innan ni skarpt kör. Låt modellen bedöma era riktiga kommentarer en period utan att stoppa något, och jämför med hur era moderatorer hade gjort.
  • Var öppen mot läsarna. Berätta att ni använder automatisk granskning och hur man gör om en kommentar stoppats felaktigt.
  • Ansvaret ligger kvar hos er. I Sverige har den som tillhandahåller en elektronisk anslagstavla, till exempel ett kommentarsfält, enligt lagen om ansvar för elektroniska anslagstavlor en skyldighet att ta bort vissa typer av olagligt innehåll. Inom EU ställer dessutom Digital Services Act krav på hur tjänster som lagrar användares innehåll hanterar olagligt innehåll, till exempel att det ska gå att anmäla innehåll och att beslut ska kunna motiveras. Exakt vilka delar som gäller beror på verksamheten. Kommentarsfält på nyhetssajter omfattas till exempel ofta inte av de mer långtgående reglerna för onlineplattformar. AI är ett verktyg för att leva upp till ansvaret, men tar inte över det. Stäm av med er jurist vad som gäller för er.
  • Mät resultatet. Följ hur stor andel som publiceras direkt, hur mycket som går till manuell granskning, vilka orsaker som är vanligast och hur ofta moderatorerna ändrar modellens beslut. Det visar både hur väl modellen fungerar och var reglerna behöver justeras.

Så fungerar det i Tono

Tono är byggt efter just den arbetsfördelning som beskrivs ovan. Tono bedömer varje kommentar på under 300 millisekunder, med hänsyn till både artikeln och diskussionstråden, och avgör de allra flesta direkt. Tveksamma fall går till våra moderatorer, som finns på plats dygnet runt.

Tono är tränat på över 100 miljoner kommentarer från nordiska kommentarsfält och förstår slang, förkortningar och stavfel. Ni sätter reglerna per sektion, artikel eller kampanj. Varje beslut loggas med orsak och med uppgift om det togs av Tono eller av en moderator, och rapporterna visar volym, vanligaste orsaker och fördelning. Vill ni testa först kan Tono köras i skuggläge, där den bedömer era kommentarer utan att stoppa något.

Sammanfattning

AI-moderering gör det möjligt att granska varje kommentar snabbt, även när kommentarerna strömmar in. Tekniken är som starkast när den sköter de tydliga fallen och lämnar gråzonen till erfarna moderatorer. Med en tydlig policy, rimliga trösklar och regelbunden uppföljning får ni ett kommentarsfält som är både levande och tryggt.

Vill du veta mer? Läs om AI-moderering med Tono, testa Tono gratis på era egna kommentarer eller kontakta oss.