Google maakt gebruik van machine learning om uitgevers te helpen bij het identificeren van trollen en toxische opmerkingen

Zou het niet geweldig zijn als machine learning zou kunnen worden gebruikt om online reacties en andere gesprekken te verbeteren? Zowel grote als kleine uitgevers, van NYT tot de site die u nu aan het lezen bent, besteden aanzienlijke middelen om te voorkomen dat trollen lezers met lastige opmerkingen kunnen bombarderen.

Een nieuwe Google-technologie op basis van machine learning streeft ernaar het proces van het sorteren door miljoenen opmerkingen te automatiseren, waardoor misbruik wordt geïdentificeerd en gemarkeerd dat een burgerlijke uitwisseling van ideeën wordt ondermijnd.

In samenwerking met Jigsaw heeft Google Perspective gelanceerd, een technologie in een vroeg stadium op basis van machine learning die kan helpen bij het identificeren van toxische opmerkingen op internet. Met de officiële Perspective API kunnen uitgevers deze technologie voor hun websites gebruiken.

Google legt uit hoe het werkt:

Perspectief beoordeelt opmerkingen en scoort ze op basis van hoe vergelijkbaar ze zijn met opmerkingen waarvan mensen zeiden dat ze 'giftig' waren of iemand waarschijnlijk een gesprek zouden laten verlaten. Om te leren hoe potentieel giftige taal te herkennen, onderzocht Perspective honderdduizenden opmerkingen die door menselijke recensenten waren gelabeld.

Telkens wanneer Perspective nieuwe voorbeelden van potentieel toxische reacties vindt, of wordt voorzien van correcties van gebruikers, kan het beter worden in het scoren van toekomstige reacties.

Nadat het systeem toxische opmerkingen heeft geïdentificeerd, kunnen uitgevers deze markeren zodat hun eigen moderators ze kunnen beoordelen en opnemen in een gesprek. Lezers kunnen opmerkingen ook sorteren op toxiciteit, om conversaties naar voren te halen die ertoe doen. Het systeem kan commentatoren zelfs de potentiële toxiciteit van hun commentaar laten zien terwijl ze het schrijven.

Je denkt dat trollen niet zo'n groot probleem is?

Nogmaals, de New York Times heeft een heel team dat elke dag gemiddeld 11.000 reacties beoordeelt. Vanwege de enorme hoeveelheid mankracht die nodig is om de opmerkingen te beoordelen, heeft de krant alleen opmerkingen over ongeveer tien procent van de artikelen.

Google en de Times hebben samengewerkt om machine learning-modellen te trainen, zodat de moderators reacties sneller kunnen sorteren. Wanneer Perspective publiek wordt gelanceerd en veel meer uitgevers het omarmen, zal het systeem worden blootgesteld aan meer opmerkingen en een beter begrip ontwikkelen van wat bepaalde opmerkingen giftig maakt.

“Ons eerste model is ontworpen om giftige taal te herkennen, maar het komende jaar willen we graag samenwerken en nieuwe modellen leveren die in andere talen dan het Engels werken, evenals modellen die andere perspectieven kunnen identificeren, zoals wanneer opmerkingen niet substantieel zijn of off-topic ', zei Google.

Volgens DataSociety is 72 procent van de Amerikaanse internetgebruikers getuige geweest van online intimidatie en heeft bijna de helft dit persoonlijk ervaren. Bijna een derde van de respondenten zei zelf te censureren wat ze online posten uit angst voor vergelding. Naar schatting heeft online intimidatie het leven van ongeveer 140 miljoen mensen in de VS en nog veel meer elders getroffen.

Bron: Google