Bloomberg meldde onlangs dat Amazon een project heeft waarbij sommige van zijn werknemers luisteren naar enkele van de audio-opnames gemaakt door Alexa-speakers wanneer gebruikers met hen communiceren, maar nu blijkt dat die mensen ook toegang hebben tot de thuisadressen van klanten.
Een nieuw Bloomberg-rapport van vanochtend citeert vijf anonieme werknemers in het Alexa Data Services-team van Amazon om te bevestigen dat ze gemakkelijk het huisadres van een klant kunnen vinden door hun lengte- en breedtegraadinformatie te typen in kaartsoftware zoals Google Maps..
Hoewel er geen aanwijzingen zijn dat Amazon-werknemers met toegang tot de gegevens hebben geprobeerd individuele gebruikers op te sporen, uitten twee leden van het Alexa-team Bloomberg de bezorgdheid dat Amazon onnodig brede toegang tot klantgegevens verleende die het gemakkelijk zou maken om de eigenaar van een apparaat te identificeren.
Nou, dat klinkt zeker niet veelbelovend.
Sommige werknemers die belast zijn met het analyseren van opnames van Alexa-klanten gebruiken een Amazon-tool die audioclips weergeeft naast gegevens over het apparaat dat de opname heeft gemaakt. Veel van de informatie die door de software is opgeslagen, inclusief een apparaat-ID en klantidentificatienummer, kan niet gemakkelijk worden teruggekoppeld naar een gebruiker.
Dat is hoe het moet zijn.
Amazon verzamelt echter ook locatiegegevens, zodat Alexa nauwkeuriger kan reageren op verzoeken, bijvoorbeeld door een lokaal restaurant te suggereren of het weer te geven in het nabijgelegen Ashland, Oregon, in plaats van het verre Ashland, Michigan.
Er was niets mis met Alexa om locatiegegevens van gebruikers te verzamelen om de service te verbeteren, ware het niet dat sommige van haar werknemers deze in de eerste plaats mogen zien.
In een demonstratie die Bloomberg zag, plakte een Amazon-teamlid de coördinaten van een gebruiker, opgeslagen in het systeem als lengte- en breedtegraad, in Google Maps. In minder dan een minuut was de werknemer van een opname van het Alexa-commando van een persoon overgeschoten naar een afbeelding van zijn huis en bijbehorend adres.
Nou, dat is zeker verontrustend, maar iedereen kan de locatie van een persoon opzoeken in Google Maps zolang ze hun lengte- en breedtegraad hebben, er is niets speciaals aan. Wat verontrustend is, is het feit dat gebruikerscoördinaten beschikbaar zijn voor sommige Amazon-werknemers.
Een ander intern hulpmiddel dat ze gebruiken, slaat meer persoonlijke gegevens op.
Na het invoeren van een klant-ID, kunnen die werknemers, annotators en verificateurs genoemd, de thuis- en werkadressen en telefoonnummers zien die klanten in de Alexa-app hebben ingevoerd toen ze het apparaat instelden, zei de werknemer. Als een gebruiker ervoor heeft gekozen om zijn contacten met Alexa te delen, verschijnen zijn namen, nummers en e-mailadressen ook in het dashboard.
Ja, maar waarom zou je al die informatie op het dashboard weergeven??
Die gegevens bevinden zich in het systeem, zodat als een klant zegt 'Stuur een bericht naar Laura', menselijke beoordelaars ervoor kunnen zorgen dat transcribenten de naam correct hebben geschreven, zodat de software leert dat verzoek te koppelen met de Laura in de lijst met contactpersonen.
Het is onduidelijk uit het rapport hoeveel werknemers en aannemers mogelijk toegang hebben tot deze functies. Twee Amazon-medewerkers zeiden dat ze geloofden dat de overgrote meerderheid van de werknemers in de Alexa Data Services-groep die software ongeveer een jaar geleden konden gebruiken.
Een andere medewerker zei dat "tot voor kort" het systeem volledige telefoonnummers vertoonde met enkele cijfers verborgen. "Tot voor kort", wat betekent nadat Bloomberg hierover rapporteerde, toch?
Amazon heeft de toegang tot gegevens verder beperkt na het rapport van Bloomberg op 10 april, zeiden twee van de werknemers. Sommige data-medewerkers, die transcriberen, annoteren en audio-opnames verifiëren, kwamen aan het werk om te ontdekken dat ze niet langer toegang hadden tot softwaretools die ze eerder in hun werk hadden gebruikt, zeiden deze mensen.
Vanaf het moment van drukken was hun toegang niet hersteld.
Zorgwekkend is dat het oorspronkelijke rapport een verklaring bevatte die werd toegeschreven aan een woordvoerder van Amazon en ontkende dat de mensen die naar Alexa-opnames luisteren toegang hebben tot andere informatie.
Medewerkers hebben geen directe toegang tot informatie die de persoon of account kan identificeren als onderdeel van deze workflow. Alle informatie wordt vertrouwelijk behandeld en we gebruiken multi-factor authenticatie om toegang, service-encryptie en audits van onze controleomgeving te beperken om deze te beschermen.
In een nieuwe verklaring die op het verhaal reageert, heeft Amazon echter haar positie gewijzigd en roept ze nu de toegang tot interne tools "sterk gecontroleerd" op:
Toegang tot interne tools wordt sterk gecontroleerd en wordt alleen verleend aan een beperkt aantal medewerkers die deze tools nodig hebben om de service te trainen en te verbeteren door een uiterst kleine steekproef van interacties te verwerken.
Ons beleid verbiedt de toegang van medewerkers tot of het gebruik van klantgegevens om welke reden dan ook strikt en we hebben een nultolerantiebeleid voor misbruik van onze systemen. We controleren regelmatig de toegang van medewerkers tot interne tools en beperken de toegang waar en wanneer mogelijk.
Voordat we voorbarige conclusies trekken, moet worden herhaald dat dit geen geheim project is - Amazon verbergt niet het feit dat het mensen betaalt om te luisteren naar klantgesprekken. Net als Apple en andere technologiebedrijven bewaart Amazon geanonimiseerde fragmenten van audio-opnames op zijn servers voor een periode om de spraakherkenning en AI te helpen verbeteren.
"We gebruiken uw verzoeken aan Alexa om onze spraakherkennings- en natuurlijke taalbegripsystemen te trainen", zegt het bedrijf in een lijst met veelgestelde vragen.
Het is een feit in de technologische wereld dat kunstmatige intelligentiesystemen die machines helpen de betekenis achter gesproken woorden te begrijpen, regelmatig moeten worden getraind met echte opnames, wat de enige betrouwbare manier is om hun nauwkeurigheid te verbeteren.
Zoals de woordvoerder van Amazon aan Bloomberg heeft uitgelegd:
We annoteren alleen een extreem kleine steekproef van Alexa-spraakopnamen om de klantervaring te verbeteren. Deze informatie helpt ons onze spraakherkennings- en natuurlijke taalbegripsystemen te trainen, zodat Alexa uw verzoeken beter kan begrijpen en ervoor kan zorgen dat de service voor iedereen goed werkt.
Apple doet precies hetzelfde - Siri heeft menselijke helpers die luisteren naar enkele van de clips, gebonden aan een willekeurige identificatie en opgeslagen op servers gedurende zes maanden.
Daarna wordt de willekeurige identificatie volledig verwijderd, maar worden de gegevens langer bewaard om de spraakherkenning van Siri te verbeteren. Ja, Google heeft ook reviewers belast met het luisteren naar enkele snippets van Assistant om de service te helpen trainen en verbeteren. De opnamen van Google zijn ontdaan van alle persoonlijk identificeerbare informatie en de audio zelf is vervormd.
Zoals Florian Schaub, een professor aan de Universiteit van Michigan, die privacykwesties met betrekking tot slimme luidsprekers heeft onderzocht, mooi gezegd:
Je denkt niet noodzakelijk aan een ander mens die luistert naar wat je je slimme luidspreker vertelt in de intimiteit van je huis. Ik denk dat we geconditioneerd zijn in de veronderstelling dat deze machines alleen maar magische machine learning doen.
Maar het feit is dat er nog steeds sprake is van handmatige verwerking.
Of dat een privacykwestie is of niet, hangt af van hoe voorzichtig Amazon en andere bedrijven zijn in wat voor soort informatie ze handmatig hebben geannoteerd en hoe ze die informatie aan iemand presenteren.
Voor de context is hier een fragment uit het originele verhaal:
Sommige Alexa-reviewers hebben de taak om de commando's van gebruikers te transcriberen, bijvoorbeeld de opnames te vergelijken met Alexa's geautomatiseerde transcript of de interactie tussen gebruiker en machine te annoteren. Wat vroeg de persoon? Heeft Alexa een effectief antwoord gegeven??
Anderen merken alles op wat de spreker oppikt, inclusief achtergrondgesprekken, zelfs wanneer kinderen praten. Soms horen luisteraars gebruikers die privégegevens bespreken, zoals namen of bankgegevens; in dergelijke gevallen worden ze verondersteld een dialoogvenster aan te vinken dat 'kritieke gegevens' aangeeft. Ze gaan dan naar het volgende audiobestand.
Volgens de website van Amazon wordt er geen audio opgeslagen tenzij Echo het wekwoord detecteert of wordt geactiveerd door op een knop te drukken. Maar soms lijkt Alexa te beginnen met opnemen zonder enige prompt, en beginnen de audiobestanden met een schetterende televisie of onverstaanbare ruis. Ongeacht of de activering fout is, moeten de reviewers deze transcriberen. Een van de mensen zei dat de auditors elke dag wel 100 opnames transcriberen wanneer Alexa geen wake-commando ontvangt of per ongeluk wordt geactiveerd.
De oorspronkelijke rapportage van Bloomberg beweerde dat “de duizenden werknemers” die aan dit project werken soms ook clips moeten bekijken die behoorlijk pijnlijk kunnen zijn - en zelfs sommige die potentieel crimineel zijn. In één gerapporteerd geval hoorden twee Amazon-werknemers wat zij denken dat seksueel geweld was, maar kregen hun werkgever de opdracht het incident niet te melden, omdat het "niet de taak van Amazon was om zich ermee te bemoeien."
In zulke extreme gevallen is het heel erg de taak van Amazon om zich ermee te bemoeien.
Waarom zou het bedrijf de werknemers die naar Alexa-opnames luisteren niet toestaan om deze incidenten aan de politie te melden en mogelijk levens te redden? Als iemand mijn huis binnendringt en me onder schot houdt, wil ik dat iedereen die luistert, zijn huisadres kan zien en indien nodig zelfs de politie waarschuwt.
gedachten?
