Algoritmes nemen steeds vaker beslissingen over klanten, gebruikers of medewerkers. Denk aan kredietbeoordelingen, geblokkeerde accounts bij vermoeden van fraude of de selectie van sollicitanten. De AVG stelt grenzen aan volledig geautomatiseerde besluitvorming. Een recente boete van bijna €825 miljoen voor Uber maakt duidelijk waarom menselijke tussenkomst daarbij belangrijk kan zijn.
Uber gebruikte tussen 2018 en 2022 geautomatiseerde systemen om accounts van chauffeurs te deactiveren. Dat gebeurde onder meer bij vermoedens van fraude en bij te lage klantbeoordelingen. Chauffeurs verloren daardoor hun toegang tot het platform en konden via Uber geen inkomen meer verdienen.
Volgens de Autoriteit Persoonsgegevens (AP) werden deze besluiten volledig geautomatiseerd genomen, zonder menselijke beoordeling. Daarmee overtrad Uber volgens de AP artikel 22 AVG. Ook werden chauffeurs onvoldoende geïnformeerd over de geautomatiseerde besluitvorming. De AP legde Uber daarom een boete op van €824.990.000. Uber heeft aangekondigd de boete aan te vechten.
Artikel 22 AVG beschermt mensen tegen besluiten die uitsluitend zijn gebaseerd op geautomatiseerde verwerking. Het gaat om besluiten met rechtsgevolgen of andere gevolgen die iemand op vergelijkbare wijze ingrijpend treffen. Het blokkeren van een chauffeursaccount kan daaronder vallen, omdat dit directe gevolgen heeft voor het inkomen van een chauffeur.
Op dit verbod bestaan uitzonderingen, en waar een uitzondering van toepassing is, moeten er waarborgen zijn om de rechten en vrijheden van de betrokkene te beschermen. Volledig geautomatiseerde besluitvorming kan onder voorwaarden zijn toegestaan als deze noodzakelijk is voor het aangaan of uitvoeren van een overeenkomst, wettelijk is toegestaan of berust op uitdrukkelijke toestemming.
Welke aanvullende waarborgen nodig zijn, hangt af van de uitzondering waarop een organisatie zich beroept.
Bij de contractuele uitzondering en uitdrukkelijke toestemming moet een organisatie onder meer mogelijkheden bieden voor menselijke tussenkomst. De betrokkene moet daarnaast een standpunt kunnen toelichten en het besluit kunnen aanvechten.
Die menselijke tussenkomst moet betekenisvol zijn. De AP heeft handvatten gepubliceerd om bedrijven te helpen bij het inrichten van een geschikte menselijke beoordeling. Het is niet voldoende dat een medewerker alleen bevestigt wat een systeem heeft besloten. De medewerker moet de omstandigheden kunnen beoordelen en bevoegd zijn om de uitkomst te veranderen. Verder is het van belang dat een medewerker voldoende tijd heeft om het geautomatiseerde proces te controleren en dat de medewerker tegen de uitkomst van een algoritme in kan gaan.
Ook duidelijke informatie is belangrijk. Als sprake is van geautomatiseerde besluitvorming als bedoeld in artikel 22 AVG, moet een organisatie daarover informeren. Daarbij hoort zinvolle informatie over de logica achter de besluitvorming en over het belang en de verwachte gevolgen ervan.
De uitleg moet begrijpelijk maken hoe een besluit tot stand komt. Zo kan de betrokkene het besluit begrijpen en, waar nodig, aanvechten.
Organisaties die algoritmes inzetten bij bijvoorbeeld kredietbeoordeling, wervingsselectie, fraudedetectie of accountbeheer doen er goed aan hun processen te controleren:
Vragen over het gebruik van geautomatiseerde besluitvorming en de verplichtingen uit de AVG? Neem dan contact op met onze specialisten op het gebied van het privacyrecht.
