De strijd tegen algoritmische discriminatie tijdens de sollicitatiefase

Grote bedrijven en overheden maken bij belangrijke keuzes steeds vaker gebruik van computergestuurde programma’s (hierna: algoritmes), die op basis van de beschikbare gegevens (hierna: data) berekenen wat de beste uitkomst is. Wanneer een algoritme meer data krijgt, kan het preciezere berekeningen maken. Op veel gebieden worden dergelijke algoritmes gemaakt en gebruikt. In dit artikel bespreek ik algoritmes die worden gebruikt bij de sollicitatieprocedure door bedrijven. Aan het gebruik van dergelijke algoritmes kleven vaak juridische haken en ogen, want onbedoeld kunnen ze discriminatoire uitkomsten geven. In dit kader is het wetsvoorstel Wet toezicht gelijke kansen bij werving en selectie aanhangig gemaakt. Biedt dit wetsvoorstel een individueel gediscrimineerde sollicitant soelaas?

Een aantal algoritmes die tegenwoordig worden gebruikt op het gebied van Human Resources kunnen berekenen welke sollicitant de beste optie is voor een openstaande vacature op basis van CV en motivatiebrief.¹Als voorbeeld het bedrijf Personio, online via www.personio.com (laatstelijk geraadpleegd op 12 september 2021). In sommige gevallen hoeven de kandidaten alleen maar een videoboodschap door te sturen.²Als voorbeeld het bedrijf HireVue, online via www.hirevue.com (laatstelijk geraadpleegd op 12 september 2021). Deze data wordt door het algoritme vergeleken met de dataset van (ex-) werknemers van het betreffende bedrijf of de sector. De dataset bestaat uit de data (van een groot aantal) van de beste presterende en slechtst presterende werknemers. Met die dataset zoekt het algoritme naar overeenkomsten en verbanden met gegevens van zowel de goede als de slechte werknemers. Uiteindelijk geeft het systeem een overzicht van de beste kandidaten.

Voor bedrijven kunnen dergelijke systemen een grote uitkomst zijn, bijvoorbeeld doordat deze algoritmes veel tijd (en daarmee geld) besparen en er op feiten gebaseerde keuzes kunnen worden gemaakt. Ondanks de voordelen van algoritmische systemen kleven er nog wel verschillende juridische haken en ogen aan. De datasets die bedrijven gebruiken kunnen vervuild zijn. Dit houdt in dat er (onbedoelde) vooroordelen in de dataset zitten (ook wel bias genoemd). Om een voorbeeld te geven: een dataset die bijna volledig uit blanke mannen bestaat kan zorgen voor een uitkomst die onevenwichtig is.³M. Jovovic, ‘Ter Visie – Algoritmische discriminatie’ TAO 2018, afl. 4, p 141-145. Het algoritme zal dan donkere vrouwen vrijwel altijd als ongeschikt aanmerken, ondanks dat zij wel de juiste eigenschappen en papieren hebben voor die functie. Dit komt omdat het systeem is getraind met data over mannen. Het bedrijf Amazon heeft een aantal jaar geleden op dezelfde wijze vrouwen algoritmisch gediscrimineerd.⁴S. van Gils, ‘Amazon ziet af van sollicitatierobot die vrouwen discrimineert’, Het Financieele Dagblad 10 oktober 2018. In Nederland is ongerechtvaardigd onderscheid bij werving en selectie niet toegestaan op grond van de Grondwet, Wet gelijke behandeling (hierna AWGB) en het Burgerlijk Wetboek (hierna BW).⁵Artikel 1 van de Grondwet geeft een ongelimiteerde opsomming van discriminatiegronden en artikel 1 lid 1 sub b en c van de Algemene wet gelijke behandeling geeft een gelimiteerde opsomming van de genoemde discriminatiegronden. Artikel 7:646 BW verbiedt onderscheid tussen mannen en vrouwen bij het aangaan van een arbeidsovereenkomst.

Indirect onderscheid

Het probleem zou onbetekenend zijn als programmeurs zorgen dat er geen discriminatoire variabelen in het dataset zitten, bijvoorbeeld door het systeem niet te laten selecteren op etniciteit. In de praktijk ligt dat genuanceerder. Er bestaat een groot gevaar op indirecte discriminatie bij gebruik van algoritmische systemen. Daarvan is sprake als op een ogenschijnlijk neutrale maatstaf een bepaalde (beschermde) groep bijzonder wordt getroffen.⁶Art. 1 lid 1 sub c Algmene wet gelijke behandeling. Een algoritme kan bijvoorbeeld rekening houden met de combinatie van postcode, inkomen en opleidingsniveau. Op die manier kan onderscheid worden gemaakt op basis van etniciteit, terwijl de variabele ‘etniciteit’ nooit door de programmeurs in de software is opgenomen.⁷I. Žliobaitė en B. Custers, ‘Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models’, Artificial Intelligence and Law (24), p. 186.

‘Black Box’-problematiek

Complexe algoritmes zijn gebouwd met zelflerend vermogen. Hierdoor ‘leert’ de software verbanden zien die zo ingewikkeld zijn dat wij ze zelf niet kunnen herkennen. Dat gaat als volgt: het algoritme verrijkt, comprimeert en bewerkt data. Het algoritme kan verbanden zoeken door middel van wiskundige berekeningen. Enkel de uitkomst is te bevatten voor mensen, de wijze waarop het algoritme tot de uitkomst is gekomen is nauwelijks meer te herleiden. Zelfs de programmeurs die de software hebben geschreven kunnen het systeem soms niet meer uitlezen, door de complexiteit en veelvoud aan correlaties. Deze problematiek wordt in de literatuur aangeduid als ‘black box’-problematiek. Daardoor is het nagenoeg onmogelijk om te achterhalen of het systeem op discriminatoire gronden grondrechtelijk beschermde groepen heeft afgewezen.⁸M. Jovovic, ‘Ter Visie – Algoritmische discriminatie’ TAO 2018, afl. 4, p 143-144.

Omkering bewijslast

De ondoorzichtigheid van de besluitvorming van het algoritme zorgt voor problemen bij het leveren van bewijs tegen de werkgever door een sollicitant. Artikel 10 van de AWGB kan uitkomst bieden. De AWGB regelt een omkering van de bewijslast, wanneer de sollicitant feiten aanvoert die een ongerechtvaardigd onderscheid (in de zin van de AWGB) kunnen doen vermoeden.⁹Art. 10 Algemene wet gelijke behandeling. Die feiten kunnen bestaan uit statistische gegevens (bijvoorbeeld een lijst van afgewezen kandidaten die dezelfde huidskleur hebben).¹⁰Art. 152 Wetboek van Burgerlijke Rechtsvordering. Hiervoor moet de sollicitant achterhalen wie hebben gesolliciteerd, wie zijn aangenomen en wie zijn afgewezen door het algoritme. Wanneer de sollicitant slaagt in het bewijs tot vermoeden van ongerechtvaardigd onderscheid, dan heeft de werkgever de lastige taak om te bewijzen dat het algoritme niet tot een discriminatoire uitkomst is gekomen. De ‘black box’-problematiek kan de werkgever in de procedure dan de das omdoen, omdat de werkgever (net zo goed als de werknemer) geen grip heeft op de wijze waarop het algoritme tot een beslissing is gekomen. De werkgever zal niet slagen in het bewijs om het vermoeden van de sollicitant te ontkrachten en riskeert aansprakelijkheid.

In twee bestuursrechtelijke zaken heeft de Afdeling bestuursrechtspraak van de Raad van State beslist dat wanneer er sprake is van de ‘black box’-problematiek het bestuursorgaan openheid van zaken moet geven ter voorkoming van een ongelijkwaardige procespositie.¹¹ABRvS 17 mei 2017, ECLI:NL:RVS:2017:1259, r.o. 14. Evenzo ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454, r.o. 23. Er zijn nog geen civielrechtelijke uitspraken gedaan omtrent de ‘black box’-problematiek, maar het ligt in de lijn der verwachting dat de civiele rechter niet anders dan de bestuursrechter zal oordelen ten aanzien van de bewijslast.

Wetsvoorstel

Er is een spreekwoord dat luidt: voorkomen is beter dan genezen. Vanuit deze gedachte is het wetsvoorstel Wet toezicht gelijke kansen bij werving en selectie aanhangig gemaakt.¹²Kamerstukken II 2020-2021, 35673, nr. 3. Dit wetsvoorstel beoogt de Arbeidsomstandighedenwet en de Wet allocatie arbeidskrachten door intermediairs te wijzigen. Het doel van deze wetswijzigingen is het bestrijden van discriminatie bij werving en selectie van potentiële werknemers.

Dit wetsvoorstel verruimt de toezichthoudende bevoegdheid van de Inspectie SZW bij de opsporing van discriminatie bij werving en selectie. Daarnaast moeten werkgevers (bedrijven waar meer dan 25 werknemers werkzaam zijn)¹³Art. 2a lid 7 Arbowet. een zogenoemde schriftelijke ‘werkwijze’ vaststellen. Met deze (openbaar te raadplegen)¹⁴ Art. 2a lid 6 Arbowet. werkwijze moet de werkgever inzichtelijk maken op welke wijze hij discriminatie in de sollicitatieprocedure tegengaat. Uit de werkwijze moet blijken ‘dat de procedure van werving en selectie is gebaseerd op voor de functie relevante functie-eisen, inzichtelijk en controleerbaar is, en systematisch is ingericht.’¹⁵Art. 2a lid 1 Arbowet. Als de werkgever de werving en selectie uitbesteedt aan een algoritme, dan heeft de werkgever een vergewisplicht. Deze plicht houdt in dat de werkgever zich ervan vergewist dat de uitkomsten geen arbeidsmarktdiscriminatie met zich brengen.¹⁶Art. 2b lid 2 Arbowet. Belangrijk om op te merken is dat de werkgever niet eventuele aansprakelijkheid ontloopt door aan deze vergewisplicht te voldoen.¹⁷M. Kullmann, ‘Gelijke behandeling en eerlijke kansen op de arbeidsmarkt: op weg naar discriminatievrije werving en selectie?’ Ondernemingsrecht 2020/16, afl. 2, p. 86.

 In beginsel is deze wetswijziging een opmaat naar minder discriminatie in de sollicitatiefase (bij gebruikmaking van een algoritme). Echter zitten er drie nadelen aan dit wetsvoorstel, namelijk: 1) dat er geen inhoudelijke standaarden worden gegeven over de werkwijze;¹⁸Kritiek hierop komt van het College van de Rechten van de Mens, zie www.mensenrechten.nl/nl/nieuws/wetsvoorstel-arbeidsmarktdiscriminatie-stap-vooruit-maar-concrete-uitwerking-standaarden (laatstelijk geraadpleegd op 12 september 2021). 2) dat handhaving op de werkwijzen zeer lastig is,¹⁹M. Kullmann, ‘Gelijke behandeling en eerlijke kansen op de arbeidsmarkt: op weg naar discriminatievrije werving en selectie?’ Ondernemingsrecht 2020/16, afl. 2, p. 88. zeker gezien de ‘black box’-problematiek zoals hierboven beschreven is en 3) dat deze wetswijziging geen grond is waar een individueel gediscrimineerde sollicitant zich rechtstreeks op kan beroepen. Het betreft namelijk een wetswijziging die bedrijven verplichtingen oplegt en de Inspectie SZW meer bevoegdheden geeft. Naleving hiervan kan niet door een individu worden afgedwongen bij de civiele rechter.

Conclusie

Een individueel gediscrimineerde sollicitant kan zich niet in rechte beroepen op de wijzigingen die voortvloeien na inwerkingtreding van het wetsvoorstel Wet toezicht gelijke kansen bij werving en selectie. Het wetsvoorstel laat wel zien dat de wetgevende macht bewust is geworden van de gevaren die ontstaan bij het gebruik van algoritmes in de sollicitatiefase. Als dit wetsvoorstel daadwerkelijk wetgeving wordt, dan is dat een stap in de goede richting. Hoewel er enkele nadelen kleven aan dit wetsvoorstel, zal de wetswijziging waarschijnlijk bewustwording creëren bij bedrijven die gebruik maken van algoritmes in de sollicitatiefase.

Ondanks dat het wetsvoorstel een individuele sollicitant geen soelaas biedt in een procedure, staat hij niet met lege handen bij de rechter. De Grondwet en de AWGB verbieden ongerechtvaardigd onderscheid.²⁰Let op: artikel 1 van de Grondwet geeft een ongelimiteerde opsomming van discriminatiegronden en artikel 1 lid 1 sub b en c van de Algemene wet gelijke behandeling geeft een gelimiteerde opsomming van discriminatiegronden. Daarnaast verbiedt artikel 7:646 BW onderscheid tussen mannen en vrouwen in het sollicitatieproces. De AWGB regelt een omkering van de bewijslast, wanneer de sollicitant feiten aanvoert die een ongerechtvaardigd onderscheid (in de zin van de AWGB) kunnen doen vermoeden.²¹Art. 10 Algemene wet gelijke behandeling. Dus voor de sollicitant die meent dat hij algoritmisch gediscrimineerd is, zijn er voldoende juridische waarborgen om zijn zaak aanhangig te maken bij de rechter.