Op 7 december 2022 oordeelde het College voor de Rechten van de Mens in een tussenuitspraak dat er genoeg bewijs is aangeleverd dat discriminatie heeft plaatsgevonden bij het gebruik van gezichtsherkenning sofware door de VU. De software die door de VU werd gebruikt bij het maken van tentamens behandelde niet alle studenten gelijk.

Net zoals veel studenten had Pocornie tijdens de Corona Pandemie te maken met tentamens die zij online moest afleggen. De software Proctorio checkt voordat een online examen begint de identiteit van studenten. Het probleem manifesteerde zich bij de fase waarbij de software detecteert of de te identificeren persoon wel echt een mens is. Daar ging het in het geval van Pocornie mis omdat de software het gezicht van zwarte mensen niet herkent, in dit geval het gezicht van Pocornie.

Nadat Pocornie haar gezicht had getoond in de camera concludeerde de software dat de kamer te donker was. “Face not found.” Uiteindelijk kon de studente alleen haar tentamen inkomen door extra handelingen te verrichten. Zo ondernam zij meerdere pogingen om haar gezicht voor het systeem zichtbaar te maken door extra lampen op haar gezicht te schijnen. Anders dan witte studenten die wel door de software werden herkend leverde dit voor Pocornie al voor het maken van het tentamen een enorme stress factor op terwijl zij ook elk moment tijdens het maken van haar tentamen uit het systeem kon worden gegooid.

Pocornie stapte in de zomer van 2022 naar het College voor de Rechten van de Mens. Dat er problemen zijn met de Proctorio sofware en andere gezichtsherkenningssoftware is bekend. En over het feit dat het daarbij vooral gaat om het detecteren van zwarte mensen is wereldwijd al veel over te doen geweest. De uitspraak van het College voor de Rechten van de Mens is bijzonder omdat het College nu vaststelt dat dit soort technologie wel degelijk kan discrimeneren. Verder is de uitspraak ook van belang omdat de verantwoordelijkheid volgens het College ligt bij de organisatie die een dergelijke software gebruikt.

Geschreven door Monique Steijns

Link naar het artikel over de uitspraak: https://www.mensenrechten.nl/actueel/nieuws/2022/12/09/eerste-keer-vermoeden-van-algoritmische-discriminatie-succesvol-onderbouwd