NVAIR heeft concept antwoorden voorbereid op de vragen van de Autoriteit Persoonsgegevens (AP) over het verbod op emotieherkenning op de werkplek en in het onderwijs. We horen graag wat onze leden er van vinden voordat we de antwoorden aan AP sturen. Reacties kunnen aan nvairsecretariaat@gmail.com verstuurd worden.
Concept antwoord:
Reacties op Autoriteit Persoonsgegevens (AP) verzoek inzake de verbodsbepaling emotieverwerkende systemen op de werkplek en in het onderwijs, artikel 5.f Europese verordening artificiele intelligentie (AI-Verordening, AIA).
Door prof. Dr. R. van den Hoven van Genderen namens de Nederlandse Vereniging voor Artificiële Intelligentie en Robotrecht (https://nvair.nl/)
1. Kunt u een omschrijving geven van AI-systemen die worden gebruikt voor het afleiden of vaststellen van emoties of intenties?
Om te beginnen stel ik vast dat het begrip intentie een totaal andere betekenis heeft dan emotie en dat het eigenlijk onvergelijkbare begrippen en in de praktijk onwerkbare combinatie van toepassingen zijn. Daarbij wordt in de tekst van artikel 5.f. het begrip intenties niet genoemd en vallen intenties dus in principe buiten het verbod. Dit begrip intenties verschijnt uit het niets in de toelichting van de definitie van emotieherkennend systeem in artikel 3.39. De toelichting noemt voorbeelden van emoties zoals verdriet, agressie, etc. Intenties zijn van een hele andere orde en kunnen variëren van
nauwelijks te voorspellen, tot afgelezen fysieke signalen die met een zekere waarschijnlijkheid kunnen leiden tot gedrag. Een intentie is dus het voornemen om een handeling te verrichten; al wil dit niet zeggen dat elke intentie daadwerkelijk verricht of volledig uitgevoerd wordt. Waar ligt de grens?
Veel signalen worden uitgesloten; namelijk het afleiden of vaststellen van fysieke toestanden zoals pijn of moeheid. De te meten fysieke data, zitbeweging, gelaatsuitdrukking, etc. zijn een indicatie voor een intentie, om op te staan, om naar het toilet te gaan of om een antwoord te willen geven op een vraag. De technische systemen die kunnen worden gebruikt
om emoties te meten zijn variabel. Naast fysiek gebaseerde signalen gemeten door camera’s, sensoren of radar, bestaan ook systemen gebaseerd op emotie bepalende omstandigheden.
De waarnemingen van deze systemen worden geïnitieerd en of gemeten in verschillende omstandigheden: co2-gehalte, temperatuur, groepsgrootte, geluidsniveau, ruimteoppervlakte. Deze emotieanalyse zou mijns inziens buiten het verbod vallen.
1 Zie voor het project emotie verkennende AI:
https://www.hipe-project.com.
2. Is het voor u duidelijk wanneer een systeem bedoeld is om emoties of intenties af te leiden of vast te stellen? Zo niet, waarover heeft u meer duidelijkheid nodig? Kunt u dit verder toelichten?
Zoals gezegd, de combinatie van emotie en intentie is onlogisch, verwarrend en niet werkbaar, laat staan handhaafbaar. Ongedifferentieerd verbieden van dit soort verwerkingen door AI zal positieve toepassingen op werkvloer en onderwijs zoals comfortbevordering en stressvermindering frustreren.
Vragen bij criterium 2
3. Kunt u voorbeelden noemen van andere soorten emoties of intenties die kunnen worden afgeleid of vastgesteld met AI-systemen?
Het is geen uitputtende opsomming hetgeen ook het gevaar van (rechts)onzekerheid in zich draagt. Anderzijds is het onmogelijk om juist een moeilijk definieerbaar begrip als emotie af te bakenen, zeker als de onwenselijke combinatie van afgeleide fysieke signalen met intenties wordt gemaakt.
4. Kunt u situaties beschrijven waarin AI-systemen (kunnen) worden gebruikt voor het afleiden of vaststellen van fysieke toestanden? Worden in dat geval ook emoties of intenties afgeleid of vastgesteld? Is hier voor u het verschil duidelijk tussen enerzijds emoties en intenties en anderzijds fysieke toestanden voldoende?
Zoals eerder aangegeven zijn er talloze toepassingen waarbij AI-systemem worden gebruikt voor het afleiden of vaststellen van fysieke toestanden. Bijvoorbeeld door middel van het meten van fysieke omstandigheden in openbare en private ruimtes, transportmiddelen, etc. Ook het meten van de fysieke situatie en kenmerken van natuurlijke personen door middel
van camera’s, thermo, licht en beweging sensoren kan leiden tot emotiemeting van zowel groepen als geïndividualiseerde personen in verschillende omstandigheden.
5. Kunt u een beschrijving geven van AI-systemen die worden gebruikt voor het detecteren van gemakkelijk zichtbare uitdrukkingen, gebaren of bewegingen? Kent u situaties waarin de detectie van uitdrukkingen, gebaren of bewegingen kunnen worden gebruikt om emoties of intenties te herkennen of af te leiden?
Zoals hierboven aangegeven is er een variatie van detectietechnieken die aangewend worden om emoties te herkennen; bijvoorbeeld camera’s, sensoren, radars, druk- en warmtemeters, etc. Deze worden toegepast in ruimtes maar ook in meubels, stoelzittingen, etc. De gegevens worden geanalyseerd en vergeleken met emotieontwikkeling.
6. Is het voor u duidelijk te onderscheiden wanneer een AI-systeem emoties of intenties of juist andere toestanden afleidt of vaststelt? Welke vragen of behoefte aan verduidelijking in de context van dit verbod heeft u hierbij?
Vreemde vraag. Wat wordt bedoeld met toestanden? Omstandigheden? Situaties die een natuurlijke persoon betreffen? Als het systeem andere “toestanden” vaststelt, dan zal dat duidelijk moeten zijn door de producent te verplichten om aan te geven wat de doelstelling is. Het is dan geen emotie verwerkend AI-systeem aangezien een emotie verwerkend AI-
systeem duidelijk gericht moet zijn op de identificatie of afleiden van emoties zoals aangegeven in de toelichting. De combinatie van emoties en intenties in de toelichting op het verbod, is onlogisch en onwerkbaar. De verwijzing in de tekst van artikel 5.f AI-Verordering naar uitzonderingen op grond van veiligheid en medische toepassingen, geeft ruimte al naar
gelang de interpretatie. De verklaring in de toelichting in de AI-Verordening (overweging 44) naar de uitzonderingen voor medische- of veiligheidsdoelen met als voorbeeld typisch therapeutische doeleinden geeft ruimte voor ruime interpretatie. Hoe ver reikt veiligheid? De maatschappelijke interpretatie van een veilige werkomgeving houdt in het huidige
tijdsgewricht in dat men een stabiele, rustige en stressbeperkende werkomgeving dient te hebben. Rust versterkende maatregelen door analyse van emoties horen daarbij.
Vragen bij criterium 3
7. Welke soort biometrische gegevens kunnen worden gebruikt in deze AI-systemen die bedoeld zijn voor het afleiden of vaststellen van emoties?
Conform artikel 3.34 AIA kunnen fysieke en fysiologische gegevens en gedragskarakteristieken van natuurlijke personen worden gebruikt als biometrische gegevens in AI-systemen voor afleiden en vaststellen van emoties. Dit betekent dat alle gegevens die aan een natuurlijke persoon kunnen worden toegeschreven, lichamelijk en niet lichamelijk, in
werkelijkheid of digitaal, kunnen worden gebruikt zolang het gebruik van deze gegevens wordt beperkt tot het afleiden of vaststellen van emoties. Vooralsnog kan worden gesteld dat het soort biometrische gegevens dat wordt gebruikt in AI-systemen die zijn bedoeld voor het afleiden of vaststellen van emoties, geheel afhankelijk is van het systeem dat wordt
gehanteerd. Het hoeven niet direct real time gegevens te zijn. Het kunnen medische gegevens zijn, hartslag, ademhaling, transpiratie, toetsaanslagen, gelaatsuitdrukking, loop-of zitbeweging, frequentie, etc.
8. Hoe vormen deze biometrische gegevens volgens u in de praktijk de basis voor het afleiden of vaststellen van emoties? Kunt u aangeven hoe dit proces werkt en dat met (denkbeeldige) voorbeelden illustreren?
Ik verwijs naar het project onder noot 1 van deze reactie. In het project worden de omstandigheden en biometrische gegevens verwerkt door een AI-toepassing door middel van metingen via camera’s, sensoren, microfoons en radarsystemen in verschillende ruimtes met natuurlijke personen, in kantoren, in vergaderruimtes, in openbaar vervoer en in
publieke ruimtes waarbij bijvoorbeeld agitatie of geluksgevoel wordt weergegeven door verschillende indicatoren.
Vragen bij criterium 4
9. Kunt u een beschrijving geven van AI-systemen die voor emotieherkenning worden gebruikt op, of die verband houden met de werkplek? Wederom met verwijzing naar mijn noot 1, kunnen er systemen worden ontwikkeld die de emotie van natuurlijke personen – individueel en als groep – kunnen afleiden door het meten van fysieke of gedragsdata; inclusief de atmosferische waarden als co2-uitstoot, temperatuur, reacties op geluid of licht, etc. Deze gegevens kunnen door middel van verwerking door een AI-applicatie worden gebruikt om een meer passende atmosfeer te creëren in relatie tot de
werkomstandigheden – varierend van comfortverhoging tot stressvermindering of lichaamsefficiëntie – resulterend in positievere emoties en gevoelens. Overigens is de term ”verband houdend met de werkplek”, vaag en multi-interpretabel hetgeen wederom leidt tot rechtsonzekerheid.
10. Kunt u een beschrijving geven van AI-systemen die voor emotieherkenning worden gebruikt in, of die verband houden met het onderwijs?
Juist bij het onderwijs is het van belang om emoties te betrekken. Docenten doen niet anders. Een AI-systeem zou de tevredenheid of ontevredenheid, stress-gevoelens of geluksgevoel onder studenten kunnen meten op grond van de verkregen emotiedata en hierop kan temperatuur, belichting of zelfs het lesprogramma aanpassen.
11. Welke vragen of behoefte aan verduidelijking in de context van dit verbod heeft u nog bij criterium 4?
Artikel 5.1.f van de AI-Verordening verbiedt “het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het
onderwijs uit af te leiden”.
De keuze voor deze twee gebieden is mijns inziens arbitrair en gaat volledig voorbij aan de positieve toepassingen van emotieverwerkende AI-systemen op die terreinen. Daarnaast is er de onzekerheid wat er precies is in de AI-Verordering is bedoeld met de begrippen werkplek en onderwijs. De verwijzing in overweging 44 AIA, naar “AI-systemen die bedoeld zijn om te worden gebruikt om de emotionele toestand van natuurlijke personen in situaties die verband houden met de werkplek en het onderwijs te detecteren, (moeten) worden verboden”, zal een bron van problemen en aanleiding tot talrijke rechtszaken vormen als geen duidelijke afbakening wordt aangegeven.
“Verband houden met” leidt tot rechtsonzekerheid. Hoe staat het met een thuiswerkplek?
Staat reizen naar de werkplek ook in verband met de werkplek? Het volgen van cursussen?… etc.
Hetzelfde geldt voor onderwijs: voorbereiding in bibliotheken, cursussen, examenvoorbereiding door derden, opleiding docenten, etc.
Dit gevaar van extensieve interpretatie wordt nog versterkt door de opmerking van AP in
paragraaf 25 van de Oproep tot input waar AP een extensieve uitleg van het begrip – op de werkplek- geeft; hetgeen – volgens AP – ook de toepassing van emotieherkenning voor werving en selectie zou omvatten. Deze ruime uitleg vindt geen steun in de tekst van de wetsbepaling. AP geeft hier zelfs een temporele uitbreiding van het verbod, zoals geschetst in de film Minority Report, een verbod, anticiperend op een onzekere uitkomst. Immers, in de fase van werving en selectie is nog geen sprake van een werkplek. Er is nog onzekerheid of er voor de betreffende personen een werkplek zal ontstaan. Er kunnen dus geen emoties worden afgeleid van een natuurlijke persoon op de werkplek Daarbij komt dat AI-systemen voor werving en selectie reeds expliciet zijn geadresseerd in categorie 4, Annex III, AI Verordening, zodat – wanneer deze ook zouden vallen binnen de werkingssfeer van artikel 5.1.f AI-Verordening – eenvoudig verwarring kan ontstaan over het
toepasselijke wettelijke regime. De ruime uitleg door AP moet dan ook worden verworpen.
Tot slot mag nogmaals worden opgemerkt dat het verbodsartikel ondoordacht is omdat het volstrekt onduidelijk is hoe risicovol het gebruik van emotie verwerkende AI-systemen zal zijn en volstrekt voorbij wordt gegaan aan de positieve toepassing van deze systemen. Dit soort anticiperende wetgeving is in strijd met de rechtszekerheid en volstrekt arbitrair wat betreft de keuze voor toepasselijke gebieden.
Namens de NVAIR,
Prof. Dr. Rob van den Hoven van Genderen