Forbudt, højrisiko eller almindelig anvendelse?

Artikel 5 forbyder blandt andet: AI der bruger skjult manipulation eller vildledende teknikker til at forvride adfærd væsentligt; AI der udnytter sårbarheder knyttet til alder, handicap eller social eller økonomisk situation; social scoring der fører til uberettiget eller uforholdsmæssig ringere behandling; visse former for forudsigelse af kriminalitet alene baseret på profilering; uafgrænset skrabning af ansigtsbilleder til ansigtsgenkendelsesdatabaser; følelsesgenkendelse på arbejdspladsen og i uddannelsesinstitutioner bortset fra snævre undtagelser som sikkerhed og helbred; biometrisk kategorisering til at udlede bl.a. race, politisk overbevisning eller seksuel orientering; og — med snævre undtagelser — realtids fjernbiometrisk identifikation i det offentlige rum til retshåndhævelse.

Samtykke, en god forretningsbegrundelse eller en formulering i persondatapolitikken gør ikke en forbudt praksis lovlig. Er noget forbudt, skal det stoppes — ikke dokumenteres.

Følelsesgenkendelse på arbejdspladsen — for eksempel et værktøj der vurderer medarbejderes eller kandidaters humør, engagement eller stress ud fra ansigt eller stemme. Og udnyttelse af sårbarheder — for eksempel markedsføring der målrettes personer i økonomisk nød med en teknik, der forvrider deres adfærd. Begge kan sælges som helt almindelige produkter.

Kommissionen har udsendt retningslinjer om forbudte praksisser. De er ikke bindende som forordningsteksten, men de viser, hvordan myndighederne forventes at læse bestemmelserne. Brug dem, når en case ligger i kanten.

Bilag III udpeger blandt andet: biometri; kritisk infrastruktur; uddannelse og erhvervsuddannelse; beskæftigelse, arbejdstagerforvaltning og adgang til selvstændig virksomhed; adgang til væsentlige private og offentlige tjenester og ydelser, herunder kreditvurdering og visse forsikringsforhold; retshåndhævelse; migration, asyl og grænsekontrol; samt retspleje og demokratiske processer.

Ud over bilag III kan et AI-system være højrisiko, fordi det er en sikkerhedskomponent i et produkt, der i forvejen er omfattet af EU's produktsikkerhedsregler. For de fleste kontorvirksomheder er det bilag III, der er relevant.

Et system i et bilag III-område er ikke nødvendigvis højrisiko. Falder det under undtagelsen — for eksempel fordi det kun udfører en snæver proceduremæssig opgave, forbedrer resultatet af en menneskelig aktivitet eller kun forbereder en vurdering — kan det falde udenfor. Men undtagelsen gælder ikke, hvis systemet profilerer fysiske personer, og den kræver en dokumenteret vurdering.

Som idriftsætter betyder det især: brug systemet efter brugsanvisningen, sørg for menneskeligt tilsyn ved personer med den nødvendige kompetence og myndighed, overvåg driften, opbevar logs og informér de berørte, hvor det kræves. Som udbyder er kravene væsentligt tungere. I begge tilfælde bør en fagperson ind over.

1) Kan systemet manipulere eller udnytte sårbare mennesker? 2) Vurderer eller scorer det mennesker som personer? 3) Bruges det i rekruttering, forfremmelse, opsigelse eller arbejdstagerforvaltning? 4) Påvirker det adgang til uddannelse eller bedømmelse af elever og studerende? 5) Påvirker det adgang til kredit, forsikring eller væsentlige tjenester? 6) Behandler det biometriske data eller vurderer følelser? 7) Bruges det på børn, unge, patienter eller andre sårbare grupper? 8) Kan output føre til en afgørelse om et menneske uden reel menneskelig prøvelse? 9) Ville en fejl kunne få mærkbar betydning for en persons økonomi, helbred, rettigheder eller omdømme?

Ja, nej eller undersøg nærmere. Det tredje svar er det vigtigste. Et 'nej', du ikke kan begrunde, er et 'undersøg nærmere' i forklædning.

Ja til spørgsmål 1 eller 6 om følelsesgenkendelse på arbejdspladsen: stop og få det vurderet, før der bruges mere. Ja til 2-5, 7 eller 8: notér 'mulig højrisiko — kræver vurdering'. Kun nej og enkelte 'undersøg nærmere': anvendelsen kan sandsynligvis fortsætte med almindelige forholdsregler, og de åbne punkter skrives op.

Resultatet af screeningen er ikke en klassifikation efter forordningen, og det skal ikke kommunikeres som en. Den rigtige formulering er: 'Screenet den DD.MM.ÅÅÅÅ. Resultatet indikerer, at systemet bør vurderes nærmere. Der er ikke foretaget en juridisk klassifikation.'

Efter en fuld vurdering ender et system i én af fire: 1) kan anvendes med almindelige forholdsregler, 2) kan anvendes med skærpede kontroller, 3) må ikke anvendes indtil vurdering foreligger, 4) anvendes ikke. Skriv altid hvilken, hvem der besluttede det, og hvornår den skal revurderes.

Et system med ét ja på spørgsmål 8 er farligere end et med tre ja'er på lavkonsekvensspørgsmål. Spørg altid: hvor meget skade gør en fejl, og hvem rammer den?

System og formål. Screeningsresultat med dato. Hvilke spørgsmål gav ja eller undersøg nærmere. Hvilken konklusion og hvilke kontroller. Hvem er ansvarlig, og hvornår revurderes det. Fem linjer, der kan læses af ledelsen på et minut.

Ledelsen skal kende de systemer, der er sat på pause eller kræver vurdering. Systemets ejer skal kende kontrollerne. Brugerne skal kende reglen — ikke rapporten. Og hvis der behandles personoplysninger, skal den databeskyttelsesansvarlige eller DPO inddrages.