Samtök um mannvæna tækni

Samantekt (Umsögn í fullri lengd hér fyrir neðan)

Með 11. gr. frumvarps um skipulagða brotastarfsemi er lögreglu veitt almenn lagaheimild til að nota löggæslumyndavélar og starfrækja miðlægt kerfi fyrir vinnslu og varðveislu myndefnis. Ráðherra er jafnframt falið að setja nánari reglur um notkun gervigreindar við vinnslu myndefnis, greiningu andlitsmynda, búkmyndavélar og sjálfvirkan lestur skráningarnúmera.

Þegar myndefni frá mörgum stöðum er safnað saman og hægt verður að leita sjálfvirkt í því breytist eðli eftirlitsins. Spurningar sem áður kröfðust umfangsmikillar rannsóknarvinnu geta orðið að stuttri leit í miðlægu gagnasafni. Því verða lagaleg mörk notkunarinnar þeim mun mikilvægari.

Helstu athugasemdir

Mikilvægustu mörkin eru ekki í lögunum. Frumvarpið afmarkar ekki hvaða tegundir andlitsgreiningar verði heimilar, gagnvart hverjum, í hvaða tilgangi eða við hvaða aðstæður. Þessi atriði eru að verulegu leyti falin ráðherra að útfæra síðar í reglugerð.
Heimildin er ekki bundin við skipulagða brotastarfsemi heldur gildir við störf lögreglu almennt. Ef sú brýna samfélagsþörf sem réttlætir nýja valdheimild er baráttan gegn skipulagðri brotastarfsemi þarf að skýra hvers vegna heimildin er ekki afmörkuð við það markmið.
Brýn nauðsyn víðtækustu heimildanna er ekki rökstudd með fullnægjandi hætti. Þörf fyrir notkun andlitsgreiningartækni er einkum tengd aukinni skilvirkni. Skilvirkni og nauðsyn eru ekki það sama.
Vinnslan getur náð til fólks sem er ekki viðfangsefni lögregluaðgerðar. Leit að einum einstaklingi eða ökutæki getur kallað á vinnslu upplýsinga um fjölda annarra. Við rauntímagreiningu getur vinnslan náð til allra sem fara um sjónsvið myndavélar.
Frumvarpið afmarkar ekki nægilega meðferð og stjórn gagnanna. Ekki kemur fram hvar gögn verða vistuð og unnin, hver getur haft aðgang að þeim, hvaða kerfi vinna þau eða hvernig tryggt verður að íslensk stjórnvöld hafi stjórn á þeirri tæknilegu keðju sem gögnin fara um.
Sjálfstætt eftirlit með nýrri tæknigetu er ekki byggt upp samhliða henni. Frumvarpið skilgreinir ekki hver eigi að fylgjast með umfangi notkunarinnar, áreiðanleika niðurstaðna, röngum samsvörunum eða því hvort notkunin sé nauðsynleg og hófleg. Ekki er heldur gert ráð fyrir sérstökum fjárveitingum til slíks eftirlits.
Undirbúningur 11. gr. var of þröngur. Þegar verið er að skapa heimildir sem geta haft víðtæk áhrif á persónuvernd, mannréttindi og einstaklingsfrelsi þarf aðkomu fleiri sjónarmiða en þeirra stofnana sem eiga að beita heimildunum.

Niðurstaða

SUMT telja ekki skynsamlegt að 11. gr. verði samþykkt í núverandi mynd. Hvort sem heimild til andlitsgreiningar verður tekin út og lögð fram síðar í sérstöku frumvarpi eða afmörkuð mun skýrar í þessu frumvarpi þurfa grundvallarmörk heimildarinnar að koma fram í lögunum sjálfum.

Þar þarf meðal annars að afmarka:

hvaða tegundir andlitsgreiningar og annarrar sjálfvirkrar greiningar eru heimilar og í hvaða tilgangi,
gagnvart hverjum tækninni má beita og hvernig notkun hennar er afmörkuð í tíma og rúmi,
hver heimilar einstaka notkun og hvenær sjálfstæð fyrirfram heimild er nauðsynleg,
hvar gögnin eru vistuð og hver hefur forræði yfir þeim og tæknilegum innviðum,
hvernig notkun tækninnar verður skráð, sannreynd og gerð opinber með reglulegri upplýsingagjöf,
hver hefur sjálfstætt eftirlit með notkuninni, hvaða heimildir sá aðili hefur og hvernig tryggt verður fjármagn og sérþekking til eftirlitsins.

Eftirlitsinnviðir lifa lengur en þau stjórnvöld sem reisa þá. Spurningin er ekki hvort núverandi atjórnvöldum sé treystandi, heldur hvort mörkin haldi ef til kæmi stjórnvald sem hefði annan ásetning.

Umsögn Samtaka um mannvæna tæknni í fullri lengd

Inngangur

Með 11. gr. frumvarps um skipulagða brotastarfsemi er lögreglu veitt almenn lagaheimild til að nota löggæslumyndavélar og starfrækja miðlægt kerfi fyrir vinnslu og varðveislu myndefnis. Ráðherra er jafnframt falið að setja nánari reglur um notkun löggæslumyndavéla og rekstur kerfisins, þar á meðal um notkun gervigreindar við vinnslu myndefnis, greiningu andlitsmynda, búkmyndavélar og sjálfvirkan lestur skráningarnúmera.

Með frumvarpinu er stjórnvöldum gert kleift að byggja miðlæga eftirlitsinnviði þar sem lögregla getur safnað saman myndefni, greint það með gervigreind, borið kennsl á einstaklinga og rakið leiðir þeirra.

Samtök um mannvæna tækni (SUMT) gera athugasemdir við eftirfarandi:

Lagatextinn afmarkar ekki hvaða notkun tækninnar verði heimil, gagnvart hverjum, við hvaða aðstæður eða hversu umfangsmiklir eftirlitsinnviðirnir megi verða. Þessi atriði eru falin ráðherra að útfæra í reglugerð.
Nýjar valdheimildir eru ekki bundnar við skipulagða brotastarfsemi heldur gilda við störf lögreglu almennt.
Nauðsyn víðtækustu heimildanna er ekki rökstudd með fullnægjandi hætti.
Frumvarpið afmarkar ekki hvar gögn verða vistuð og unnin, hver getur haft aðgang að þeim eða hvernig tryggt verður að íslensk stjórnvöld hafi stjórn á gögnunum og kerfunum þar sem vinnslan fer fram.
Frumvarpið kveður ekki á um sjálfstætt eftirlit með nýrri tæknigetu.
Aðkoma hagsmunaaðila skorti við undirbúning frumvarps

Samráðið

Samkvæmt 5. kafla greinargerðar byggðist undirbúningur frumvarpsins að verulegu leyti á sjónarmiðum lögregluembætta, stýrihóps um skipulagða brotastarfsemi, ákæruvalds og tengslafulltrúa Íslands hjá Europol og Eurojust.

Það er eðlilegt að þeir sem vinna gegn skipulagðri brotastarfsemi lýsi þeim vandamálum sem þeir mæta og þeim heimildum sem þeir telja sig þurfa. En þegar verið er að skapa lagaheimild fyrir vinnslu viðkvæmra persónuupplýsinga þarf jafnframt að tryggja að sjónarmið þeirra sem bera ábyrgð á persónuvernd, mannréttindum og ytra aðhaldi komi að mótun kerfisins á byrjunarstigum.

Löggæslutilskipun Evrópusambandsins, sem Ísland hefur innleitt með lögum nr. 75/2019 um vinnslu persónuupplýsinga í löggæslutilgangi, gerir beinlínis ráð fyrir að persónuverndaryfirvald sé haft með í ráðum við undirbúning lagafrumvarps eða stjórnvaldsreglna sem varða slíka vinnslu. Ekki kemur fram í greinargerðinni að Persónuvernd hafi komið að mótun 11. gr. frumvarps um skipulagða brotastarfsemi.

Sá undirbúningur sem lýst er í greinargerðinni endurspeglar þarfir þeirra sem eiga að beita heimildinni en ekki sjónarmið þeirra sem eiga að verjast henni eða hafa eftirlit með henni.

Að mati SUMT hefði mótun 11. gr. þurft mun breiðari aðkomu þegar á undirbúningsstigi, meðal annars frá Persónuvernd, þeim sem gæta mannréttinda, hafa þekkingu á tækninni og frá fræðasamfélaginu. Ákvörðun um hvers konar eftirlitsinnviðir verða byggðir upp í almannarými er ekki tæknilegt útfærsluatriði framkvæmdarvaldsins heldur ákvörðun sem snertir alla sem um rýmið fara. SUMT hvetja ráðuneytið til að tryggja slíka aðkomu áður en málið gengur lengra.

1. Hvaða tækni er verið að heimila og hvers vegna?

Í 11. gr. frumvarpsins um skipulagða brotastarfsemi er lagt til að ný grein, 14. gr. a, komi á eftir 14. gr. lögreglulaga. Greinin gerir þrennt í einu. Hún heimilar lögreglu að nota löggæslumyndavélar við störf sín, mælir fyrir um að lögregla starfræki miðlægt kerfi fyrir vinnslu og varðveislu myndefnis og felur ráðherra að setja reglur um notkun gervigreindar við vinnslu myndefnis, greiningu andlitsmynda, búkmyndavélar og sjálfvirkan lestur skráningarnúmera.

Þetta eru þrjár aðskildar ákvarðanir, og sú þriðja breytir því hvað hægt er að gera með hinum tveimur.

Umfang nýrrar eftirlitsgetu þarf að festa í lög

Myndavélaeftirlit er þegar kunnuglegur þáttur í almenningsrými. Í miðborg Reykjavíkur hefur það byggst á samstarfi Reykjavíkurborgar, Neyðarlínunnar, lögreglunnar á höfuðborgarsvæðinu og ríkislögreglustjóra, þar sem borgin kaupir búnaðinn, Neyðarlínan annast uppsetningu og gagnaflutning og lögregla vaktar og varðveitir myndefnið.¹ Þegar til stóð að stækka kerfið árið 2023 taldi persónuverndarfulltrúi borgarinnar að óvissa væri um lagagrundvöll samstarfsins, að það virtist ekki hafa verið endurskoðað eftir gildistöku persónuverndarlaga 2018 og að samráð hefði ekki farið fram tímanlega. Hún benti jafnframt á þróun andlitsgreiningartækni og nauðsyn þess að meta áhrif hennar áður en kerfið yrði stækkað.²

Með þessu frumvarpi verður myndavélaeftirlit og miðlæg vinnsla efld og opnað fyrir nýja greiningargetu sem gerir lögreglu kleift að vinna myndefni á mun víðtækari hátt en áður.

Þegar myndefni frá mörgum stöðum er safnað saman og tölvukerfi geta leitað sjálfvirkt eftir andlitum breytist ferlið úr því að horfa á upptökur í að fletta upp í gögnum. Þá má svara á stuttum tíma spurningum sem áður hefðu kallað á mikla rannsóknarvinnu: hvar tiltekinn einstaklingur hefur sést, hvort hann hafi verið á ákveðnum stað og hvort sama andlit komi fyrir annars staðar eða á öðrum tíma. Þau praktísku mörk sem umfang verkefnisins setti áður veikjast og lagaleg mörk verða þeim mun mikilvægari.

Frumvarpið talar um „greiningu andlitsmynda" án þess að greina á milli ólíkrar notkunar. Samanburður á fáum myndum er afmörkuð vinnsla, en leit að einstaklingi í miklu magni myndefnis getur kallað á sjálfvirka greiningu andlita fjölda annarra. Við rauntímagreiningu getur vinnslan náð til allra sem ganga fyrir myndavélina. Umfang og áhrif þessara notkunartilvika eru því mjög ólík.

Sama gildir um sjálfvirkan lestur skráningarnúmera. Grundvallarmunur er á kerfi sem athugar hvort tiltekið ökutæki fari um ákveðinn stað og kerfi sem skráir öll ökutæki ásamt stað og tíma og varðveitir upplýsingarnar. Þá getur orðið til leitanlegt gagnasafn sem, yfir lengra tímabil og frá mörgum stöðum, gefur ítarlega mynd af ferðum fólks.

Búkmyndavélar sýna einnig hversu miklu tilgangur vinnslunnar skiptir. Sem skráningartæki varðveita þær samskipti lögreglu og borgara og geta þannig stutt við gagnsæi, sönnunarfærslu og ábyrgð. Sé sjálfvirkri greiningu beitt á sama myndstraum breytist hlutverkið: myndavélin skráir þá ekki aðeins það sem gerist heldur getur jafnframt borið kennsl á fólk sem verður á vegi lögreglumanns. Þetta tvennt hefur ólík áhrif á réttindi fólks og kallar því á ólíka afmörkun í lögum.

Lagatexti frumvarpsins afmarkar ekki sérstaklega hvaða notkun andlitsgreiningar verður heimil, hvort skráningar allra ökutækja megi varðveita, hvort gervigreind megi beita á myndefni úr búkmyndavélum, við hvaða aðstæður megi leita aftur í upplýsingum eða hversu umfangsmiklir slíkir eftirlitsinnviðir megi verða. Þess í stað er ráðherra falið að útfæra notkun tækninnar nánar í reglugerð. Greinargerðin gerir beinlínis ráð fyrir að reglur ráðherra fjalli um tilgang vinnslu, búkmyndavélar, sjálfvirka greiningu skráningarnúmera, andlitsgreiningu og aðra gervigreindarvinnslu vegna þess að umfang og eðli inngrips er mismunandi eftir tækni og tilgangi.

Athygli vekur að stefna stjórnvalda, Öruggara Ísland, gengur lengra í kröfu um lagalega afmörkun. Þar segir að tryggja þurfi gagnsæi, eftirlit og skýrt afmarkað hlutverk myndavélakerfa með lögum.³

SUMT taka undir þá kröfu sem fram kemur í stefnu stjórnvalda að gagnsæi, eftirlit og skýrt afmarkað hlutverk myndavélakerfa verði tryggt með lögum. Þau mörk sem ráða umfangi vinnslunnar og áhrifum hennar á réttindi fólks eru ekki tæknileg útfærsla og eiga að mati SUMT að koma fram í lagatextanum sjálfum.

Persónuvernd, brýn nauðsyn og mat á áhrifum

Lög nr. 75/2019 setja mikilvægar skorður við vinnslu persónuupplýsinga í löggæslutilgangi, meðal annars um nauðsyn, varðveislu, aðgang, öryggi og tilgang vinnslunnar. Sérstaklega ströng skilyrði gilda um lífkennaupplýsingar. Samkvæmt 6. gr. laganna er vinnsla þeirra til að persónugreina einstakling með einkvæmum hætti aðeins heimil þegar brýna nauðsyn ber til og jafnframt er fullnægt einu af þremur skilyrðum greinarinnar, þar á meðal að sérstök lagaheimild standi til vinnslunnar. Greinargerð frumvarpsins byggir á því að ný 14. gr. a lögreglulaga eigi að skapa þá sérstöku lagaheimild sem þarf fyrir notkun stjórnvalda á andlitsgreiningartækni.

Að mati SUMT styrkir krafa um sérstaka lagaheimild rökin fyrir því að grundvallarmörk vinnslunnar komi fram í lögunum sjálfum. Lög nr. 75/2019 svara ekki því hvort lögregla megi bera kennsl á fólk í rauntíma, í hvaða tilgangi tækninni megi beita, hvaða einstaklinga megi leita að eða hver þurfi að heimila notkun hennar. Þetta eru ekki aðeins spurningar um meðferð persónuupplýsinga heldur um umfang þeirrar valdheimildar sem stjórnvöldum er veitt.

Frumvarpið skapar lagaheimild en rökstyður ekki með fullnægjandi hætti annað lykilskilyrði 6. gr., kröfuna um brýna nauðsyn. Greinargerðin tekur sjálf fram að lagaheimildin geri andlitsgreiningu ekki sjálfkrafa heimila og að í hverju tilviki þurfi brýna nauðsyn og meðalhóf að vera fyrir hendi. Jafnframt er ráðherra falið að setja nánari reglur um meðal annars tilgang vinnslunnar og notkun andlitsgreiningar. Að mati SUMT snúa þessi atriði að kjarna valdheimildarinnar og eiga að verulegu leyti heima í lögunum sjálfum.

Í greinargerð er þörf fyrir gervigreind og andlitsgreiningu fyrst og fremst tengd því að nýta löggæslumyndavélar með skilvirkum og árangursríkum hætti. Skilvirkni og nauðsyn eru ekki það sama.

Sama áhersla birtist í mati frumvarpsins á áhrifum þess. Þar eru jákvæð áhrif á öryggi samfélagsins einkum metin út frá skilvirkari löggæslu og aukinni getu stjórnvalda gegn skipulagðri brotastarfsemi. Ekki er lagt sambærilegt mat á áhrif nýrrar eftirlitsgetu á mannréttindi, frelsi borgaranna, traust til stjórnvalda og lýðræðislega þátttöku. Öryggi samfélags felst ekki aðeins í getu ríkisins til að koma í veg fyrir brot heldur einnig í því að borgarar njóti réttinda sinna og geti treyst því að vald ríkisins sé afmarkað og háð aðhaldi.

SUMT telja að áður en heimild til andlitsgreiningar og annarrar gervigreindarvinnslu myndefnis í löggæslutilgangi er veitt þurfi að afmarka í lögum hvaða notkun tækninnar verði heimil. Sú afmörkun þarf að byggjast á rökstuðningi fyrir brýnni nauðsyn sem tilgreinir hvaða tiltekna löggæsluvanda tækninni er ætlað að leysa og hvers vegna vægari úrræði duga ekki. Jafnframt þarf mat á áhrifum að ná bæði til ávinnings af tækninni og mögulegra áhrifa hennar á friðhelgi einkalífs, tjáningarfrelsi, fundafrelsi, traust til stjórnvalda og önnur grundvallarréttindi.

Í Evrópu eru mörkin dregin af löggjafanum

Gervigreindarreglugerð Evrópusambandsins setur sem meginreglu bann við því að notaðar séu í löggæsluskyni lífkennagreiningar til að bera kennsl á fólk í rauntíma á almannafæri, án virkrar þátttöku þess, með þröngum undantekningum. Undantekningarnar tengjast meðal annars markvissri leit að ákveðnum þolendum og týndum einstaklingum, tiltekinni verulegri og yfirvofandi ógn og leit að einstaklingum sem grunaðir eru um alvarleg brot. Notkunin þarf að beinast að sérstaklega tilgreindum einstaklingi, vera afmörkuð í tíma, rúmi og gagnvart persónum og sæta að meginreglu fyrirfram heimild dómstóls eða bindandi sjálfstæðs stjórnvalds.

Gervigreindarreglugerðin heimilar aðildarríkjum að leyfa slíka rauntímagreiningu innan þröngra marka, en krefst þess að ríki sem nýta þá heimild setji nánari reglur um hana í landslögum.

Að nota sömu lífkennagreiningartækni til auðkenningar eftir á (ekki í rauntíma) er einnig háð sérstökum skilyrðum. Við markvissa leit að grunuðum eða dæmdum einstaklingi þarf almennt að óska heimildar dómstóls eða annars bindandi stjórnvalds, annaðhvort fyrirfram eða innan skamms frests. Slík notkun má ekki vera ómarkviss eða án tengsla við tiltekið brot, sakamál, raunverulega ógn eða leit að ákveðnum týndum einstaklingi.⁴

SUMT benda á að þótt gervigreindarreglugerðin hafi ekki verið tekin upp í EES-samningnum, sýnir hún vel hvernig hægt er að heimila afmarkaða notkun andlitsgreiningar með skýrum reglum um tilgang, einstaklinga, tíma, stað og hver heimilar einstaka notkun. Hún sýnir jafnframt mikilvægi þess að slík afmörkun komi fram í lagatexta.

2. Gagnvart hverjum má beita tækninni?

11. gr. frumvarpsins um skipulagða brotastarfsemi stendur ekki ein. Í sama frumvarpi eru breytingar sem hafa áhrif á hverjir geta sætt eftirliti án þess að hafa brotið af sér og hvaða upplýsingar lögregla getur nýtt við það eftirlit.

Nýtt hugtak og skilgreining rýmkuð

Í 3. gr. frumvarpsins eru lagðar til breytingar á 175. gr. a almennra hegningarlaga sem lúta annars vegar að orðalagi og skilgreiningu hugtaksins „skipulögð brotasamtök" og hins vegar að refsiramma ákvæðisins.

Með þessum breytingum er orðalag ákvæðisins fært frá því að fjalla um „brotasamtök" yfir í „brotahópa". Við orðið „félagsskapur" bætist „eða samstarf", í stað þess að brot séu framin „með skipulegum hætti" er vísað til „tiltekinnar skipanar" og „ávinningsskyni" er víkkað í „ávinningsskyni eða öðrum sameiginlegum tilgangi". Jafnframt fellur brott áskilnaður um að brotastarfsemin sé meginmarkmið félagsskaparins eða verulegur þáttur starfseminnar.

SUMT gera ekki athugasemd við að brugðist sé við því að nútíma brotahópar geti verið lausari í skipulagi en áður. Greinargerðin færir rök fyrir þeirri breytingu.

Öðru máli gegnir um orðalagið „öðrum sameiginlegum tilgangi". Greinargerðin tengir breytinguna við Palermó samning Sameinuðu þjóðanna. Samningurinn miðar hins vegar við fjárhagslegan eða annan efnislegan ávinning. Umrætt frumvarp um skipulagða brotastarfsemi gengur því að þessu leyti lengra en sú skilgreining sem vísað er til og því telja SUMT eðlilegt að sú ákvörðun sé rökstudd sérstaklega.

Samkvæmt 15. gr. b lögreglulaga má lögregla fylgjast með ferðum einstaklings á almannafæri þegar hún hefur áreiðanlegar upplýsingar um að viðkomandi taki virkan þátt í skipulögðum brotasamtökum eða hafi önnur bein tengsl við slík samtök. Ekki þarf að liggja fyrir grunur um að viðkomandi hafi framið tiltekið afbrot.

Í a- og b-lið 12. gr. frumvarpsins er hugtakinu í þessari heimild breytt til samræmis við 3. gr., úr „brotasamtökum" í „brotahóp". Nýtt hugtak „brotahópur" getur haft þau áhrif að rýmka þann hóp einstaklinga sem heimilt er að hafa eftirlit með samkvæmt 15. gr. b lögreglulaga. Þetta skiptir máli vegna þess að skilgreining sem sett er til að ná betur utan um nútíma brotahópa ræður um leið hverjir geta sætt eftirliti án þess að vera grunaðir um tiltekið afbrot.

Þessara áhrifa er hvergi getið í greinargerð frumvarpsins.

SUMT telja mikilvægt að rýmkun út fyrir fyrirmynd Palermó samningsins sé rökstudd sérstaklega og að skýra þurfi mörk nýrrar skilgreiningar 175. gr. a almennra hegningarlaga og meta áhrif á þann hóp einstaklinga sem geta sætt eftirliti samkvæmt breyttri 15. gr. b lögreglulaga.

Áhrifin ná einnig til fólks sem lögregla rannsakar ekki

Andlitsgreining og sjálfvirkur lestur skráningarnúmera geta falið í sér vinnslu upplýsinga um fjölda fólks sem er ekki viðfangsefni lögregluaðgerðar. Við rauntímagreiningu andlita getur vinnslan náð til allra sem ganga fyrir myndavélina þótt aðeins sé leitað að einum einstaklingi. Með sama hætti getur leit að einu ökutæki kallað á skráningu fjölda annarra ökutækja. Umfang áhrifanna ræðst meðal annars af því hvort upplýsingar um aðra einstaklinga og ökutæki eru aðeins notaðar við samanburð eða jafnframt varðveittar og gerðar leitanlegar síðar.

Búkmyndavélar geta haft sambærileg áhrif þótt umfangið sé annars konar. Efni þeirra verður til þar sem lögregla á í samskiptum við borgara og nær því jafnframt til vitna, þolenda, aðstandenda og annarra viðstaddra sem eru ekki viðfangsefni aðgerðarinnar. Sé sjálfvirkri greiningu beitt á slíkt efni getur vinnsla lífkennaupplýsinga jafnframt náð til þessa fólks, þótt það sé ekki sjálft viðfangsefni aðgerðarinnar. Efnið verður auk þess iðulega til á heimilum eða öðrum stöðum þar sem væntingar um friðhelgi eru ríkari en á almannafæri.

Gervigreindarreglugerð Evrópusambandsins nefnir sérstaklega að notkun andlitsgreiningar í rauntíma til að bera kennsl á fólk sem fer um almannafæri geti skapað tilfinningu um stöðugt eftirlit og haft kælandi áhrif á fundafrelsi og önnur grundvallarréttindi.

SUMT halda því ekki fram að slík notkun sé fyrirhuguð. Frumvarpið tekur hins vegar ekki skýra afstöðu til hennar eða almennt til vinnslu upplýsinga um fólk sem ekki er viðfangsefni lögregluaðgerðar. Að mati SUMT þurfa lögin sjálf að setja skýr mörk um slíka vinnslu.

3. Hvert fara gögnin, hver hefur aðgang að þeim og forræði yfir þeim?

Þegar ríkið byggir upp eftirlitsinnviði skiptir ekki aðeins máli hvaða heimildir lögregla fær til að nota þá. Það skiptir líka máli hver hefur endanlega stjórn á gögnunum og kerfunum sem móta innviðina.

Frumvarpið segir ekkert um hvar gögn sem verða til við þessa vinnslu verða geymd og unnin, hvaða kerfi verði notuð og hvaða skilyrði gilda, hvaða aðilar geta haft aðgang að þeim eða hvort vinnsla fari að einhverju leyti fram hjá þriðja aðila. Þetta er ekki aðeins spurning um staðsetningu gagnagrunns, heldur um hvort íslensk stjórnvöld hafi forræði yfir þeirri tæknilegu keðju sem gögnin fara um.

Einnig þarf að skýra tengsl þessarar vinnslu við 10. gr. frumvarpsins. Þar er gert ráð fyrir samstarfi lögreglu við önnur stjórnvöld og einkaaðila og að samstarfsaðilar miðli að eigin frumkvæði þeim upplýsingum, þar á meðal persónuupplýsingum, sem stuðla að markmiðum samstarfsins. Þótt almenn skilyrði um nauðsyn og meðalhóf gildi áfram er ekki skýrt hvort eða við hvaða aðstæður upplýsingum sem verða til við andlitsgreiningu, sjálfvirkan lestur skráningarnúmera eða aðra vinnslu í miðlæga kerfinu verði miðlað á þessum grundvelli.

Sama spurning vaknar gagnvart 2. mgr. 11. gr. a lögreglulaga, þar sem lögreglu er heimilt að skiptast með sjálfvirkum hætti á andlitsmyndum, upplýsingum úr ökutækjaskrá og upplýsingum um erfðaefni og fingraför við erlend lögregluyfirvöld í löggæslutilgangi, og að miðla öðrum persónuupplýsingum sem tengjast þeim beint. Þessar heimildir breyta því hvað 11. gr. frumvarps um skipulagða brotastarfsemi hefur í för með sér.

Að mati SUMT þarf að liggja fyrir hvaða gögn úr miðlæga kerfinu geta farið út úr því, til hverra og í hvaða tilgangi. Það á jafnt við um miðlun til samstarfsaðila samkvæmt 10. gr. frumvarpsins og um sjálfvirk upplýsingaskipti við erlend yfirvöld samkvæmt 11. gr. a lögreglulaga.

Keðjan á upptök sín í myndavélinni

Nútíma stafrænar löggæslumyndavélar er oftast nettengdur tölvubúnaður með eigin hugbúnaði, uppfærsluleiðum og eftir atvikum greiningargetu. Mikilvægt er að liggi fyrir hvaða búnaður er notaður við söfnun myndefnis og annarra persónuupplýsinga, hvort hann geti átt samskipti við ytri þjónustur, hvort framleiðandi eða þjónustuaðili hafi fjaraðgang að honum, hvernig uppfærslum er stýrt, hver getur breytt virkni búnaðarins eftir uppsetningu og hvort einhver vinnsla fari fram í búnaðinum sjálfum áður en gögn eru send áfram.

Gögnin sem verða til við þessa vinnslu eru heldur ekki aðeins myndefnið sjálft. Eftir því hvaða tækni er notuð geta jafnframt orðið til skráningarnúmer, upplýsingar um stað og tíma, lífkennasniðmát (e. biometric template), niðurstöður sjálfvirkrar greiningar og önnur afleidd gögn. Það þarf því að vera skýrt hvaða gögn verða til í hverju kerfi, hvað af þeim er varðveitt, hversu lengi og hver getur fengið aðgang að þeim.

Búkmyndavélar sýna þetta sérstaklega vel. Þeim fylgir að jafnaði hugbúnaður framleiðanda til að hlaða upp, varðveita, flokka og leita í myndefni, oft í skýjaþjónustu á hans vegum.⁵ Val á búnaði getur því um leið falið í sér ákvörðun um hvar gögnin verða vistuð, hvaða aðili rekur kerfið sem þau fara um og hvaða greiningargeta verður tiltæk síðar meir. Hætta er á að ákvörðunin um að virkja þá getu verði tekin af þeim sem rekur kerfið.⁶ Sé myndefni svo vistað eða unnið hjá erlendum þjónustuaðila getur það jafnframt haft áhrif á hvaða heimildir erlend stjórnvöld kunna að hafa til aðgangs að myndefninu.

SUMT telja að ákvörðun um búnað og kerfi sé ekki innkaupamál. Ákvörðunin ræður öryggi gagnanna og setur um leið mörk þess hvað síðar verður tæknilega hægt að gera, óháð því hvað lögin heimila. Áður en slíkir innviðir eru byggðir upp þarf að liggja fyrir hvar gögnin verða vistuð og unnin, hvaða aðilar hafa aðgang að þeim, hvaða greiningargeta fylgir búnaðinum og hver getur virkjað hana síðar. Íslensk stjórnvöld þurfa að hafa forræði yfir þeirri keðju, og það forræði þarf að vera tryggt með samningum og skilyrðum en ekki treyst á velvild birgja.

Val á kerfi og stillingum er ekki aukaatriði

Í andlitsgreiningarkerfi þarf að ákveða við hvaða mörk kerfið tilkynnir um samsvörun. Lágur þröskuldur eykur hættu á röngum samsvörunum en hár þröskuldur eykur hættu á að sá sem leitað er að finnist ekki. Því þarf að vera skýrt hver ákveður þessar stillingar, á hvaða forsendum og hver má breyta þeim.

Áreiðanleiki kerfis ræðst af hönnun þess, þeim gögnum sem það var þjálfað á og aðstæðum við notkun. Bandaríska staðlastofnunin NIST hefur prófað andlitsgreiningarkerfi samfellt um árabil og mælir villutíðni eftir aldri, kyni og kynþætti. Nákvæmni hefur aukist verulega á þeim tíma, en munur milli hópa hefur ekki horfið.⁷ Samkvæmt greiningu Federation of American Scientists á gögnum NIST frá mars 2025 var tíðni rangra samsvarana meðal þeirra tíu kerfa sem stóðu sig best að meðaltali um 23 sinnum hærri fyrir Vestur Afríkubúa en Austur Evrópubúa.⁸

Í Bandaríkjunum eru jafnframt skjalfest tilvik þar sem rangar samsvaranir úr andlitsgreiningarkerfum hafa leitt til handtöku saklausra einstaklinga. Í sumum málanna var augljóst ósamræmi milli einstaklingsins og myndefnisins hunsað af starfsmönnum sem áttu að sannreyna niðurstöður kerfisins. Dæmin sýna að mannleg yfirferð er ekki sjálfkrafa trygging gegn mistökum.⁹

Sé kerfi keypt tilbúið og virkni þess ógagnsæ vegna viðskiptahagsmuna framleiðanda getur það jafnframt torveldað eftirlit og réttindagæslu. Samningar um kaup og rekstur þurfa því að tryggja eftirlitsaðilum nægan aðgang að gögnum, skjölun og upplýsingum um kerfið til að meta virkni þess og áreiðanleika.

SUMT telja að áður en andlitsgreiningartækni verði tekin í notkun sé nauðsynlegt að fyrir liggi hvaða lágmarkskröfur verða gerðar til áreiðanleika hennar, hvernig sannreynt verður að kerfið standist þær við raunverulegar aðstæður, hver ákveður stillingar sem hafa áhrif á tíðni rangra samsvarana, hver má breyta þeim og hvernig þær breytingar eru skráðar. Slík atriði hafa bein áhrif á hættu á röngum samsvörunum og mega ekki ráðast af framleiðanda eða sjálfgefnum stillingum.

4. Hver hefur eftirlit með notkun tækninnar?

Eftirlit með tækni af þessu tagi þarf að vera á tveimur stigum. Annars vegar þarf sá starfsmaður sem tekur við niðurstöðu úr kerfinu að geta metið hana og hafnað henni. Hins vegar þarf sjálfstæður aðili utan lögreglu að geta fylgst með því hvernig tæknin er notuð yfir tíma, hversu oft, í hvaða tilgangi og með hvaða árangri.

Hvorugt er sjálfgefið. Fyrra stigið krefst þess að starfsmaðurinn hafi raunverulega yfirsýn yfir það sem kerfið gerir, sem tengist beint þeim spurningum um gagnsæi sem raktar voru hér að framan. Það síðara krefst þess að einhver hafi bæði heimildir og fjármagn til að sinna eftirlitinu.

Það dugar ekki að starfsmaður líti yfir niðurstöðuna

Greinargerð frumvarpsins um skipulagða brotastarfsemi segir að niðurstöður sjálfvirkrar greiningar skuli sæta viðeigandi sannprófun starfsmanns áður en á þeim er byggt. Þessi varnagli kemur samt hvergi fram í lagatextanum sjálfum.

Það eitt að starfsmaður komi að ferlinu tryggir hins vegar ekki raunverulega sannprófun. Rannsókn Singh og Passi bendir til þess að starfsmaðurinn þurfi að þekkja getu og takmarkanir kerfisins, skilja á hverju niðurstaðan byggir, hafa raunverulegt vald til að hafna henni og geta gripið inn í áður en mistök hafa afleiðingar.¹⁰ Gervigreindarreglugerð Evrópusambandsins byggir á sambærilegri hugsun og gerir meðal annars ráð fyrir að sá sem sinnir mannlegu eftirliti skilji takmarkanir kerfisins, geti túlkað niðurstöður þess og hafi heimild til að hafna þeim eða stöðva notkun kerfisins.

SUMT telja að meginreglan um sannprófun starfsmanns eigi að koma fram í lagatextanum sjálfum en ekki aðeins í greinargerð. Jafnframt þarf að tryggja að starfsmaður hafi nauðsynlega þjálfun og upplýsingar til að meta niðurstöðuna, raunverulegt vald til að hafna henni og að yfirferðin sé skráð þannig að unnt sé að sannreyna hana eftir á.

Eftirlit með notkun tækninnar þarf að vera skýrt, sjálfstætt og fjármagnað

11. gr. frumvarpsins heimilar notkun gervigreindar við söfnun og vinnslu mjög viðkvæmra persónuupplýsinga. Eftir því sem tæknin gerir umfangsmeira og sjálfvirkara eftirlit mögulegt, verður þörfin fyrir skýrt, sjálfstætt og virkt aðhald meiri.

Þörfin er sérstaklega mikil þegar einstaklingar vita ekki að vinnsla hafi átt sér stað. Sá sem gengur fyrir myndavél eða ekur fram hjá númeralesara án þess að vera viðfangsefni lögregluaðgerðar hefur lítið tilefni til að óska upplýsinga um vinnsluna. Regluleg opinber upplýsingagjöf um umfang, tilgang og notkun tækninnar verður því mikilvægur hluti aðhaldsins.

Ýmis eftirlitsúrræði eru þegar fyrir hendi. Persónuvernd hefur eftirlit með vinnslu persónuupplýsinga, Nefnd um eftirlit með lögreglu hefur sjálfstætt eftirlitshlutverk, ríkissaksóknari hefur eftirlit með tilteknum aðgerðum lögreglu og innan lögreglu er innra gæðaeftirlit. Frumvarpið gerir hins vegar ekki ráð fyrir kerfisbundnu eftirliti með þeirri nýju getu sem felst í andlitsgreiningu og annarri gervigreindarvinnslu, né kemur fram að núverandi eftirlitsaðilar verði efldir til þess. Ekki er því skýrt hver eigi að fylgjast með umfangi og tilgangi notkunarinnar, áreiðanleika niðurstaðna, afleiðingum rangra samsvarana eða því hvort notkunin sé nauðsynleg og hófleg.

Sjálfstætt eftirlit krefst jafnframt fjármagns og sérþekkingar. Í greinargerðinni er gert ráð fyrir að auknum verkefnum verði að mestu mætt innan núverandi fjárheimilda. Innleiðing, öryggisráðstafanir, prófanir og sjálfstætt eftirlit krefjast hins vegar mannafla og sérþekkingar. Ef þessu er ekki sinnt er hætta á að skilvirknisjónarmið fái meira vægi en vernd grundvallarréttinda.

SUMT gjalda varhug við að ný valdheimild af þessu tagi verði veitt án þess að eftirlit með henni sé byggt upp samhliða. Lögin þurfa að kveða skýrt á um hver beri ábyrgð á eftirlitinu, hvaða upplýsingar hann fái til að sinna því eftirliti og hvaða heimildir hann hafi til að bregðast við misbresti. Því hlutverki þarf jafnframt að fylgja fullnægjandi fjármagn og sérþekking.

Lokaorð

Frumvarpið veitir lagaheimild fyrir uppbyggingu miðlægra eftirlitsinnviða sem gera lögreglu kleift að safna og vinna myndefni frá mörgum stöðum, greina það með gervigreind, bera kennsl á einstaklinga og rekja ferðir þeirra. Slík uppbygging getur verið réttlætanleg við ákveðnar aðstæður.

Mat á henni á hins vegar ekki að ráðast af trausti til þeirra sem fara með valdið hverju sinni. Eftirlitsinnviðir lifa lengur en þau stjórnvöld sem reisa þá, og þau lagalegu mörk sem sett eru í dag ráða því hvað hægt verður að gera við þá síðar, við aðrar aðstæður og undir öðrum stjórnvöldum.

Spurningin er því ekki hvort núverandi stjórnvöldum sé treystandi, heldur hvort mörkin haldi ef til kæmi stjórnvald sem hefði annan ásetning.

Að mati SUMT svarar frumvarpið ekki þeim fjórum spurningum sem umsögnin tekur til. Ekki liggur fyrir hvaða tegundir gervigreindarvinnslu verða heimilar og hvers vegna, gagnvart hverjum þeim verður beitt, hvar gögnin verða vistuð og hver hefur forræði yfir þeim, eða hver fylgist með notkuninni. Þessi atriði eru ekki tæknilegar útfærslur heldur kjarni þeirrar valdheimildar sem verið er að veita, og þau eiga því heima í lagatextanum sjálfum.

SUMT telja því ekki skynsamlegt að 11. gr. verði samþykkt í núverandi mynd. Hvort sem heimild til gervigreindarvinnslu verður tekin út og lögð fram síðar í sérstöku frumvarpi eða afmörkuð mun skýrar í þessu frumvarpi þarf að liggja fyrir rökstudd þörf, skýr mörk í lögum, tryggt forræði yfir gögnum og eftirlit sem eflist samhliða auknum valdheimildum. Sú niðurstaða þarf jafnframt að byggja á mun breiðari aðkomu en undirbúningur frumvarpsins hefur borið vitni um.

SUMT lýsa sig reiðubúin til frekara samráðs við ráðuneytið um þau álitaefni sem umsögnin tekur til og til að veita frekari upplýsingar eða sjónarmið eftir því sem þörf krefur.

Virðingarfyllst,

f.h. Samtaka um mannvæna tækni
Halldóra Mogensen

Umsögn Samtaka um mannvæna tækni um drög að frumvarpi dómsmálaráðherra um skipulagða brotastarfsemi