EU vil bekæmpe visse typer kunstig intelligens: Lovforslag forbyder “sociale pointsystemer”

Ud fra hvad jeg har set af forslaget indtil videre, så synes jeg faktisk det ser ganske fornuftigt ud. Og dejligt at politikerne for en gangs skyld er bare nogenlunde på forkant med udviklingen inden for IT frem for forsinket fejlslagen lovgivning mange år senere.

så er det godt, at eu i forvejen har sociale pointsystemer, mange andre steder.

skummelt det er blevet nødvendigt med en sådan lov

#0

Ideen med at kontrollere AI er god.

Hvis beslutnings-kompetance flyttes fra levende menneker til kunstig intelligens er der mange nye problemer. Et centralt problem er ansvar. Hvis et menneske træffer en forkert beslutning kan det få en næse, fyres eller sættes i fængsel. Hvis en kunstig intelligen stræffer en forkert beslutning, så kan man hvad?? Intet ansvar fører ofte til katastrofer.

Problemet er at de eksempler de giver ikke er særligt fokuseret på kunstig intelligens, men mere går efter en hypotese om at avanceret IT brug er et problem.

Kunstig intelligens, der eksempelvis bruges til at udregne klimamodeller, strømline produktion og effektivisere elnetværk, vil fortsat være tilladt.

That means AI systems that streamline manufacturing, model climate change, or make the energy grid more efficient would be welcome.

Dette er meget beregningstunge opgaver. Men jeg ser ikke meget kunstig intelligens i det.

Lovforslaget har blandt andet til hensigt at begrænse udviklingen af sociale pointsystemer, der kendes fra Kina, og som bruges til at måle mennesker og firmaers troværdighed.

Social scoring systems, such as those launched in China that track the trustworthiness of people and businesses, are classified as "contravening the Union values" and are going to be banned.

Samkøring af store datamængder og scoring af villighed til at følge systemet er et stort politisk og etisk problem.

Men så længe scoringen er defineret af mennesker er det vel ikke et kunstig intelligens problem.

Det bliver først et kunstiog intelligens problem hvis programmet selv skal finde ud af hvad der godt og hvad der er skidt.

Loven er endvidere et forsøg på at forbyde kunstig intelligenssystemer, der manipulere borgeres adfærd, meninger og beslutninger. Systemer, der bruges til masseovervågning, vil også blive forbudt.

The proposal also wants to prohibit AI systems that cause harm to people by manipulating their behavior, opinions or decisions; exploit or target people's vulnerabilities; and for mass surveillance.

Igen synes der mere fokus på data analyse og data brug end på kunstig intelligens.

But many technologies currently in use in Europe today, such as algorithms used to scan CVs, make creditworthiness assessments, hand out social security benefits or asylum and visa applications, or help judges make decisions, would be labeled as "high risk," and would be subject to extra scrutiny.

Og igen vil jeg skelne mellem et ekspert system som tager objektive input og regler defineret af mennesker og producerer et resultat og et kunstigt intelligens system som har fundet sine egne regler.

Hvis vi tager låneansøgninger som eksempel.

input ribers status
input løn
input afdrag og renter
if in ribers reject
if afdrag og renter > 40% af løn reject
if løn - afdrag og renter < 7500 om måneden reject
accept

er ikke kunstig intelligens og efter min mening acceptabelt - et resultat kan regnes efter i hånden og begrundes.

indsaml alle oplysninger om personer
definer selv algoritme som minimerer tab
juster løbende

er kunstig intelligens og efter min mening problematisk - ingen kan regne efter og begrunde en beslutning - det bliver "computerens vilje".

#3, efter Kina indførte det, så foreslog mere end én dansk politiker at vi burde kigge den vej, for at håndtere vores arbejdsløse og dem på kontanthjælp.

#4 ja de roder datamodellering, ekspertsystemer og "black box AI" sammen. Men problemstillingen er vel uafhængig af hvilken type databehandling der laves. Et social-score pointsystem med helt gennemsigtige regler er problematisk selvom det ikke bruger AI.

Den rigtige balance tænker jeg er at lave retningslinjer for hvad der er acceptabelt i de offentlige instanser.

At indføre omfattende regler for de private erhverv også? Det lyder for mig desværre som en ny omgang lov-rod der hurtig bliver forældet og bare skaber papirarbejde, flere jurister, legal risk og red tape. Der er mange reelle anvendelser af AI som skal have lov til at blive prøvet af i det private. Kunden kan altid gå til konkurrenten hvis det bliver for meget.

#4 ja de roder datamodellering, ekspertsystemer og "black box AI" sammen. Men problemstillingen er vel uafhængig af hvilken type databehandling der laves. Et social-score pointsystem med helt gennemsigtige regler er problematisk selvom det ikke bruger AI.

Absolut. Men lovgivning som starter med en rodet analyse kan meget nemt ende med et rodet resultat.

Den rigtige balance tænker jeg er at lave retningslinjer for hvad der er acceptabelt i de offentlige instanser.

At indføre omfattende regler for de private erhverv også? Det lyder for mig desværre som en ny omgang lov-rod der hurtig bliver forældet og bare skaber papirarbejde, flere jurister, legal risk og red tape. Der er mange reelle anvendelser af AI som skal have lov til at blive prøvet af i det private. Kunden kan altid gå til konkurrenten hvis det bliver for meget.

Markedsmekanismerne kan løse mange problemer. Men det kræver en vis åbenhed for at forbrugerne kan træffe valg baseret på viden.

Hvis vi fortsætter med låneeksemplety. Den aktive forbruger spørger til lånevilkår i 3 forskellige banker og får 3 næsten ens tilbud. Betyder det at det er fair markedsvilkår? Eller betyder det at de 3 banker har købt samme AI system der har spyttet samme resultat af samme analyse ud 3 gange?

arne_v (4) skrev:

Og igen vil jeg skelne mellem et ekspert system som tager objektive input og regler defineret af mennesker og producerer et resultat og et kunstigt intelligens system som har fundet sine egne regler.

Men det er netop det sidste som man taler om.

Amazon forsøgte fx på et tidspunkt at lave et AI-system til at skanne CV'er for at kunne vurdere hvilke medarbejdere de burde overveje at ansætte. Som træningsdata brugte de CV'er fra nuværende eller tidligere ansatte (ideen værende "Vi skal have flere af dem").

Problemet var at Amazon før det havde været en meget mandsdomineret virksomhed. Så AI'en begyndte automatisk at undgå CV'er hvor ordet "woman" fx optrådte, ligesom den også i højere grad frasorterede folk som var uddannet på kvindetunge universiteter (så universitetet blev frasorteret).

Hele problematikken med AI er at jo at selv skaberne ofte har begrænset indsigt i hvordan computersystemet reelt set tænker og kommer frem til de resultater det præsenterer. Derfor kan sådan nogle ting nogle gange ryge under radaren. I Amazons tilfælde var fejlen heldigvis ret åbenlys, og de droppede selv systemet. Men det er ikke givet.

Jeg er helt enig med dig i at man skal skelne mellem AI og menneskeskabte algoritmer her. Men det tror jeg faktisk EU har styr på.

arne_v (7) skrev:

Hvis vi fortsætter med låneeksemplety. Den aktive forbruger spørger til lånevilkår i 3 forskellige banker og får 3 næsten ens tilbud. Betyder det at det er fair markedsvilkår? Eller betyder det at de 3 banker har købt samme AI system der har spyttet samme resultat af samme analyse ud 3 gange?

Hvis analysen er unfair er der mulighed for at en fjerde bank kan lave en god handel ved at tage imod kunden.

Men ja, risikoen er der bestemt. Men jeg ved ikke om lovgivning kan løse problemet bedre end markedet kan, hvis ellers markedet fik lov. Der burde være ikke ét analyse firma, men 5 firmaer, og så kan banken vurdere kunden ud fra f.eks. 5 datapunkter. Lovgivning betyder bare at der er større chance for at kun ét vurderingsfirma klarer alle de juridiske hurdler end fem.

"Reglerne vil dog gøre en undtagelse for myndigheder, der kan bruge teknologien til at bekæmpe alvorlig kriminalitet. Herunder vil ansigtsgenkendelse også være tilladt i offentlige rum, hvis brugen er begrænset i tid og geografi."

Jamen det bliver jeg da bare SÅ beroliget af.

Der er da eksempler på at politiet har fået lov til at bruge systemer men kun i kortere tid og kun rettet mod specifikke individer eller steder, men hvor de bare bruger det indiskrimineret mod alle.

Hvis det her social credit score system bliver ulovligt, så dropper de vel Corona passet igen, det er jo ellers deres første skridt mod sådan en system.

Imod unionens værdier

Et skræmmende udtryk opfundet af Josef Stalin. Folketingets lov må være nok til os danskere. Lad os gøre som Norge og Storbritannien. Så må vi tage vores kampe på Christiansborg, uafhængigt af unionens værdier.

Vanvittig (11) skrev:

Imod unionens værdier

Et skræmmende udtryk opfundet af Josef Stalin. Folketingets lov må være nok til os danskere. Lad os gøre som Norge og Storbritannien. Så må vi tage vores kampe på Christiansborg, uafhængigt af unionens værdier.

skal vi have lavet en software opdatering af vestager?

larsp (9) skrev:

arne_v (7) skrev:

Hvis vi fortsætter med låneeksemplety. Den aktive forbruger spørger til lånevilkår i 3 forskellige banker og får 3 næsten ens tilbud. Betyder det at det er fair markedsvilkår? Eller betyder det at de 3 banker har købt samme AI system der har spyttet samme resultat af samme analyse ud 3 gange?

Hvis analysen er unfair er der mulighed for at en fjerde bank kan lave en god handel ved at tage imod kunden.

Ja.

Men når ikke det er synligt for kunden hvad der sker, så bliver det mere tilfældigt og mindre markede.

larsp (9) skrev:

Men ja, risikoen er der bestemt. Men jeg ved ikke om lovgivning kan løse problemet bedre end markedet kan, hvis ellers markedet fik lov. Der burde være ikke ét analyse firma, men 5 firmaer, og så kan banken vurdere kunden ud fra f.eks. 5 datapunkter. Lovgivning betyder bare at der er større chance for at kun ét vurderingsfirma klarer alle de juridiske hurdler end fem.

Lovgivning kan stille krav om "vare deklaration".

Athinira (8) skrev:

arne_v (4) skrev:

Og igen vil jeg skelne mellem et ekspert system som tager objektive input og regler defineret af mennesker og producerer et resultat og et kunstigt intelligens system som har fundet sine egne regler.

Men det er netop det sidste som man taler om.

Nej. Der står faktisk ikke noget om dette. Og for størstedelen af eksemplerne er det slet ikke tilfældet.

Athinira (8) skrev:

Jeg er helt enig med dig i at man skal skelne mellem AI og menneskeskabte algoritmer her. Men det tror jeg faktisk EU har styr på.

Det er godt at du tror det.

Men udfra hvad de faktisk skriver er der ikke nogen indikationer på det.

Athinira (8) skrev:

Amazon forsøgte fx på et tidspunkt at lave et AI-system til at skanne CV'er for at kunne vurdere hvilke medarbejdere de burde overveje at ansætte. Som træningsdata brugte de CV'er fra nuværende eller tidligere ansatte (ideen værende "Vi skal have flere af dem").

Problemet var at Amazon før det havde været en meget mandsdomineret virksomhed. Så AI'en begyndte automatisk at undgå CV'er hvor ordet "woman" fx optrådte, ligesom den også i højere grad frasorterede folk som var uddannet på kvindetunge universiteter (så universitetet blev frasorteret).

Hele problematikken med AI er at jo at selv skaberne ofte har begrænset indsigt i hvordan computersystemet reelt set tænker og kommer frem til de resultater det præsenterer. Derfor kan sådan nogle ting nogle gange ryge under radaren. I Amazons tilfælde var fejlen heldigvis ret åbenlys, og de droppede selv systemet. Men det er ikke givet.

https://www.reuters.com/article/us-amazon-com-jobs...

Det er et glimrende eksempel på at AI kan resultere i et uigennemskueligt og utilsigtet resultat.

arne_v (14) skrev:

Athinira (8) skrev:

Amazon forsøgte fx på et tidspunkt at lave et AI-system til at skanne CV'er for at kunne vurdere hvilke medarbejdere de burde overveje at ansætte. Som træningsdata brugte de CV'er fra nuværende eller tidligere ansatte (ideen værende "Vi skal have flere af dem").

Problemet var at Amazon før det havde været en meget mandsdomineret virksomhed. Så AI'en begyndte automatisk at undgå CV'er hvor ordet "woman" fx optrådte, ligesom den også i højere grad frasorterede folk som var uddannet på kvindetunge universiteter (så universitetet blev frasorteret).

Hele problematikken med AI er at jo at selv skaberne ofte har begrænset indsigt i hvordan computersystemet reelt set tænker og kommer frem til de resultater det præsenterer. Derfor kan sådan nogle ting nogle gange ryge under radaren. I Amazons tilfælde var fejlen heldigvis ret åbenlys, og de droppede selv systemet. Men det er ikke givet.

https://www.reuters.com/article/us-amazon-com-jobs...

Det er et glimrende eksempel på at AI kan resultere i et uigennemskueligt og utilsigtet resultat.

Men næppe et godt eksempel på hvorfor lovgivning er nødvendig.

Eksemplet omhandler noget som man sikre maksimal offentlig forargelse - diskriminering på grund af køn har stor medietække - det er formentlig kun diskrimination på grund af hudfarve der vil give mere.

Men det er jo ret åbenlyst et problem som markedet kan løse uden lovgivning.

arne_v (15) skrev:

Men næppe et godt eksempel på hvorfor lovgivning er nødvendig.

Eksemplet omhandler noget som man sikre maksimal offentlig forargelse - diskriminering på grund af køn har stor medietække - det er formentlig kun diskrimination på grund af hudfarve der vil give mere.

Men det er jo ret åbenlyst et problem som markedet kan løse uden lovgivning.

Du nævner selv i flæng hvorfor markedet ikke nødvendigvis kan løse det problem. Eksemplet fra Amazon er - som du så korrekt siger det - et af dem der handler om at skabe mest mulig forargelse. Men hvad med eksempler (diskrimination) som ikke skaber forargelse? De bliver ikke løst af markedet, fordi at der - uden lovgivning - ikke er nogen konsekvens.

Ligeledes er gennemsigtighed heller ikke noget som markedet prioriterer. En del af ideen med hele den her lovgivning er at skabe gennemsigtighed omkring hvordan AI (eller bare algoritmer) kommer frem til de konklusioner de nu engang præsenterer. Jeg ser ikke noget sted at markedet skulle promovere gennemsigtighed her. Banken har ikke interesse i at offentligheden får indsigt baseret på hvilke kriterier de afviser eller godkender lån. I deres øjne vedkommer det kun dem selv.

Jeg kan ikke se hvordan markedet i sig selv kan løse mange af de problemer som EU forsøger at løse her.

Ligeledes er der også aspektet af loven der omhandler at fastsætte klare linjer for hvordan AI må bruges i efterforskningen af kriminalitet. Det er heller ikke et problem markedet kan løse af sig selv uden ansvarlig lovgivning. Politi og efterretningstjenester er interesserede i at få de bedste værktøjer de kan få fat i til at gøre deres arbejde, og tilsidesætter gerne etiske overvejelser for at få de værktøjer. Udviklerne er værktøjerne er interesserede i at sælge dem, så de leverer det produkt der maksimerer deres profit - i det her tilfælde hvad kunden efterspørger. Jeg kan ikke se hvordan det bliver løst her.

Jeg har personligt selv længe ønsket lovgivning der begrænser brugen af fx ansigtsgenkendelsesteknologi. Det er en del af pakken her. Og selvom jeg ikke er enig i omfanget af begrænsningerne på forslaget, så er jeg i det mindste glad for at problemet anerkendes.

Athinira (16) skrev:

arne_v (15) skrev:

Men næppe et godt eksempel på hvorfor lovgivning er nødvendig.

Eksemplet omhandler noget som man sikre maksimal offentlig forargelse - diskriminering på grund af køn har stor medietække - det er formentlig kun diskrimination på grund af hudfarve der vil give mere.

Men det er jo ret åbenlyst et problem som markedet kan løse uden lovgivning.

Du nævner selv i flæng hvorfor markedet ikke nødvendigvis kan løse det problem. Eksemplet fra Amazon er - som du så korrekt siger det - et af dem der handler om at skabe mest mulig forargelse. Men hvad med eksempler (diskrimination) som ikke skaber forargelse? De bliver ikke løst af markedet, fordi at der - uden lovgivning - ikke er nogen konsekvens.

Der er masser af tilfælde som amrkedet ikke kan løse.

Men Amazon eksempelet er et eksempel som markedet ville løse også uden forargelseseffekten.

Athinira (16) skrev:

Ligeledes er gennemsigtighed heller ikke noget som markedet prioriterer. En del af ideen med hele den her lovgivning er at skabe gennemsigtighed omkring hvordan AI (eller bare algoritmer) kommer frem til de konklusioner de nu engang præsenterer. Jeg ser ikke noget sted at markedet skulle promovere gennemsigtighed her. Banken har ikke interesse i at offentligheden får indsigt baseret på hvilke kriterier de afviser eller godkender lån. I deres øjne vedkommer det kun dem selv.

Som det fremgår af #7 og #13 er jeg enig.

Athinira (16) skrev:

Jeg kan ikke se hvordan markedet i sig selv kan løse mange af de problemer som EU forsøger at løse her.

De kan de sikkert heller ikke. Men kan EU??

Hvis vi nu tager eksemplet som er udvalgt til overskriften. Markedet vil næppe få Kina til at indføre frihed for landets borgere. Men vil EU true Kina med handelsboykot og sende et par hundredetusinder soldater til Taiwan for at markere over for Kina?

Jeg tvivler meget.

Lovgivning mod AI hjælper ikke.

Og nogle pæne ord omkring AI hjælper slet ikke.

Athinira (16) skrev:

Ligeledes er der også aspektet af loven der omhandler at fastsætte klare linjer for hvordan AI må bruges i efterforskningen af kriminalitet. Det er heller ikke et problem markedet kan løse af sig selv uden ansvarlig lovgivning. Politi og efterretningstjenester er interesserede i at få de bedste værktøjer de kan få fat i til at gøre deres arbejde, og tilsidesætter gerne etiske overvejelser for at få de værktøjer. Udviklerne er værktøjerne er interesserede i at sælge dem, så de leverer det produkt der maksimerer deres profit - i det her tilfælde hvad kunden efterspørger. Jeg kan ikke se hvordan det bliver løst her.

Jeg har personligt selv længe ønsket lovgivning der begrænser brugen af fx ansigtsgenkendelsesteknologi. Det er en del af pakken her. Og selvom jeg ikke er enig i omfanget af begrænsningerne på forslaget, så er jeg i det mindste glad for at problemet anerkendes.

Men er det ikke et eksempel på klassisk teknologi forskrækkelse.

Der er en masse meget relevante spørgsmål omkring hvad politiet må indsamle, hvad de må gemme, hvorlænge de må gemme og hvordan de må bruge det.

Men svarene på de spørgsmål bør ikke afhænge af om det er et program som finder match eller om det er et menneske der finder match.