Kriger om definisjonsmakt

Det er ikke pilotdrevne droner, men selvstyrte våpensystemer, populært kalt «killer robots», som kommer til å dominere fremtidens slagmark.

Og Norge leder an i det teknologiske kappløpet. I slutten av forrige måned ble norske og australske myndigheter enige om å samarbeide om Joint Strike Missile som har vært under utvikling ved Kongsberg siden 2004 og som omtales som Norges mest avanserte militære utviklingsprogram noensinne (se tekstboks).

Som alltid følger det kontroverser rundt våpenproduksjon. Denne gangen er det graden av selvstyring, eller autonomitet, som har satt sinnene i kok.

Slagkraftig Nobelpris

Damen som har bestemt seg for å stoppe slike våpen før de egentlig er her, er Mary Wareham, som delte Nobels fredspris med Jody Williams for arbeidet med å bannlyse landminer gjennom organisasjonen Human Rights Watch. I kampanjen hun leder, Stop Killer Robots, hevdes det at autonome våpensystemer bryter med prinsippet om at våpenbruken skal stå i forhold til behovet, såkalt proporsjonalitet. Hun vil ha et forbud før teknologien blir for avansert.

Aktivistene har en tøff kamp foran seg. I dag klarer man ikke engang å enes om en definisjon på hva autonome våpen egentlig er. Flere aktivister mener det er våpen som selv kan velge ut og engasjere mål etter at de er avfyrt. Den britiske hæren har i sin definisjon satt en mye høyre terskel. Der kreves det av et autonomt våpen at det er selvbevisst og at det har samme situasjonsforståelse som et menneske. Dermed er heller ikke det britiske missilet Brimstone som kan velge seg egne mål, autonomt etter britenes definsjon.

Nupi-forsker Erik Reichborn-Kjennerud, skiller mellom hel- og helvautonome våpen. Mens helautonome våpen kan velge ut og engasjere mål på egen hånd ikke finnes ennå, må halvautonome ha en eller annen form for menneskelig innblanding.

Den amerikanske hæren har ved flere anledninger har uttalt at det er uaktuelt å lage våpen som kan operere uten menneskelig kontroll, altså helautonome, men utelukker ikke bruk av halvautonome våpen.

New York Times skrev i høst om Kongsbergutviklede JSM at missilet kan jage, oppdage og kjenne igjen mål uten menneskelig innblanding.

I Kongsberg Gruppen mener man at dette ikke er en presis beskrivelse av missilets egenskaper.

– JSM er et missil som er utviklet for anvendelse mot godt beskyttede strategiske mål. All målutvelgelse gjøres av mennesker. Når missilet er avfyrt har det avansert teknologi for å gjenkjenne mål som er valgt ut. Missilet har en to-veis datalink som blant annet muliggjør måloppdatering og å avbryte oppdrag etter avfyring. Dette betyr at missilet ikke har noen form for fri vilje, og er kun istand til å uføre det oppdrag operatøren gir det. Dersom missilet ikke finner det tilvalgte mål eller ikke er istand til å løse et konkret oppdrag, vil det uskadeliggjøre seg selv. Missilets teknologi sikrer at det ikke treffer feil mål, sier kommunikasjonsrådgiver i Kongsberg Johannes Dobson i en epost.

– Hvis JSM i det hele tatt har autonome egenskaper, er det snakk om halv-autonome, sier Reichborn-Kjennerud i NUPI.

Kongsberg Gruppens konkurrent, amerikanske Lockheed Martin, har utviklet et missil som kan skytes ut mot et fiendtlig miljø. Etter at om lag halve avstanden er avlagt, kan missilets programmering bes om å ta over styringen. I en test ble den såkalte Long range anti-ship missile skutt ut mot tre skip. Missilet valgte selv hvilket skip det tok ut.

– Da er vi på et annet nivå. Missilet valgte selv målet. Algoritmens oppbygging er klassifisert, så vi vet ikke hvordan missilet skiller mellom mål, noe det må kunne gjøre både etisk, legalt og for å være militært effektivt, sier Reichborn-Kjennerud.

Israel har også et et våpen som selv kan velge seg sine mål. «Harpy» heter det – oppkalt etter monsteret med fuglekropp og kvinneansikt fra gresk mytologi. Det skytes rett opp i luften, derfra sirkler det på jakt etter passende skyteskiver å ta ut. For tiden tar Harpy kun ut radarinstallasjoner.

Vanskelig politisk

Alexander Harang var tidligere leder for Norges fredslag, en organisasjon opprettet av Bjørnstjerne Bjørnson som jobber for fredsfremming. Han har også vært delaktig i Campaign to stop killer robots. Han tror det haster å få på plass gode retningslinjer for selvstyrte våpen før den teknologiske utviklingen går for langt. I fjor tok han derfor kontakt med samtlige politiske partier på Stortinget i et forsøk på å skape en debatt om autonome våpensystemer.

Bortsett fra et seminar i Stortinget om droner, skjedde det lite.

Harang sier i dag han tror det skyldes teknologivegring hos politikerne.

– Det er en umoden debatt som går langt over hodet på folk. Kombinasjonen av teknoprat og vanskelige etiske problemstillinger gjør at det blir for avansert for politikerne til å ta tak i, sier han.

Men internasjonalt begynner motstanden å vokse. EU, Frankrike, Spania, Østerrike, Irland, Nederland, Kroatia, Mexico var blant landene som deltok på FN-møtet i regi av konvensjonen for inhuman bruk av konvensjonelle våpen (CCW) i høst for å advare mot de potensielle farene ved den raske utviklingen av teknologien, ifølge Guardian. Det ville ikke vært første gang CCW får igjennom forbud av fremtidsrettede våpen. For 20 år siden la deltagerlandene ned forbud mot laservåpen fordi dets viktigste egenskap også var dets verste: Å gjøre folk blinde.

Regulering av autonome våpen faller inn under FNs våpenkonvensjon (CCW), som er en del av Geneve-konvensjonen som tar for seg våpens konsekvenser for sivilbefolkningen. I henhold til CCW blir våpen bannlyst eller innskrenket dersom de kan anses å skade sivile uforholdsmessig mye, eller dersom de forårsaker inhumane lidelser for stridende. Norge deltar i dette arbeidet.

FNs spesialrådgiver for utenomrettslige og vilkårlige henrettelser Christof Heyns har ved flere anledninger krevd et midlertidig forbud mot teknologien. I fjor ble et midlertidig forbud avvist av forsvarsminister Ine Eriksen Søreide. Likevel sa hun seg enig i at større grad av robotisering reiser kompliserte spørsmål.

Og denne våren våknet til og med World Economic Forum i Davos. I forumets rapport Global Risks 2015 uttrykkes det bekymring over utviklingen av autonome våpen og utfordringene de legger på folkeretten og beskyttelsen av sivile i krig. Det kan oppstå uklare situasjoner over hvem som er ansvarlig når teknologien handler på egne vegne, heter det i rapporten som tar til orde for en mer fremoverlent holdning for å motarbeide tendensen til at teknologisk utvikling løper fra samfunnets evne til å kontrollere teknologien.

Johan H. Andresen deltok på seminaret i Davos. Han sitter også i etikkrådet til oljefondet. Til Dagens Næringsliv uttalte han at tanken på helautonome våpen skremte ham og at han håpte oljefondet ikke måtte komme til å selge seg ut av selskaper som produserer autonome våpen fordi det innen den tid forhåpentlig er kommet på plass forbud.

Og rett over påske skal ekspertene møtes nok en gang – i Geneve i FNs regi. Diskusjoner rundt hva som er meningsfull menneskelig kontroll står på programmet.

Etiske utfordringer

Som med alle nye teknologier som har potensial til å revolusjonere samfunnet, oppstår det mange krevende spørsmål. Hvem har egentlig skylden hvis noe går galt? Og hva er meningsfull menneskelig kontroll?

Reichborn-Kjennerud tror debatten rundt autonome våpen også vil omfatte førerløse biler.

– La oss si at bilen er programmert til å ikke kjøre på mennesker og så dukker det plutselig opp en fotgjenger. Skal bilen da kjøre av veien og risikere livet til alle om bord? Det er ikke krystallklart hva den skal velge, sier han.

De mulige negative konsekvensene har også blåst liv i den gamle debatten om etisk design. Hvis man vet at noe kan brukes til å gjøre stor skade, som for eksempel en atombombe, skal man da bidra til utviklingen? Atombombens far J. Robert Oppenheimer kom i ettertid frem til at for ham var svaret nei.

Men det aller meste av ny teknologi kan ha positive så vel som negative konsekvenser.

Det har ført til en retning innen design hvor man forsøker å lokke frem mer etisk bruk. For eksempel har man økt oppløsningen på kameraet som følger missilets reise fra drone til mål. Effekten er at dronepiloten får se flere grusomme detaljer av treffstedet. De siste tallene kan tyde på at effekten er sterk. Ifølge lekkasjer fra det amerikanske forsvaret slutter flere dronepiloter enn det utdannes hvert år. En årsak er at dronepiloter er overrepresentert blant soldater med post-traumatiskstress syndrom.

Har ikke vurdert etikken

Filosofiprofessor ved UiO Camilla Serck-Hanssen leder det snart tre år gamle etiske rådet for forsvarssektoren. Det var daværende forsvarsminister Grete Faremo som tok initiativ til et etisk råd, og hennes arvtaker Erling Barth Eide foretok den offisielle opprettelsen da han tok over. Rådet er frittstående.

– Faktisk har ingen av ministrene brukt oss. Når vi har tatt opp saker, har vi gjort det på eget initiativ, sier hun.

I 2013 la de frem sine synspunkter på bruken av droner. Kort oppsummert var svaret at folk ikke må glemme å ta ansvar for egne handlinger. Nye etiske normer var det ikke behov for, ifølge rådet.

Etisk råd for forsvarssektoren har ikke sett på autonome våpen ennå, men Serck-Hanssen har gjort seg noen tanker selv.

– Til syvende og sist sitter det mennesker bak, om ikke direkte bak rattet, så bak programmeringen. Jeg synes det er en tendens til å overdrive autonomien i en del av den nye teknologien, sier hun og legger til at det ikke betyr at det ikke kan være spesielle problemer med autonomi.

Et viktig punkt vil være hvor mange muligheter det vil eksistere for menneskelig inngripen.

– Det er mulig vi kommer til å ta dette opp ved et senere tidspunkt, sier hun.

Siden i fjor sommer har ikke rådet fungert som det skal. Nylig ble antallet medlemmer kraftig redusert for å bedre effektiviteten. Serck-Hanssen håper nye medlemmer skal være på plass til sommeren og at rådet skal avholde faste møter fra da av.

Godt nok regelverk i dag

– Det er klart at det finnes og utvikles teknologiske løsninger som er problematiske og utfordrende rettslig sett. Men problemene knytter seg snarere til bruken og ikke mangelen på regler, sier førsteamanuensis Sigmund Simonsen ved Luftkrigsskolen som snart skal i gang med et eget prosjekt på autonome droner.

– Jeg oppfatter at flere jurister mener at dagens regler er egnet til også å regulere den videre utviklingen av teknologien, sier han. Det vil si at gjeldende regler setter klare begrensninger for bruken, og dermed også hvilken teknologi som er akseptabel, sier han.

Simonsen mener at så lenge mennesket bevarer full kontroll og bruken begrenses til lovlige militære mål i overensstemmelse med krigens folkerett, vil bruk av mer eller mindre automatiserte eller autonome våpensystemer kunne være i tråd med dagens regelverk.

Spørsmålet om hvem som sitter med ansvaret kan være komplisert. Kommandokjeden består av en rekke personer. Alle har et personlig ansvar. I tillegg har den militære lederen for operasjonen kommandoansvaret til sist.

– Dronedebatten er delvis misforstått. Det finnes regler og det er alltid noen som er ansvarlig, sier han. Det er heller bruken som kan være problematisk. Han fortsetter:

– Sivil utvikling av programvare skiller seg neppe vesentlig fra annen teknologiutvikling innen våpenindustrien. Når militære kjøper inn utstyret, er militæret ansvarlig for bruken, herunder eventuelle brudd på krigens folkerett. Er det noe galt med teknologien så kan de eventuelt søke erstatning i et sivilt søksmål i tråd med vanlig praksis i forretningslivet.

Simonsen vil likevel ikke avfeie debatten som irrelevant.

– På ingen måte. Vi må følge teknologiutviklingen nøye, og vi må alltid ha menneskelig kontroll over våpnene og gjeldende rettsregler må følges.

Skummel fremtid

Men det er ikke først og fremst dagens teknologi, men retningen teknologien tar oss, aktivistene er mest bekymret over. Tesla-gründer Elon Musk sa i høst at kunstig intelligens er den største trusselen mot menneskets overlevelse.

– Jeg blir mer og mer overbevist om at det burde være en form for internasjonal kontroll på denne utviklingen som sikrer oss fra å gjøre noe dumt, sa hun til en gruppe tilhørere på MIT i fjor høst.

– Jeg synes også det er svært urovekkende. Vi utvikler teknologi som lærer av erfaring. Problemet med kunstig intelligens er at det er vanskelig å kontrollere hva den lærer, sier Reichborn-Kjennerud.

Hvis en autonom drone for eksempel skal lære hva fare er, og den er i områder hvor mennesker skyter på den, vil den da lære at alle mennesker utgjør en fare? spør han.