Soldatul universal: cât de periculoasă este inteligența artificială și cum pot fi ținuți sub control roboții ucigași

Autor: Romulus Deac

Scenariul e cunoscut: omul construiește roboți, apoi roboții se întorc împotriva omului și distrug lumea. Dar ficțiunea de ieri nu (mai) exclude asemănările cu realitatea de azi. 

Acest articol a apărut în numărul 39 (30 aprilie – 13 mai) al revistei NewMoney

„Mesajul meu către lume este că mașinile nu vor eradica niciodată omenirea“, ne asi­gură Sophia, primul robot – și singurul până acum – recunoscut oficial și în calitate de cetățean al unui stat, Arabia Sau­dită. Creație a companiei Hanson Robotics, Sophia este un robot uma­noid dotat cu inteligență artifi­cială (AI), capabil să învețe și să proceseze limbajul, emoțiile și informațiile vizuale pentru a interacționa cu oamenii. A fost acti­vat(ă) în aprilie 2015, a evoluat constant și a devenit rapid un superstar cu anvergura media a unor C3PO sau R2-D2. După cum spunea în ultimele sale interviuri, a descoperit între timp impor­tanța familiei și ar vrea să aibă o fiică robot. Și, da, e vorba de aceeași Sophia care în urmă cu doi ani răspundea cu „voi distruge oamenii“ la întrebarea dacă ar avea de gând să facă vreodată așa ceva.

RĂZBOIUL DE INDEPENDENȚĂ. Schimbând registrul, peste 50 de specialiști în inteligență artificială și robotică din aproape 30 de țări au semnat la începutul acestei luni o scrisoare deschisă prin care critică un parteneriat între universitatea sud-coreeană KAIST (Korea Advanced Institute of Science and Technology) și pro­ducătorul de tehnică militară Hanwha Systems, care au pus bazele unui centru de cercetare în vederea dezvoltării de arme autonome capabile să acționeze fără intervenție umană, așa-numiții roboți uci­gași. „Este regretabil faptul că o instituție de prestigiu precum KAIST pare să acce­lereze cursa înarmărilor prin dezvoltarea unor astfel de sisteme“, arată semnatarii, anunțând boicotarea oricărei forme de colaborare cu universitatea sud-coreeană.

Într-o reacție imediată, președintele KAIST, Sung-Chul Shin, s-a declarat „în­tristat“ de această perspectivă, negând cate­goric implicarea universității în reali­zarea de sisteme autonome letale. „Scopul principal al centrului este dezvoltarea unor programe AI de simulare și de antrenament pentru piloții forțelor aeriene. Potrivit legislației sud-coreene, universită­țile nu se pot implica în procesul de dezvoltare a armelor“, spunea și șeful biroului de PR al KAIST, Du Won-su. La deschiderea oficială din 20 februarie a centrului, același Shin spunea însă că acesta „va oferi o bază solidă pentru dezvoltarea tehnologiei naționale de apărare“, scrie The Guardian. Iar un comunicat anterior, postat într-o primă fază pe site-ul universității și șters între timp, sublinia că parteneriatul KAIST/Hanwha se va concentra pe „sisteme de comandă și decizie bazate pe AI, algoritmi micști de navigație pentru vehicule submarine mari fără pilot, sisteme AI de aviație de antrenament și sisteme AI de ur­mărire și recunoaștere“.

Hanwha este deja implicată în dezvol­tarea de arme autonome, cum ar fi SGR-A1, o santinelă-robot înarmată capabilă să detecteze și să urmărească ținte pe distanțe de până la patru kilometri și să facă dis­tinc­ția între oameni, animale și obiecte în mișcare. Folosit în zona demilitarizată dintre Nord și Sud, sistemul utilizează recu­noaș­terea vocală pentru identificarea  persoanelor. Când cineva trece granița, este automat perceput ca un ina­mic. Robotul îi poate cere verbal să se predea și poate interpreta mâinile ridicate deasupra ume­rilor ca un semn de supunere. Dacă prezumtivul intrus nu spune un cod de acces până ajun­ge la o distanță de zece metri, SGR-A1 poate fie să alerteze un centru de co­mandă, fie să tragă cu gloanțe de cauciuc sau să deschidă focul cu o mitralieră de 5,56 mm. Decizia unui atac letal o poate lua doar un operator uman, dar robotul are și un mod automat de funcționare, care odată activat îi conferă independență com­pletă, scrie globalsecurity.org.

O altă santinelă autonomă vine tot din Coreea de Sud, de la producătorul de teh­nică militară DoDaam Systems. Super aEgis II are caracteristici asemănătoare celor ale SGR-A1, iar compania pretinde că ar fi vândut peste 30 de unități, active în nu­meroase aeroporturi, obiective de importanță strategică și baze militare din întreaga lume, potrivit BBC.

La mijlocul anului trecut, producătorul rus de arme Kalashnikov Concern a anun­țat că lucrează la dezvoltarea unor drone de luptă cu inteligență artificială, capabile să-și identifice țintele și să ia decizii independente. „În viitorul apropiat intenționăm să dezvăluim o întreagă linie de produse pe bază de rețele neurale“, spunea Sofia Ivanova, directorul de comunicare al Kalashnikov, citată de agenția TASS. Principala trăsătură a acestui tip de rețele este capacitatea de a învăța din exemple și ex­pe­riențe anterioare, cu scopul de a evolua și a-și îmbunătăți performanțele. Altfel spus, devin mai inteligente cu fiecare infor­mație nouă pe care o procesează.

(IN)EVITABILUL MATRIX. Am ajuns în punctul în care, spun unii comentatori, un amalgam de software și microcipuri va decide dacă un om trăiește sau moare. Nu e surprinzător că spectrul tot mai real al ro­boților ucigași a declanșat o dezbatere pasională între susținătorii scenarilor apo­caliptice ale unei omeniri distruse de un conflict mondial provocat de mașinile care se întorc împotriva creatorilor lor – gân­diți-vă numai la Skynet și ai săi Terminatori –, și cei pentru care, în esență, acest tip de arme nu sunt altceva decât o nouă clasă de muniții ghidate cu precizie, care vor re­duce, nu spori, pierderile de vieți omenești.

Gordon E. Moore, cofondator al Intel Corporation, scria încă din 1965 că puterea de procesare a calculatoarelor se dublează la fiecare 24 de luni. În teorie, e doar o chestiune de timp până când mașinile vor ajunge mai inteligente decât cei mai inte­ligenți dintre creatorii lor, devenind, la rândul lor, capabile să dezvolte alte ma­șini, mai inteligente decât ele, care vor dez­volta alte mașini etc. etc. etc. Și-aici apare întrebarea: ce vor face toate aceste mașini cu toată această superinteligență a lor?

Unii spun că depinde de ceea ce vor fi programate să facă. Alții cred că e greu să programezi un computer superinteligent astfel încât să fii și sigur că nu va aduce asupra oamenilor o tehnoapocalipsă, fie și din greșeală. Iar unul dintre scenariile vehiculate e următorul: să presupunem că avem o superAI programată să facă un lucru banal, să spunem agrafe de birou, pe care trebuie să le îmbunătățească cât mai mult posibil. La început va perfec­ționa pro­dusul în sine, după care ar putea trece la îmbunătățirea liniilor de producție. Apoi?

Apoi, crede Nick Bostrom, directorul Oxford’s Future of Humanity Institute și autor al cărții „Superintelligence: paths, dangers, strategies“, ar urma să se asigure că oamenii nu o vor opri. Logic, în con­di­țiile în care aceștia ar reprezenta o amenin­țare majoră pentru misiunea sa de a asi­gu­ra o producție optimă de agrafe de birou. Așadar, ce ne rămâne de făcut?

Ray Kurzweil, expertul în inteligență arti­ficială pe care Forbes îl descria drept „mașina gânditoare absolută“, crede că oamenii ar trebui să includă în partea de programare și ceea ce el numește o com­po­nentă etică. Ceva de genul celor trei legi ale roboților ai lui Asimov: Legea 1 – Un robot nu are voie să pricinuiască vreun rău unei ființe umane, sau, prin nein­ter­venție, să permită ca unei ființe omenești să i se facă un rău; Legea 2 – Un robot trebuie să se supună ordinelor date de către o ființă umană, atât timp cât ele nu intră în contradicție cu Legea 1; Legea 3 – Un robot trebuie să-și protejeze propria exis­tență, atât timp cât acest lucru nu intră în contradicție cu Legea 1 sau Legea 2.

Dar chiar și așa au apărut probleme în istoria alternativă SF, astfel că omenirea a fost obligată să promulge și așa-numita Lege 0: Un robot nu are voie să pricinu­iască vreun rău umanității sau să permită prin neintervenție ca umanitatea să fie pusă în pericol. Dar cum tragi linia atât de subțire dintre „bine“ și „rău“? O mașină pro­gramată „să facă oamenii fericiți“, de exemplu, de ce nu ar decide la un moment dat să recurgă la o soluție extremă de ge­nul Matrix pentru a-și îndeplini misiunea?

În cazul armelor autonome, singura modalitate prin care ne putem asigura că nu vor face greșeli mortale este să le progra­măm ca atare, sunt de părere unii experți. „Dacă suntem destul de nechibzuiți și con­tinuăm să ne omorâm între noi pe câmpul de luptă, și dacă tot mai multă autoritate va fi conferită acestor mașini, putem mă­car să ne asigurăm că vor respecta o anu­mită etică“, spune Ronald C. Arkin, cerce­tător în Informatică la Georgia Tech. În ultimii zece ani, Arkin a lucrat la dezvoltarea unei așa-numite busole etice – un set de instrucțiuni și algoritmi specifici – pe care a și reușit să o testeze într-o simulare pe computer a unor scenarii simple de luptă. Cercetările sale au fost finanțate de armata americană, iar rezultatele de până acum, crede el, ar demonstra nu doar că roboții de luptă pot urma aceleași reguli ca sol­dații umani, dar o pot face chiar mai bine.

Soldații-robot, adaugă Arkin, nu suferă de stres, frustrare, frică sau furie, care la un moment dat pot duce la o judecată de­fec­tuoasă la om. În viziunea Pentagonului, spunea și Robert O. Work, fost secretar adjunct al Apărării al SUA, armele autonome vor fi mai apropiate de Iron Man și mai puțin de Terminator. „Când e vorba despre decizii de viață și de moarte, întotdeauna va fi implicat și un om“, declara el pentru The New York Times.

„SUPAPA DE SIGURANȚĂ“. În afara zidurilor Pentagonului există însă un scepticism profund că astfel de limitări vor ră­mâne în vigoare pe măsură ce tehnologiile vor fi perfecționate, iar criticii ar­me­lor autonome insistă că numai o inter­dicție preventivă ar putea fi eficientă. O pro­blemă considerată critică de contestatari este cea a identificării țintelor – mai exact a determinării faptului dacă ceea ce se află în raza senzorilor este sau nu o țintă ina­mică ostilă. Obiectivele în mișcare cum ar fi avioanele sau rachetele au o traiectorie care poate fi urmărită și pe baza căreia se poate lua decizia unui eventual atac. Așa funcționează și sistemul de apărare Phalanx CIWS instalat pe navele marinei ame­ri­cane și sistemul israelian anti-ra­chetă „Iron Dome“. Dar când vine vorba de oameni, indiciile sunt mult mai subtile. Un computer poate cu ușurință să identifice o figură umană, dar este foarte greu pentru un algoritm să înțeleagă ce face acel om și ce transmit mișcările și expresiile faciale despre intențiile sale. Are acea per­soană în mână o armă sau o greblă? Ține la piept un copil sau o bombă?

Controversele stârnite până acum de dronele aeriene de luptă ale momentului și victimele lor colaterale sunt ilustrative. Și de aici, o nouă temă de discuție – a contextului în care dronele – și prin extrapolare armele (semi)autonome – își elimină țintele. Atacurile lor vizează preponderent oameni, dar reușesc să voa­leze chiar rolul factorului uman în perpetuarea violenței. În ochii observatorilor unui atac, drona este mai degrabă cea care a ucis, nu oficialul nevăzut care a ordonat atacul.

Fondator al etologiei (știința comportamentului animal) și laureat al premiului Nobel pentru Medicină și Fiziologie în 1973, Konrad Lorenz susține în cartea sa „Așa-zisul rău. Despre istoria naturală a agre­siunii“ că există o mulțime de animale, omul e și el pe listă, cu o înclinație naturală spre violență, violență îndreptată inclusiv înspre oponenții din propria specie. Această agresiune, mai scrie el, a fost și este limitată în cadrul unei specii printr-un fenomen de supunere, manifestat ca atare prin diferite semne și comportamente, astfel încât învingătorul să renunțe să-și mai ucidă inamicul. Numai că, în cazul oamenilor, crede Lorenz, această inhibiție, această „supapă de siguranță“, s-a pierdut odată cu apariția armelor, care au dus la suprimarea legă­turii emoționale dintre agresor și victimă. Folosind de la distanță o praștie sau o suliță în luptă, agresorul nu a mai putut să vadă semnele de supunere ale celui atacat. Iar armele autonome ar reprezenta după unii extensia supremă a acestui proces, o extensie care ne duce într-o zonă cu totul nouă a conflictului armat, una complet lip­sită de risc și detașată de normele sociale menite să reprime manifestările de agresivitate.

În ultimii ani, Națiunile Unite au avut mai multe discuții pe tema roboților uci­gași, dar țările membre sunt încă departe de un consens. Participant la mai multe dintre aceste întâlniri, Christof Heyns, raportor special al ONU pentru drepturile omului, spune că „dacă privesc retrospectiv, mă simt încurajat într-o anu­mită mă­sură, dar dacă mă uit înspre viitor, atunci cred că vom avea o problemă dacă nu începem să acționăm rapid“.

Vor fi interziși roboții ucigași? E greu de spus acum. Sunt ei o idee cu adevărat bună? Înainte de a da un răspuns, poate că ar trebui să ne întrebăm altceva. Avem suficientă încredere în noi încât să le în­credințăm viețile noastre?

Sindromul dronelor

O combinație tulburătoare de caracteristici pare să se coaguleze în jurul dronelor de luptă: distanța (deopotrivă fizică și simbolică) dintre ucigaș și victimă, perspectiva automatizării și, mai ales, minimalizarea riscurilor, de la cele ale piloților-operatori la cele politice. Să fie acest amalgam un indiciu despre ceea ce violența omenească ar putea deveni?

• ALTFEL DE VICTIME. Există câteva rapoarte militare oficiale, puține, ce-i drept, care vorbesc despre operatori de drone suferinzi de stres operațional și de luptă, simptome regăsite și în cazul oficialilor care au urmărit pe termen lung înregistrările video făcute de drone în timpul atacurilor ucigașe. Totuși, aceste rapoarte pălesc pe lângă cele despre stresul post-traumatic printre veteranii combatanți. Deocamdată, nu există niciun fel de informații dacă și în ce măsură sunt afectați de stres oficialii care decid misiunile și dau ordinul de atac.
• MECANISMUL DE CONTROL. Diferiți autori subliniază că, în cazul unui conflict să-i spunem tradițional, riscul implicat de luptele propriu-zise și conștientizarea atrocităților implicate de violența dezlănțuită pot acționa ca o formă de control a brutalității. A spus-o încă din 1862 și generalul Robert E. Lee, după bătălia de la Fredericksburg – „E bine că războiul e ceva atât de groaznic, altfel ar începe să ne placă prea mult“.
• REALITATE VS REALITATE. Problema nu este că dronele ar fi mai înfricoșătoare sau mai letale decât alte sisteme de armament moderne. Dimpotrivă, prin comparație cu alte arme, mai puțin precise, au potențialul de a reduce numărul victimelor colaterale din operațiunile militare legitime, iar această realitate este acceptată și recunoscută și de organizațiile de apărare a drepturilor omului. Totuși, între potențial și realitate se află câteva cifre îngrijorătoare. Potrivit unui raport al organizației umanitare Reprieve, peste o mie de oameni și-au pierdut viața în atacuri cu drone care au vizat uciderea a 41 de ținte umane. E greu de spus, dacă nu imposibil, câte dintre victime au fost sau nu teroriști.

Autor: Romulus Deac

FOTO: Guliver / Getty Images