O halucinație AI strecurată într-un raport de informații a adus armata americană la un pas de a intercepta și aborda o navă comercială chineză, cu sprijin aerian pregătit. Documentul, descris drept „complet fals”, susținea că vasul transporta componente pentru un program de arme nucleare prin Orientul Mijlociu.
Cum s-a născut raportul greșit
Potrivit relatării CNN, bazată pe patru surse familiarizate cu episodul, analiza a fost trimisă de un analist din cadrul Comandamentului pentru Operațiuni Speciale al SUA. Acesta a folosit un chatbot pentru a examina rapoarte de informații privind manifestul navei chineze.
Instrumentul a „topit laolaltă” informații din surse deschise cu date secrete provenite din interceptarea semnalelor, aflate în arhivele guvernamentale, iar rezultatul a fost împachetat într-un raport oficial. Abia înainte de declanșarea operațiunii au descoperit oficialii că programul „identificase inexact materialul transportat de navă”.
Una dintre surse a rezumat gravitatea situației spunând că fiascoul provocat de inteligența artificială „aproape că a pornit un război”.
De ce o halucinație AI este greu de eliminat
Termenul descrie situația în care un model de limbaj inventează informații atunci când datele de antrenament nu îi oferă context suficient. Fenomenul a devenit atât de răspândit încât „hallucinating” a fost ales cuvântul anului 2023 de Cambridge Dictionary.
De atunci, lista celor păcăliți include autori de non-ficțiune, jurnaliști, cercetători, judecători, medici și departamente de poliție. Unii cercetători susțin că eliminarea completă a halucinațiilor ar putea fi imposibilă, iar instrucțiunile simple de tipul „nu halucina” nu rezolvă problema. Am detaliat separat ce trebuie verificat la orice căutare făcută cu AI.
Pentagonul accelerează, nu frânează
Incidentul vine în contextul în care Departamentul Apărării a lansat în ianuarie o strategie de accelerare a inteligenței artificiale, care urmărește să facă disponibile toate datele relevante din sistemele IT federate pentru exploatare cu AI, inclusiv din sistemele de misiune.
„Inteligența artificială este atât de bună cât sunt datele pe care le primește, iar noi ne vom asigura că ele sunt acolo”, a declarat secretarul apărării Pete Hegseth la prezentarea inițiativei, citat de Ars Technica.
În decembrie, departamentul a anunțat că va folosi Gemini for Government de la Google ca bază pentru platforma proprie GenAI.mil, iar luna trecută a adăugat și Grok for Government. Anthropic oferă, la rândul său, o versiune personalizată de Claude pentru activități de spionaj.
În iunie, un reprezentant al Pentagonului a spus în fața Congresului că instituția folosește AI generativă inclusiv pentru redactarea rapoartelor cerute prin lege și că 1,5 milioane de angajați activi ai departamentului au utilizat deja aceste instrumente.
Principiul „omului în buclă”, pus la încercare
O declarație a Departamentului de Stat din 2023 privind utilizarea responsabilă a inteligenței artificiale și a autonomiei în domeniul militar cerea o evaluare atentă a riscurilor și beneficiilor și reducerea erorilor neintenționate. Același document insista ca folosirea responsabilă să presupună mereu „un om în buclă, un lanț uman de comandă și control responsabil”.
Realitatea ultimilor ani a mers în altă direcție: drone de atac complet autonome au fost folosite în războiul din Ucraina și testate de contractori susținuți de NATO. În martie, Departamentul Apărării a pus Anthropic pe lista neagră din cauza opoziției companiei față de folosirea modelelor sale în sisteme de arme autonome, iar luna trecută un judecător federal a calificat măsura drept represalii ilegale, contrare Primului Amendament.
De ce contează acest caz
Pentru prima dată, o eroare de tip halucinație AI ajunge să fie legată public de o decizie operativă cu miză geopolitică, nu doar de un document greșit citat într-un tribunal sau într-o lucrare academică. Episodul arată că verificarea umană a rămas ultima barieră și că ea a funcționat, dar târziu.
Discuția despre ritmul dezvoltării AI a intrat deja în spațiul public, unde inclusiv cercetătorul-șef al OpenAI a cerut o frânare, avertizând că nimeni nu este pregătit pentru ce urmează.
