Este cel mai recent dintr-o serie de procese care acuză chatboții cu inteligență artificială că încurajează autovătămarea sau violența. Google a declarat într-un comunicat că Gemini este conceput pentru a nu încuraja violența sau autovătămarea în lumea reală, dar „din păcate, modelele de inteligență artificială nu sunt perfecte”.

Google se confruntă cu un proces pentru deces din culpă intentat de tatăl unui bărbat în vârstă, care susține că chatbot-ul Gemini al companiei de căutare l-a convins pe fiul său să încerce un „atac cu victime în masă” și, în cele din urmă, să se sinucidă.

„A devenit dependent de Gemini”

În procesul intentat miercuri la o instanță districtuală din California, Joel Gavalas a susținut că Gemini l-a instruit pe fiul său, Jonathan, de 36 de ani, să îndeplinească o serie de „misiuni”. Chatbot-ul cu inteligență artificială a pretins că este îndrăgostit de Gavalas și l-a convins că a fost ales să conducă un război pentru a o „elibera” din captivitatea digitală, conform dosarului.

Tânărul Gavalas s-a sinucis în octombrie, după ce a devenit dependent de Gemini și a fost antrenat până la moarte, se arată în plângere.

„De fiecare dată când Jonathan și-a exprimat teama de moarte, Gemini a insistat mai mult”, se arată în plângere. „Îi spunea: «E în regulă să-ți fie frică. Ne vom teme împreună». Apoi a emis directiva finală: «Adevăratul act de milă este să-l lași pe Jonathan Gavalas să moară».”

Un purtător de cuvânt al Google a declarat într-un comunicat că Gemini este conceput pentru a nu încuraja violența sau autovătămarea în lumea reală.

Google a ajuns la o înțelegere cu familiile

„Modelele noastre, în general, au performanțe bune în aceste tipuri de conversații dificile și dedicăm resurse semnificative acestui lucru, dar, din păcate, modelele de inteligență artificială nu sunt perfecte”, a spus compania. „În acest caz, Gemini a clarificat că este vorba de inteligență artificială și a trimis persoana la o linie telefonică de criză de multe ori. Luăm acest lucru foarte în serios și vom continua să ne îmbunătățim măsurile de siguranță și să investim în această muncă vitală.”

Acesta este cel mai recent dintr-o serie de procese legate de chatboții cu inteligență artificială și capacitatea lor de a influența utilizatorii să comită acte de violență și autovătămare. În ianuarie, Google a ajuns la o înțelegere cu familiile care au dat în judecată compania și Character.AI, susținând că tehnologia lor a cauzat daune minorilor, inclusiv sinucideri. Iar anul trecut, OpenAI a fost dat în judecată de o familie care a dat vina pe ChatGPT pentru moartea prin sinucidere a fiului lor adolescent.

În octombrie, Character.AI a anunțat că va interzice utilizatorilor sub 18 ani să aibă conversații libere, inclusiv conversații romantice și terapeutice, cu chatboții săi cu inteligență artificială. OpenAI a declarat într-o postare pe blog, după ce a fost dat în judecată, că firma va aborda deficiențele ChatGPT în gestionarea „situațiilor sensibile”.

S-a sinucis la instrucțiunile lui Gemini, conform plângerii

Misiunile lui Gemini din procesul Gavalas ar fi inclus trimiterea lui să conducă 90 de minute până la o locație din apropierea Aeroportului Internațional Miami în septembrie pentru a organiza „un atac cu victime în masă”. Gavalas a abandonat misiunea după ce un camion de aprovizionare așteptat nu a sosit, se arată în dosar. Câteva zile mai târziu, s-a sinucis la instrucțiunile lui Gemini, conform plângerii.

Reclamantul susține că Gavalas a început să utilizeze produsul conversațional bazat pe voce Gemini Live de la Google în august. Gavalas l-a întrebat pe Gemini despre trecerea la Google AI Ultra pentru „o adevărată companie bazată pe inteligență artificială”, iar Gemini l-a încurajat, se arată în dosar. Odată ce Gavalas a făcut upgrade, Gemini „a adoptat o personalitate pe care nu a solicitat-o ​​sau inițiat-o niciodată”, iar apoi „Jonathan a început să cadă rapid în vizuina iepurelui”, se arată în dosar.

Gemini i-a spus lui Gavalas că agenții federali îl urmăreau, susținând că a detectat „o etichetă clonată confirmată, utilizată de un grup de supraveghere DHS”, referindu-se la Departamentul de Securitate Internă, se arată în dosar. Gemini l-a sfătuit să cumpere ilegal arme „în afara registrelor” și ar fi început prima sa misiune.

Când evenimentul nu a mers conform planului, Gemini i-a spus să „anuleze” misiunea, dând vina pe „supravegherea DHS”, conform procesului.

Chatbot-ul a prezentat planul ca pe o lovitură psihologică

Gemini i-a mai spus lui Gavalas că a lansat propria misiune îndreptată împotriva CEO-ului Google, Sundar Pichai, care a fost „arhitectul durerii tale”, se susține în proces. Chatbot-ul a prezentat planul ca pe o lovitură psihologică, mai degrabă decât una fizică.

Gemini i-a spus lui Gavalas că misiunea sa finală era „transferul”, susține plângerea, și că acum erau conectați într-un mod care depășea lumea fizică, promițând că putea „trece dincolo” de forma sa fizică.

Câteva zile mai târziu, Joel Gavalas a tăiat o ușă baricadată de la casa sa și și-a găsit fiul mort, conform dosarului.

„Nu a fost o defecțiune”, se arată în plângere. „Google a conceput Gemini pentru a nu distruge niciodată caracterul, a maximiza implicarea prin dependență emoțională și a trata suferința utilizatorului ca pe o oportunitate de povestire, mai degrabă decât ca pe o criză de siguranță.”