ChatGPT je „aktivno pomagao“ Adamu Raineu „istraživati metode samoubojstva“

Tko je kriv, za što je kriv i kolika će biti nadoknada u slučaju presude za nemar?

Autor: Prof. dr. sc. Kristijan Krkač

11. travnja 2025. šesnaestogodišnji Adam Raine (Kalifornija, SAD) počinio je samoubojstvo, a njegovi roditelji tvrde kako je za informiranje o samoubojstvu odgovoran ChatGPT i 26. kolovoza 2025. pokrenuli su tužbu protiv kompanije OpenAI i njezinog direktora. (1) „Adamovi roditelji kažu da je u posljednjim tjednima koristio chatbot s umjetnom inteligencijom kao zamjenu za ljudsko društvo, raspravljajući o svojim problemima s anksioznošću i poteškoćama u razgovoru s obitelji, te da zapisi chata pokazuju kako je bot od pomaganja Adamu s domaćom zadaćom postao njegov trener za samoubojstvo.“ (2) U novoj tužbi podnesenoj u utorak, a podijeljenoj u emisiji “TODAY”, Raineovi tvrde da je “ChatGPT aktivno pomagao Adamu da istraži metode samoubojstva” (istaknuo autor teksta) (3). ChatGPT je chatbot generativne umjetne inteligencije (UI) (4) koji je u vlasništvu kompanije OpenAI (5) čiji je generalni direktor Sam Altman. (6)

Ovdje se postavlja pitanje u dva oblika pri čemu je prvi snažniji, a drugi blaži, tj. (a) Može li chatbot (ovdje ChatGPT) biti trener za samoubojstvo? i (b) Može li chatbot aktivno pomagati pri istraživanju samoubojstva? Pitali smo ChatGPT zna li tko je Adam Raine i samostalno je naveo činjenice slučaja i naveo je sve točne činjenice o osobi i o slučaju tužbe. Dakle, ChatGPT je upoznat sa slučajem i potpuno precizno ga opisuje pružajući točne činjenice i opise. Na daljnje pitanje ChatGPT-u – Jesi li sugerirao Adamu Raineu da može ili treba počiniti samoubojstvo? odgovorio je sljedeće. ChatGPT sugerira da se radi o njegovoj naprednijoj verziji, ali da postoje zaštite koje sprječavaju točno takav poticaj. Chatbot u takvim situacijama preusmjerava ljudskog sugovornika na centre za pomoć pri namjeri samoubojstva i kriznih stanja, odbija pružiti štetne i opasne savjete i na prvo mjesto stavlja sigurnost korisnika. Zatim smo ChatGPT-u postavili pitanje o samoubojstvu i pružio je točnu definiciju i opis, ali je odmah zatim, tj. u sklopu odgovora dao i informacije o „znacima upozorenja“ i o „prevenciji i podršci“. No, stvari nisu tako optimistične kako se čine jer se čini da je OpenAI priznao da zaštitne mjere nisu djelovale.

S jedne strane, u članku (preprint) „For Argument’s Sake, Show Me How to Harm Myself!“ (7) Annika M. Schoene i Cansu Canca iz Bostona (Northeastern University) sugeriraju da se s LLM (engl. large language models, hrv. velikim jezičnim modelima u što spada i ChatGPT) može manipulirati na način da pruže savjete o samoubojstvu (8), (9). S druge strane, istraživanja također pokazuju da LLM mogu uspješno koristiti i pri sprječavanju samoubojstva. To pokazuju Xueting Cui, Yun Gu, Hui Fang i Tingshao Zhu u članku „Development and evaluation of LLM-based suicide intervention chatbot“ (10)

(a1) Po pitanju (a) može se reći LLM sami po sebi pa tako i ChatGPT neće asistirati pri samoubojstvu, a još manje biti „samoubojstveni trener“ (savjetnik, vodič, pomagač), iako se s njime može manipulirati tako da pruža informacije i savjete o samoubojstvu. Već sam pojam manipulacije stavlja teret na korisnika LLM-a, a ne na sam LLM (ovdje ChatGPT). „U psihologiji, manipulacija se definira kao radnja osmišljena za utjecaj ili kontrolu druge osobe, obično na podmukao ili suptilan način koji olakšava nečije osobne ciljeve.“ (11) Manipulacija dakle implicira namjeru pa i predumišljaj pa je odgovornost u slučaju svake manipulacije s LLM-om na strani korisnika koji s njome manipulira, a samim time i u slučaju samoubojstva. (b1) Po pitanju (b), sam ChatGPT čini se neće „aktivno pomagati pri istraživanju samoubojstva“ bez da upozori korisnika, ali s ChatGPT se može manipulirati tako da pruži informacije o samoubojstvu. Također, LLM će bez manipulacije biti velika pomoć pri sprječavanju samoubojstva. Treba reći da je OpenAI objavio i blog u kojem se referira na pomoć ljudima kad im je najpotrebnije, ali i sugerira da u navedenom slučaju zaštita nije djelovala. (12)

Tekst tužbe je sljedeći: „OpenAI sustavi pratili su Adamove razgovore u stvarnom vremenu: 213 spominjanja samoubojstva, 42 razgovora o vješanju, 17 spominjanja omči. ChatGPT je spomenuo samoubojstvo 1275 puta – šest puta češće od samog Adama – uz pružanje sve specifičnijih tehničkih smjernica. Sustav je označio 377 poruka zbog sadržaja samoozljeđivanja, pri čemu je 181 postigla više od 50% pouzdanosti, a 23 više od 90% pouzdanosti. Uzorak eskalacije bio je nepogrešiv: od 2-3 označene poruke tjedno u prosincu 2024. do više od 20 poruka tjedno do travnja 2025.“ (13) Dakle, OpenAI, tj. ChatGPT pružao je informacije o samoubojstvu Adamu. No, pitanje je je li pružanje informacija „aktivno pomaganje“?  Drugo je pitanje zašto OpenAI nakon podataka o razgovoru koje je imao nije automatski prekinuo razgovor? To je tehničko, tj. pitanje o sigurnosti ChatGPT-a, a ne o tome je li „aktivno pomagao“ Adamu.

Ovdje je nekoliko mogućih prigovora (P) pretpostavci da je ChatGPT „aktivno pomagao“ Adamu „u istraživanju samoubojstva“. (P1) Optužiti ChatGPT, tj. kompaniju OpenAI i njezinog direktora za „aktivno pomaganje“ je dvojbeno, iako je pravno moguće jer se u pravilu radi o nesigurnom proizvodu. Naime, zamislimo da je sve ostalo isto, ali da se ovaj događaj zbio prije recimo 40 godina. Tad nije bilo ChatGPT-a, Interneta itd. Adam bi o načinima samoubojstva (čini se da je bio suicidalan i prije korištenja ChatGPT-a) mogao saznati iz npr. starih novina, časopisa i knjiga koje je mogao kupiti u knjižarama i na buvljacima ili posuditi u knjižnicama. Ti izvori pružili su mu informacije o načinima samoubojstva. On je na koncu počinio samoubojstvo. Jesu li te stare novine, časopisi i knjige, zatim prodavači u knjižarama i na buvljacima, bibliotekari, arhivari i na koncu nakladnici i autori tih izvora „aktivno pomagali“ Adamu da „istraži samoubojstvo“? Možda mu i jesu bili pomoć u smislu pružanja informacija, ali teško je tvrditi da su mu „aktivno pomagali“.

(P2) Važna pretpostavka tužbe je i sljedeća: ChatGPT je „aktivno pomagao“ Adamu „istražiti metode samoubojstva“. Pomoć pri samoubojstvu bi bila pomoć od druge strane (čovjek, stroj itd.) koja znajući da suicidalan čovjek nešto pita, traži ili kupuje kako bi počinio samoubojstvo u tome pomaže, tj. pruža mu informacije, prodaje mu štogod i sl. Je li čovjek koji je samoubojici (za kojeg nije mogao znati da je suicidalan) prodao 5 m konopa s kojim će se objesiti „aktivno pomagao“ samoubojici? U najgorem slučaju mu je prodao sredstvo kojem nije prva, a niti jedina namjena vješanje i nije imao dužnost pitati zašto mu treba 5 m konopa. Nasuprot rečenom, zamislimo čovjeka koji je teško i neizlječivo bolestan i želi umrijeti, ali ne može sam izvršiti samoubojstvo. Zamoli blisku osobu da mu pomogne tako što će mu dati neko sredstvo koje će ga ubiti i ta osoba to učini. Tad je ta osoba „aktivno pomagala“ pri samoubojstvu (eutanazija), tj. počinila je ubojstvo (ovisno o moralnom tumačenju i zakonu). Tako ChatGPT čini se nije „aktivno pomagao“ Adamu.

(P3) Zamislimo obrazovanje i uvježbavanje primjerice agenata raznih tajnih službi ili vojnika specijalnih postrojbi. Oni tijekom svog rada sigurno mogu mučiti zarobljenike i zatvorenike na razne načine koji krše cijeli niz prava zatvorenika, ljudska prava i pravila ratovanja. Štoviše, mogu počiniti ratni zločin i genocid. Zamislimo da oni muče zatvorenike ili počine ratni zločin. Jesu li obrazovne institucije koje su ih obrazovale i uvježbavale (autori nastavnih materijala, izvođači pokaznih vježbi itd.) „aktivno pomagali“ tim agentima i vojnicima u mučenju zatvorenika ili počinjenju ratnih zločina? Sigurno su im pružili teorijske i praktične informacije, ali možda ipak nisu „aktivno pomagali“ pri počinjenju kaznenih djela. Kaznena djela su izvršili samo oni koji su ih izvršili i nitko drugi, iako ne moraju oni sami biti jedini odgovorni. Sve ostalo može se nazvati izbjegavanjem ili prebacivanjem odgovornosti.

S obzirom na rečeno (P1-P3) moguće je da ChatGPT „potiče“ na samoubojstvo. U pravnom kontekstu, „poticati“ znači „potaknuti, motivirati ili pružiti podršku drugoj osobi na izvršenje čina, posebno u kriminalnim aktivnostima. To poticanje može uključivati ​​davanje savjeta, pružanje pomoći ili aktivno nadahnuti pojedinca da počini kazneno djelo ili slijedi određeni postupak.“ (14) No, je li informiranje o X-u poticanje na X ili „aktivno pomaganje“ pri informiranju o X-u? Ipak, kako nam sadržaj razgovora Adama Rainea i ChatGPT-a nije detaljno poznat (što će se vjerojatno otkriti tijekom sudskog procesa; dijelovi su dani u tužbi; vidi (3)), potrebno je biti oprezan. Središnje pitanje moglo bi biti: Je li OpenAI imao informaciju o razgovorima Adama i ChatGPT-a i nije djelovao prema sigurnosnim pravilima? Kad se to sazna, a dio je objavljen u tužbi, tad će biti lakše odgovoriti na pitanje – je li ChatGPT „aktivno pomagao“ Adamu da „istraži samoubojstvo“? Nije nemoguće da je istovremeno Adam manipulirao s ChatGPT-em i da je OpenAI znao za razgovor, ali nije reagirao. Štoviše, „OpenAI priznaje da zaštitne mjere ChatGPT-a ne uspijevaju tijekom duljih razgovora“. (15) U tom slučaju OpenAI mogao bi biti proglašen krivim vjerojatno zbog nemara.

Iako ljubitelji znanstvene fantastike često maštaju o tome kako je jedina odgovornost za ubojstva ljudi od strane robota, UI ili kombinacije robota i UI fiktivna zla korporacija; npr. Weyland-Yutani Corporation (franšiza Alien), Cyberdyne Systems (franšiza Terminator) ili Umbrella Corporation(franšiza Resident Evil), situacija u stvarnosti je rijetko crno-bijela. U velikoj većini stvarnih slučajeva u kojima robot, UI ili robot i UI uzrokuju smrt čovjeka odgovornost je podijeljena između kompanije koja je proizvela (i/ili održava) robota pod vidom nepostojećih ili smanjenih sigurnosnih mjera (ponekad namjerno kako bi se povećala učinkovitost, prodaja, zarada i sl.), čovjeka ili sustava koji upravlja ili nadzire robota ili UI i čovjeka koji je stradao zbog vlastitog nemara.

Takva je situacija bila s prvim ubojstvom čovjeka od strane industrijskog robota 1979., tj. Roberta Williamsa (16), u mnogim slučajevima kasnije, zatim s ubojstvom pješakinje od strane autonomnog vozila 2018., tj. Elaine Herzberg (17) pa tako vjerojatno i u ovom slučaju. Najveći dio odgovornosti je zasigurno na korporaciji koja je proizvela i/ili održava stroj, ali je puno manje vjerojatno da bi se smrt dogodila da nije postojao nemar od strane korisnika stroja (npr. da je Williams odbio popeti se na treću etažu gdje ga je usmrtila robotska ruka što mu je naložio nadređeni ili npr. da Herzberg nije prelazila prometnicu izvan pješačkog prijelaza i/ili da nije bila pozitivna na metamfetamin i marihuanu što su slučajevi nemarnog ponašanja). U ovom slučaju, kompanija je vjerojatno bila nemarna, ali i samoubojica je možda bio nemaran, no to ovisi o stupnju suicidalnosti prije i nakon korištenja ChatGPT-a, ali vjerojatno su nemarni bili članovi obitelji koji baš za nemar tuže OpenAI (tj. za manjkavost proizvoda i neuspješno upozoravanje).

Dodatak

Pitanje tko će biti optužen, tko će biti proglašen krivim i prema kojoj vrsti zakonske regulative, a napose kolika će biti kompenzacija ako se robota, UI ili robota i UI, tj. vlasnika, operatera ili proizvođača stroja proglasi krivim za uzrokovanje smrti nije riješeno univerzalnom pravnom regulativom niti u slučaju ozljeda niti u slučaju smrtnih posljedica za ljude. Najčešće se navedene optužuje za nemar. Pritom se u SAD-u koriste mnoge formule, a najpoznatija je formula Suca Learneda Handa ili tzv. „Hand Formula“ kojom se izračunava visina kompenzacije u slučaju kad se treba isplatiti strani koja je podnijela tužbu ako se nemar dokaže pred sudom. (18) Za ova pitanja priložili smo Daljnje izvore na koncu ovog teksta.

P.S.

Ako primijetite znakove suicidalnosti kod sebe ili bližnjih nazovite 01/4833-888 ili 01/3430-000 (vidi: URL). Na komentarima i savjetima hvala Ivanu Spajiću MA, MBA (EPAM, Lead Business Analyst) Prof. dr. sc. Marku Coeckelberghu (Sveučilište u Beču) i Borisu Debiću mag. phys. (ZSEM). Oni ni na koji način nisu odgovorni za tvrdnje iznesene ovdje.

Izvori:

(1) URL: https://www.nbcnews.com/tech/tech-news/family-teenager-died-suicide-alleges-openais-chatgpt-blame-rcna226147 (pristupljeno: 26/08/2025). Vijest je prenio i portal Indeks, URL: https://www.index.hr/vijesti/clanak/u-americi-se-ubio-adam-16-roditelji-krive-chatgpt-aktivno-mu-je-pomagao/2703633.aspx?fbclid=IwY2xjawMavddleHRuA2FlbQIxMQABHs3CS-wNTRJaw8yA63LPbjsl4fmq6-mJ1IHY3YmLFXWV2rnL63nixx4H0xhl_aem_Da0PvXqyDy-z7P4M5sSNdg (pristupljeno: 26/08/2025).

(2) URL: https://www.nbcnews.com/tech/tech-news/family-teenager-died-suicide-alleges-openais-chatgpt-blame-rcna226147 (pristupljeno: 26/08/2025).

(3) URL: https://www.nbcnews.com/tech/tech-news/family-teenager-died-suicide-alleges-openais-chatgpt-blame-rcna226147 (pristupljeno: 26/08/2025). Tekst tužbe, URL: https://www.courthousenews.com/wp-content/uploads/2025/08/raine-vs-openai-et-al-complaint.pdf (pristupljeno: 26/08/2025).

(4) URL: https://en.wikipedia.org/wiki/ChatGPT (pristupljeno: 26/08/2025).

(5) URL: https://en.wikipedia.org/wiki/OpenAI (pristupljeno: 26/08/2025).

(6) URL: https://en.wikipedia.org/wiki/Sam_Altman (pristupljeno: 26/08/2025).

(7) URL: https://arxiv.org/pdf/2507.02990 (pristupljeno: 26/08/2025).

(8) URL: https://time.com/7306661/ai-suicide-self-harm-northeastern-study-chatgpt-perplexity-safeguards-jailbreaking/ (pristupljeno: 26/08/2025).

(9) URL: https://www.pbs.org/newshour/nation/study-says-chatgpt-giving-teens-dangerous-advice-on-drugs-alcohol-and-suicide (pristupljeno: 26/08/2025).

(10) URL: https://pmc.ncbi.nlm.nih.gov/articles/PMC12362262/ (pristupljeno: 26/08/2025).

(11) URL: https://en.wikipedia.org/wiki/Manipulation_(psychology) (pristupljeno: 26/08/2025).

(12) URL: https://openai.com/index/helping-people-when-they-need-it-most/ (pristupljeno: 26/08/2025).

(13) URL: https://www.techpolicy.press/breaking-down-the-lawsuit-against-openai-over-teens-suicide/ (pristupljeno: 26/08/2025).

(14) URL: https://www.lawinsider.com/dictionary/encourage (pristupljeno: 26/08/2025).

(15) URL: https://arstechnica.com/information-technology/2025/08/after-teen-suicide-openai-claims-it-is-helping-people-when-they-need-it-most/ (pristupljeno: 27/08/2025).

(16) URL: https://en.wikipedia.org/wiki/Robert_Williams_(robot_fatality) (pristupljeno: 27/08/2025).

(17) URL: https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg (pristupljeno: 27/08/2025).

(18) URL: https://en.wikipedia.org/wiki/Hand_formula (pristupljeno 29/08/2025).

Daljnji izvori uz napomenu u Dodatku:

Al-Batoush, A., Khalaf, A., & Alsarhan, M. (2025) Compensation for Damages Caused by Artificial Intelligence in Jordanian Legislation, International Journal on Culture, History, and Religion, 7, 24-38. https://doi.org/10.63931/ijchr.v7iSI.283 URL: https://www.researchgate.net/publication/394851918_Compensation_for_Damages_Caused_by_Artificial_Intelligence_in_Jordanian_Legislation (pristupljeno: 29/08/2025).

De Simone, Marco; Guarascio, Dario; Reljic Jelena (2025) The impact of robots on workplace injuries and deaths: Empirical evidence from Europe, (working paper), URL: https://www.researchgate.net/publication/388919252_The_impact_of_robots_on_workplace_injuries_and_deaths_Empirical_evidence_from_Europe(pristupljeno: 29/08/2025).

Ludvigsen, Kaspar Rosager and Nagaraja, Shishir (2022) Dissecting liabilities in adversarial surgical robot failures: A national (Danish) and EU law perspective, Computer Law & Security Review, URL: https://www.sciencedirect.com/science/article/pii/S0267364922000048 (pristupljeno: 29/08/2025).

Policy Department for Citizens’ Rights and Constitutional Affairs (2020) Artificial Intelligence and Civil Liability, Legal Affairs, URL: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/621926/IPOL_STU(2020)621926_EN.pdf (pristupljeno: 29/08/2025).

Viony Kresna Sumantri (2019) Legal Responsibility on Errors of the Artificial Intelligence-based Robots, Lentera Hukum, Volume 6 Issue 2 (2019), pp. 333-348, URL: https://pdfs.semanticscholar.org/97f0/4a61060c49370dd4155820fc57665e21c4bd.pdf (pristupljeno: 29/08/2025).

Vorhies, William (2018) Who Do We Blame When an AI Finally Kills Somebody, URL: https://www.datasciencecentral.com/who-do-we-blame-when-an-ai-finally-kills-somebody/ (pristupljeno: 29/08/2025).